ارزیابی تجربی و تطبیقی سیستم های پردازش توزیع شده گراف های بزرگ مطالعه موردی جی راف و گراف ایکس

با رشد روزافزون داده های ساخت یافته به صورت گراف در کاربردهایی چون شبکه های اجتماعی، وب، بیوانفورماتیک و تحلیل بازار، نیاز به سیستم های پردازش گراف مقیاس پذیر و کارآمد بیش از پیش احساس می شود. این پژوهش به بررسی تطبیقی عملکرد دو سیستم رایج در حوزه پردازش توزیع شده گراف، یعنی Apache Giraph و GraphX، می پردازد. ابتدا مدل های محاسباتی پایه شامل نگاشت-کاهش (MapReduce) و مدل موازی همگام انبوه (Bulk Synchronous Parallel) معرفی شده و نقاط قوت و ضعف آن ها در پردازش گراف تحلیل می شود. سپس نحوه پیاده سازی این مدل ها در دو سیستم فوق بررسی شده و عملکرد آن ها با استفاده از الگوریتم های نماینده نظیر PageRank، Connected Components و Single Source Shortest Path در شرایط مختلف آزمایشگاهی مورد ارزیابی قرار می گیرد. نتایج تجربی نشان می دهد که هر دو سیستم در مقیاس بندی با افزایش تعداد ماشین ها چالش هایی دارند، با این حال جی راف به دلیل بهره گیری از مکانیزم های ترکیب پیام و مصرف بهینه منابع، عملکرد بهتری در اغلب سناریوها دارد. از سوی دیگر، گراف ایکس با بهره گیری از چارچوب Apache Spark قابلیت پردازش های تکرارشونده را تسهیل می کند اما در برخی سناریوها دچار سربار ارتباطی و مصرف حافظه بالاتری می شود. در نهایت، مطالعه حاضر نشان می دهد که هیچ کدام از این سیستم ها برتری مطلق ندارند و انتخاب سیستم مناسب باید بر اساس نوع داده، الگوریتم مورد استفاده و منابع در دسترس انجام گیرد.

کلیدواژه ها:

سیستم های پردازش توزیع شده ، گراف های بزرگ ، جی راف و گراف ایکس