چارچوبی مبتنی بر گراف برای تحلیل کلان داده ها در محیط های ابری

امروزه اکثر سازمانها با چالشهای متعددی در زمینه مدیریت داده های خود مواجه شدهاند. دریافت داده از منابع دادهایی گوناگون، ذخیرهسازی مناسب داده در زیرساختهای ذخیره سازی و پردازش داده ها از جمله مهمترین چالشهای پیش روی سازمانهای فناوری اطلاعات است. شبکه های اجتماعی، موتورهای جستجو، سیستمهای مبتنی بر خصوصیات جغرافیایی، سیستمهای مربوط به فناوریهای بیوتکنولوژی برخی از محیطهایی هستند که بطور جدی با این چالشها روبرو شده اند. در همین رابطه مدل و معماری جدیدی در دنیای فناوری اطلاعات تحت عنوان معماری کلان داده ظهور کرده است که با ابزارها، الگوریتم ها و روشهای جدیدی که در مدیریت داده ها ارائه میدهد، به عنوان راه حلی برای چالشهای مطرح شده شناخته میشود. پردازش داده های گراف نیز امروزه اهمیت بسیار زیادی پیدا کرده است و با مدل کردن بسیاری از مسائل دنیای واقعی مبتنی بر گراف و با استفاده از الگوریتم های مطرح در زمینه تحلیل گراف، میتوان به تحلیل و حل بسیاری از مسائل دنیای واقعی پرداخت.در پژوهش حاضر به ارائه رویکردی کارآمد جهت حل یکی از مسایل موجود پردازش گرافها میپردازیم.شمارش تعداد مثلثهای گراف در بسیاری از معیارهای تحلیل گراف از جمله ضریب خوشگی2 کاربرددارد.ازآنجاییکه این عمل، یک کار پرهزینه از جهت زمان و حجم داده های میانی تولید شده جهت پردازش میباشد، در این مطالعه، ما به ارائه یک روش جهت بهبود زمان شمارش تعداد مثلثهای گراف با استفاده از چهارچوب کاری اسپارک3 پرداختیم.نتایج بدست آمده نشان میدهد با استفاده از این الگوریتم و با افزایش سایز کلاستر زمان پاسخ شمارش تعداد مثلثهای گراف برای گرافهای بسیار بزرگ میتواند تا 86 درصد بهبود بیابد. همچنین با تغییر پارامترهای پیکربندی کلاستر نیز میتوان کلاستر را برای برنامه و بار کاریهای متفاوت بهینه کرد.

کلیدواژه ها:

کلان داده ، پردازش موازی ، هادوپ ، اسپارک ، پردازش گراف ، شمارش تعداد مثلثهای گراف.