چارچوبی مبتنی بر گراف برای تحلیل کلان داده ها در محیط های ابری
سال انتشار: 1399
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 518
فایل این مقاله در 19 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ELEMECHCONF06_043
تاریخ نمایه سازی: 22 آذر 1399
چکیده مقاله:
امروزه اکثر سازمانها با چالشهای متعددی در زمینه مدیریت داده های خود مواجه شدهاند. دریافت داده از منابع دادهایی گوناگون، ذخیرهسازی مناسب داده در زیرساختهای ذخیره سازی و پردازش داده ها از جمله مهمترین چالشهای پیش روی سازمانهای فناوری اطلاعات است. شبکه های اجتماعی، موتورهای جستجو، سیستمهای مبتنی بر خصوصیات جغرافیایی، سیستمهای مربوط به فناوریهای بیوتکنولوژی برخی از محیطهایی هستند که بطور جدی با این چالشها روبرو شده اند. در همین رابطه مدل و معماری جدیدی در دنیای فناوری اطلاعات تحت عنوان معماری کلان داده ظهور کرده است که با ابزارها، الگوریتم ها و روشهای جدیدی که در مدیریت داده ها ارائه میدهد، به عنوان راه حلی برای چالشهای مطرح شده شناخته میشود. پردازش داده های گراف نیز امروزه اهمیت بسیار زیادی پیدا کرده است و با مدل کردن بسیاری از مسائل دنیای واقعی مبتنی بر گراف و با استفاده از الگوریتم های مطرح در زمینه تحلیل گراف، میتوان به تحلیل و حل بسیاری از مسائل دنیای واقعی پرداخت.در پژوهش حاضر به ارائه رویکردی کارآمد جهت حل یکی از مسایل موجود پردازش گرافها میپردازیم.شمارش تعداد مثلثهای گراف در بسیاری از معیارهای تحلیل گراف از جمله ضریب خوشگی2 کاربرددارد.ازآنجاییکه این عمل، یک کار پرهزینه از جهت زمان و حجم داده های میانی تولید شده جهت پردازش میباشد، در این مطالعه، ما به ارائه یک روش جهت بهبود زمان شمارش تعداد مثلثهای گراف با استفاده از چهارچوب کاری اسپارک3 پرداختیم.نتایج بدست آمده نشان میدهد با استفاده از این الگوریتم و با افزایش سایز کلاستر زمان پاسخ شمارش تعداد مثلثهای گراف برای گرافهای بسیار بزرگ میتواند تا 86 درصد بهبود بیابد. همچنین با تغییر پارامترهای پیکربندی کلاستر نیز میتوان کلاستر را برای برنامه و بار کاریهای متفاوت بهینه کرد.
کلیدواژه ها:
نویسندگان
فاطمه مهدی بابایی
دانشکده فنی مهندسی، دانشگاه آزاد اسلامی، واحد محلات
مصطفی قبائی آرانی
استادیار، دانشکده فنی مهندسی، دانشگاه آزاد اسلامی، واحد قم، قم، ایران