طراحی و ارزیابی پیوندهای بیرونی کوچک-بزرگ در محیط محاسبات ابری

تحلیل های در مقیاس بزرگ یک ناحیه از برنامه های کاربردی، برای پردازش داده ها و تحقیقات محاسبات موازی یک امر کلیدی است. روند رو به رشد داده ها از نظر حجم و تنوع بر هیچکس پوشیده نیست، حجم و تنوع بالای داده ها از بارزترین ویژگی های کلان داده ها به شمار می آیند. یکی از رایج ترین و چالش برانگیزترین عملیات در این حوزه، پیوند است که ترکیبی از رکوردها را براساس یک کلید مشترک آسان می کند. اگرچه پیوندهای درونی در سیستم های موازی و توزیع شده به طور گسترده مورد ارزیابی قرار گرفته است اما برای تحلیل های پیوندهای بیرونی کار کمی انجام شده است که به ویژه در محیط محاسبات ابری بسیار محبوب است. یک نوع رایج پیوندهای بیرونی، پیوندهای بیرونی رابطه های کوچک و بزرگ است، به طوری که یک رابطه نسبتا کوچک و رابطه دیگر بزرگ می باشد. پیاده سازی های معمول در این شرایط، بر مبنای توزیع مجدد درهم سازی انجام می شود، در حالی که روش های مبتنی بر تکثیر، پیچیده و ناکارآمد هستند. در این پایان نامه، ارزیابی و مقایسه بین الگوریتم های پیوند بیرونی انجام می شود که هدف آن پیوندهای بیرونی کوچک-بزرگ موثر در محیط محاسبات ابری است. همچنین عملکرد الگوریتم ها از طریق آزمایش های گسترده با نگاشت-کاهش و چارچوب اسپارک مورد ارزیابی قرار داده می شود. بنابراین می تواند به عنوان یک گزینه جدید برای برنامه های کاربردی تحلیل داده درنظر گرفته شود. علاوه براین با توجه به نتایج آزمایشات در محیط واقعی، به توسعه دهندگان سیستم پایگاه داده این امکان را می دهد تا برنامه های تحلیل اطلاعات را با آگاهی بیشتری انتخاب کنند.

کلیدواژه ها:

کلان داده ، پیوندهای موازی ، پیوندهای بیرونی ، پیوندهای کوچک-بزرگ ، محاسبات ابری