تکنیکها و روش های یادگیری ماشین روی کلان داده

یادگیری ماشین ML برنامه نویسی برای بهینه سازی یک عملکرد با استفاده از داده ها و تجربیات گذشته است و در پی راهی برای ایجاد برنامه ای است که عملکرد را به صورت خودکار و با توجه به تجربیات گذشته ارتقاء دهد. کاربردهای زیادی وجود دارند که برای آنها الگوریتمی نداریم، اما مقدار زیادی داده برایشان داریم. در جاهایی که نمی توانیم مستقیما برنامه مورد نظر را بنویسیم به یادگیری احتیاج داریم که با کمک یک سری داده های آموزشی و یا تجربیات صورت می پذیرد ML در محدوده وسیعی از کاربردها در حال گسترش است. ما در عصر کلان داده BD زندگی می کنیم. کلان داده اصطلاحی است برای مجموعه داده های حجیم، متنوع با ساختارهای پیچیده و دشواری هایی برای ذخیره سازی. الگوریتم های ML تا زمانیکه با کلان داده ها مقابله نکنند نوید بهبودی را نخواهند داد BD این الگوریتم ها را قادر به کشف الگوهای بهتر و پیش بینی های صحیح و طولانی تری نسبت به قبل می کنند. از سوی دیگر چالش های اساسی مثل مدل مقیاس پذیر و محاسبات توزیع شده را برای ML به وجود می آورند. در این مقاله ما یک چارچوب از ML روی BD معرفی می کنیم. در مرکز چارچوب ML قرار گرفته و با چهار بخش دیگر شامل کلان داده، کاربر، دامنه و سیستم ارتباط دوطرفه دارد. سپس به معرفی اصول ML و الگوریتم های آن پرداخته، در ادامه روش ها و تکنیک های ML روی BD شامل دستکاری های داده، پردازش و الگوریتم که راهکارهایی برای حل چالش ML روی BD است مورد بررسی قرار می گیرند.

کلیدواژه ها:

یادگیری ماشین ، کلان داده ، الگوریتم ، یادگیری عمیق ، زیرساخت ، تحلیل داده