تحلیل و ارزیابی موازی سازی الگوریتمهای یادگیری ماشین

امروزه با رشد چشمگیر حجم داده ها از یک سو و پیچیده تر شدن روزافزون مدل های یادگیری ماشین از سوی دیگر اجرای بهینه و کارآمد این الگوریتم ها به یکی از چالش های اساسی در سیستم های محاسباتی بدل شده است. در این میان موازی سازی به عنوان یک راهکار بنیادی مطرح می شود که از طریق آن می توان زمان آموزش را به طور چشمگیری کاهش داد، مقیاس پذیری را افزایش داد و بهره وری از منابع سخت افزاری را بهبود بخشید. مقاله حاضر به بررسی سه رویکرد اصلی در زمینه موازی سازی الگوریتم های یادگیری ماشین می پردازد: موازی سازی مبتنی بر داده، موازی سازی مبتنی بر مدل و موازی سازی در سطح الگوریتم. همچنین چهار الگوریتم پرکاربرد یعنی ماشین بردار پشتیبان (SVM)، جنگل تصادفی، شبکه های عصبی و روش گرادیان کاهشی از دیدگاه قابلیت موازی سازی، نقاط قوت و ضعف و هزینه های محاسباتی مورد تحلیل قرار گرفته اند. در ادامه یک جدول مقایسهای ارائه شده و چالش های پیاده سازی روش های مذکور در محیط های توزیع شده و سخت افزارهای موازی نظیر چندپردازنده ها، واحدهای پردازش گرافیکی (GPU) و خوشه های محاسباتی بحث می شود. یافته های این مرور نشان می دهد که انتخاب استراتژی مناسب موازی سازی باید بر اساس نوع داده، ساختار الگوریتم و هدف بهینه سازی صورت گیرد.

کلیدواژه ها:

موازی سازی ، یادگیری ماشین ، موازی سازی داده ، موازی سازی مدل ، پردازش توزیع شده ، شبکه های عصبی