استراتژی های بهینه سازی در یادگیری فدرال تحلیل و مقایسه روش ها

این مرور ادبیات بر سازوکارهای بهینه سازی در یادگیری فدرال در معماری هوش مصنوعی غیرمتمرکز تمرکز دارد و روش هایی مانند FedNova، FedDyn، FedProx، FedAvg، فشرده سازی گرادیان و تجمیع تطبیقی را تحلیل و مقایسه می کند. FedAvg به عنوان پایه اصلی باقی مانده اما با تنوع آماری داده ها و سیستم مشکل دارد، در حالی که FedProx و FedDyn با افزودن اصطلاحات پروکسیمال و پویا ثبات الگوریتمی را بهبود می بخشند. FedNova با نرمال سازی بهینه سازی شکاف در مدل محلی را کاهش می دهد و کاهش ابعاد گرادیان همراه با تجمیع پویا کارایی ارتباطی را افزایش می دهد. این روش ها به طور جمعی یادگیری فدرال مقیاس پذیر و کارآمد را پیش می برند. هدف این بررسی ارزیابی استراتژی های مقابله با ناهمگونی، بنچمارکینگ کارایی ارتباطی و سرعت همگرایی، تحلیل فشرده سازی گرادیان و تجمیع تطبیقی، تفکیک الگوریتم های کلیدی و مقایسه تاثیر ناهمگونی کلاینت و مشارکت جزئی است. تحلیل سیستماتیک مطالعات نظری و تجربی بر روی رفتار همگرایی، کاهش، ارتباط، پایداری، مقیاس پذیری و تطبیقی تمرکز دارد. یافته ها نشان می دهند که FedDyn، FedProx و روش های پرایمال دوآل همگرایی را در داده های ناهمگن بهبود می بخشند، در حالی که فشرده سازی گرادیان و تجمیع تطبیقی هزینه ارتباطی را به طور قابل توجهی کاهش می دهند اما با تریدآف هایی در دقت و پیچیدگی همراه هستند. انتخاب کلاینت تطبیقی و تجمیع پایداری را افزایش می دهد اما نیاز به فراداده اضافی دارد و محدودیت های مقیاس پذیری دارد. روش های غیرمتمرکز و مبتنی بر تکله همگرایی را تسریع می کنند و قابلیت های متغیر کلاینت را در نظر می گیرند. این نتایج به طور جمعی نشان می دهند که اگرچه پیشرفت های قابل توجهی وجود دارد، ادغام بهینه سازی ارتباط و ناهمگونی هنوز ناقص است. این بررسی بر نیاز به چارچوب های پایدار، مقیاس پذیر و تطبیقی تاکید دارد که تعادل بین محاسبات محلی و ارتباط را برقرار کنند تا عملکرد یادگیری فدرال را بهینه سازند. این بررسی جهت گیری تحقیقات آینده و استقرارهای عملی را روشن می کند.

کلیدواژه ها:

یادگیری فدرال ، بهینه سازی ، ناهمگونی ، داده ، Fedprox ، Fedag ، فشرده سازی گرادیان