یادگیری تقویتی فدرال امن و کم هزینه: یکپارچه سازی حریم خصوصی تفاضلی و کوانتیزاسیون

یادگیری تقویتی عمیق با ترکیب قدرت شبکه های عصبی عمیق و الگوریتم های یادگیری تقویتی به موفقیت های چشمگیری در حل مسائل پیچیده دست یافته است. با این حال رویکردهای سنتی و متمرکز در این حوزه با چالش های جدی مانند حفظ حریم خصوصی داده ها، هزینه های بالای ارتباطی و نیاز به تجمیع داده ها در یک سرور مرکزی مواجه هستند. برای غلبه بر این، مفهوم یادگیری فدرال به عنوان یک پارادایم نوین در یادگیری ماشین توزیع شده پدیدار شد که امکان آموزش مدل ها را به صورت مشارکتی و بدون نیاز به اشتراک گذاری داده های خام فراهم می کند. این مقاله به بررسی و تحلیل حوزه نوظهور یادگیری تقویتی عمیق فدرال می پردازد که از ترکیب اصول یادگیری فدرال و یادگیری تقویتی عمیق شکل گرفته است. در این ساختار چندین عامل کلاینت به صورت محلی با محیط خود تعامل کرده و مدل های یادگیری تقویتی خود را آموزش می دهند. سپس به جای ارسال داده های خام تنها پارامترها یا به روزرسانی های مدل خود را برای تجمیع و ایجاد یک مدل قدرتمندتر به یک سرور مرکزی ارسال می کنند. این رویکرد ضمن حفظ خصوصی داده ها، محلی کارایی ارتباطی را بهبود بخشیده و امکان یادگیری مشارکتی در مقیاس بزرگ را فراهم می آورد. در این مقاله ضمن تشریح مبانی، معماری ها و الگوریتم های کلیدی در این حوزه به بررسی چالش های موجود مانند ناهمگونی داده ها و مسائل امنیتی پرداخته و کاربردهای بالقوه آن در صنایع مختلف از جمله اینترنت اشیاء، سلامت دیجیتال و سیستم های خودران را مورد بحث قرار می دهیم.

کلیدواژه ها:

یادگیری تقویتی ، عمیق ، یادگیری فدرال ، یادگیری تقویتی فدرال ، حریم خصوصی ، یادگیری توزیع شده ، اینترنت اشیاء