یک چارچوب یادگیری تقویتی عمیق چندعامله مبتنی بر توجه متقابل و یادگیری فدرال برای بهینه سازی پایدار و حفظ حریم خصوصی در شهر هوشمند

در عصر شهرهای هوشمند، انبوهی از داده های توزیع شده، گره های تصمیم گیرنده متعدد و نیاز به واکنش بلادرنگ، چالش های اساسی برای روش های یادگیری متمرکز سنتی ایجاد کرده است. این روش ها با مشکلاتی نظیر تاخیر ارتباطی بالا، نقض حریم خصوصی داده های شهروندان، مقیاس ناپذیری و وابستگی به گره مرکزی مواجه هستند. برای رفع این چالش ها، در این پژوهش یک چارچوب یادگیری تقویتی عمیق چندعامله مبتنی بر توجه متقابل و یادگیری فدرال ارائه می شود. روش پیشنهادی شامل پنج مرحله اصلی است: (۱) جمع آوری و پیش پردازش داده های توزیع شده شهری، (۲) طراحی معماری چندعامله با مکانیزم توجه متقابل برای هماهنگی میان عامل ها، (۳) آموزش محلی با یادگیری تقویتی عمیق در هر گره مستقل، (۴) به روزرسانی فدرال مدل مرکزی با اعمال حریم خصوصی تفاضلی بر گرادیان ها، و (۵) ارزیابی و اجرای بلادرنگ در محیط شهری. مکانیزم توجه متقابل به هر عامل اجازه می دهد تا اهمیت نسبی سایر عامل ها را در تصمیم گیری خود لحاظ کند، در حالی که یادگیری فدرال امکان به روزرسانی مدل مرکزی را بدون اشتراک گذاری داده های خام فراهم می سازد. حریم خصوصی تفاضلی نیز با افزودن نویز کنترل شده به گرادیان ها، از نشت اطلاعات حساس جلوگیری می کند. ارزیابی روش پیشنهادی با سه روش برتر سال های ۲۰۲۵-۲۰۲۶ (RT-FedFlow، FDT و ROCO) بر حسب شش معیار عملکردی انجام شده است. نتایج نشان می دهد روش پیشنهادی نسبت به بهترین روش رقیب (ROCO) به ترتیب بهبود ۵.۰% در دقت، ۴.۳% در Precision، ۵.۱% در Recall، ۴.۷% در F۱-Score، ۱۵.۳% در MAE و ۲۴.۲% در MSE دست یافته است. میانگین کلی بهبود روش پیشنهادی ۹.۴% و در معیارهای خطای پیش بینی ۱۹.۸% می باشد. این نتایج حاکی از آن است که چارچوب پیشنهادی با ترکیب مولفه های توجه متقابل، یادگیری فدرال و حریم خصوصی تفاضلی، راهکاری کارآمد، مقیاس پذیر و امن برای بهینه سازی پایدار در کاربردهای متنوع شهر هوشمند از جمله مدیریت ترافیک، شبکه انرژی و پاسخگویی اضطراری ارائه می دهد.

کلیدواژه ها:

یادگیری تقویتی عمیق چندعامله ، توجه متقابل ، یادگیری فدرال ، حریم خصوصی تفاضلی ، شهر هوشمند