مدیریت تطبیقی و توزیع شده چراغ های راهنمایی با بهره گیری از یادگیری تقویتی چندعامله و حسگرهای اینترنت اشیا در شهرهای هوشمند

کنترل تطبیقی چراغ های راهنمایی در شهرهای هوشمند یکی از ارکان اصلی کاهش ازدحام ترافیکی و مصرف انرژی به شمار می رود. گسترش اینترنت اشیا (IoT) امکان جمع آوری بی درنگ داده های ترافیکی را از طریق حسگرهای گوناگون نظیر حلقه های القایی، دوربین ها و خودروهای متصل فراهم ساخته است. با این حال، بهره برداری موثر از این داده ها برای تصمیم گیری در سطح شبکه ای از تقاطع ها نیازمند روش هایی هوشمند است که بتوانند ماهیت پویا، غیرقطعی و وابسته به تعاملات میان تقاطع ها را مدیریت کنند. در این مقاله، چارچوبی توزیع شده مبتنی بر یادگیری تقویتی چندعامله (MARL) ارائه می دهیم که با به کارگیری گراف های عصبی توجه گرا، یادگیری فدرال، آموزش برنامه درسی و یادگیری خصمانه، انعطاف پذیری، مقاومت در برابر نویز حسگرها و حفظ حریم خصوصی را به طور هم زمان تامین می کند. در معماری پیشنهادی، هر تقاطع به عنوان یک عامل مستقل با دسترسی به داده های محلی IoT عمل می کند و از طریق یک ساختار گرافی پویا، وابستگی های مکانی-زمانی خود را مدل می کند. به منظور آموزش ایمن و بدون اشتراک گذاری داده های خام، از یادگیری فدرال برای به روزرسانی پارامترهای مدل های محلی استفاده می شود. نتایج شبیه سازی ها در محیط SUMO نشان می دهد که روش پیشنهادی در مقایسه با زمان بندی ثابت، کنترل تطبیقی محلی و برخی نسخه های پیشین MARL، زمان سفر متوسط را تا ۲۷ درصد و طول صف را تا ۳۴ درصد کاهش می دهد. همچنین، این روش در شرایط نویز حسگرها و خرابی داده تا ۱۸ درصد عملکرد بهتری نسبت به روش های غیرمقاوم از خود نشان می دهد.

کلیدواژه ها:

اینترنت اشیا ، شهر هوشمند ، یادگیری تقویتی چندعامله ، شبکه های عصبی گرافی ، یادگیری فدرال