بررسی تاثیر کاهش تفکیک پذیری فضای حالت و در نظر گرفتن عدم قطعیت در کنترل زمانبدی یک تقاطع ایزوله با استفاده از یادگیری Q

کنترل سیگنال ترافیکی یکی از مهمترین عوامل در بهبود کارایی و ایمنی حمل و نقل شهری است که تاکنون با استفاده از روش های مختلف راهکارهای متفاوتی برای بهبود آن ارائه شده است. در این پژوهش از روش یادگیری تقویتی Q بعنوان روشی که در تعامل با محیط و بصورت زمان حقیقی فرآیند یادگیری را طی می کند، با هدف بهبود زمانبندی تقاطع ها استفاده شده است. معیار مد نظر زمان معطلی تجمیعی خودروها در مسیرهای ورودی به چهارراه است که به عنوان ملاک ارزیابی روش پیشنهادی در نظر گرفته شده است. در این پژوهش سعی بر این است که عملکرد و ایرادهای روش های حالت گسسته متداول یادگیری تقویتی، در مسائل با تعداد حالت های بسیار بالا مورد نقد و بررسی قرار گیرد. سهم اصلی این پژوهش، تعریف جدید از فضای حالت در مسائل کنترل سیگنال ترافیکی و همچنین بررسی تاثیر کاهش تفکیک پذیری فضای حالت و درنظر گرفتن عدم قطعیت موجود در انتخاب اقدام ها در بهبود کیفیت یادگیری تقویتی است. همچنین، نشان داده می شود که استفاده از کاهش تفکیک پذیری منجر به بهبود عملکرد عامل با وجود استفاده از روش های حالت گسسته خواهد شد. به منظور ارزیابی عملکرد روش پیشنهادی، نتایج بدست آمده از روش پیشنهادی با نتایج بدست آمده از روش یادگیری Q در حالت پیوسته و زمان ثابت از مقاله [۱, ۲] مقایسه شده است. به منظور پیاده سازی الگوریتم کنترلی و همچنین تولید داده های ترافیکی، از نرم افزار شبیه ساز SUMO استفاده شده است. نتایج بدست آمده حاکی از کاهش مجموع زمان معطلی و همچنین کاهش زمان محسبات در روش پیشنهادی نسبت به روش های مورد مقایسه است.

کلیدواژه ها:

یادگیری تقویتی ، کنترل سیگنال ترافیکی ، یادگیری Q ، تقاطع ایزوله ، یادگیری ماشین