کاربرد یادگیری تقویتی عمیق در کنترل هوشمند سیستم های مهندسی: مروری بر روش ها، کاربردها و چالش ها

یادگیری تقویتی عمیق (Deep Reinforcement Learning – DRL) در سال های اخیر به یکی از رویکردهای بنیادی برای طراحی کنترل کننده های هوشمند در سامانه های مهندسی تبدیل شده است. این روش با ترکیب ساختار تصمیم گیری مبتنی بر پاداش در یادگیری تقویتی و توانایی استخراج ویژگی های پیچیده توسط شبکه های عصبی عمیق، امکان کنترل خودکار و بهینه سامانه های غیرخطی، چندمتغیره و دارای عدم قطعیت را فراهم می سازد [۱–۳]. در این مقاله مروری، ابتدا مبانی یادگیری تقویتی و مدل تصمیم گیری مارکوف به عنوان پایه نظری الگوریتم های DRL معرفی می شود [۴–۶]. سپس ساختار و نحوه عملکرد پرکاربردترین الگوریتم ها نظیر DQN، DDPG، PPO و SAC مورد بررسی قرار گرفته و تفاوت آن ها از نظر پایداری و همگرایی بیان می گردد [۷–۱۰]. در ادامه، مهم ترین کاربردهای DRL در حوزه های رباتیک صنعتی، شبکه های هوشمند انرژی، کنترل خودروهای خودران و فرآیندهای تولیدی مورد تحلیل قرار می گیرد [۱۱–۱۸]. با وجود پیشرفت فراوان، چالش هایی همچون نیاز به داده های حجیم، دشواری تضمین پایداری کنترل کننده، هزینه بالای محاسبات و محدودیت در تضمین ایمنی عملکرد همچنان پابرجا هستند [۱۹–۲۴]. در بخش پایانی، روندهای آینده پژوهش، از جمله ترکیب یادگیری تقویتی عمیق با روش های مدل محور و استفاده از یادگیری چندعامله برای کنترل سیستم های توزیع شده، مرور شده است [۲۵–۳۰]. نتایج این مطالعه نشان می دهد که یادگیری تقویتی عمیق می تواند مسیر توسعه نسل جدیدی از کنترل کننده های هوشمند را هموار سازد و پل ارتباطی موثری میان علوم کنترل کلاسیک و هوش مصنوعی نوین ایجاد نماید.

کلیدواژه ها:

یادگیری تقویتی عمیق ، کنترل هوشمند ، سیستم های مهندسی ، فرآیند تصمیم گیری مارکوف.