افزایش سودآوری بازار شبکه های هوشمند برق با تکنیک یادگیری تقویتی عملگر نقاد

بازار شبکه های هوشمند برق پیچیده و پویاست. کارگزاران که واسطه گران فروش برق بین خرده فروشی ها و عمده فروشی ها هستند به صورت گسترده ای در بازارهای جدید شبکه های هوشمند به کار گرفته می شوند. به علت پیچیدگی و توزیع شدگی ذاتی بازار در شبکه های هوشمند رویکردهای استفاده از سیستم های چندعامله برای حل مسائل آن مناسب است. در این رویکردها می توانیم عامل های خودمختاری داشته باشیم که به صورت بیست و چهار ساعته درحال تبادل اطلاعات با دیگر عامل ها هستند. این عامل ها با چالش های اساسی شامل الگوی مصرف متنوع مشتریان، تغییر قیمت با توجه به الگوی مصرف مشتریان و میزان مصرف برق در طول شبانه روز مواجه اند. هدف ما در این مقاله این است که ضمن مدل کردن اجزای بازار برق با سیستم های چندعامله، با ارائه روشی مبتنی بر یادگیری عامل ها سودآوری در بازار شبکه های برق را افزایش دهیم. در روش پیشنهادی ابتدا مساله تنوع مصرف مشتریان را با انجام یک روش خوشه بندی متوالی مناسب داده­های سری زمانی پردازش می کنیم. سپس برای هر گروه خوشه بندی شده به صورت مجزا یک روش یادگیری تقویتی سیاست فعال با عنوان یادگیری تقویتی عملگر- نقاد به کار می بریم. درنهایت تاثیر تغییر پاداش را در سود حاصله ارزیابی می کنیم و برای هر خوشه تعرفه ای مطابق با زمان مصرف مربوطه به صورت ساعتی ارائه می دهیم.

کلیدواژه ها:

Smart grid ، renewable resources ، tariff market ، reinforcement learning ، clustering ، شبکه های هوشمند ، انرژی های تجدیدپذیر ، بازار تعرفه ، یادگیری تقویتی ، خوشه بندی