ارائه الگوریتمی جهت تسریع روش تکرار سیاست در راستی آزمایی فرآیندهای تصمیم مارکوف با استفاده از یادگیری ماشین

فرآیندهای تصمیم مارکوف در هوش مصنوعی و راستی آزمایی رسمی برای مدل سازی سیستم های کامپیوتری که دارای رفتارهای تصادفی و غیرقطعی هستند، استفاده می شوند. دو دسته مهم از ویژگی هایی که در وارسی مدل احتمالاتی استفاده می شوند شامل احتمال بهینه رسیدن به حالت هدف و پاداش انباشته شده مورد انتظار هستند. تکرار مقدار و تکرار سیاست دو روش عددی تکراری شناخته شده برای تقریب مقادیر بهینه هستند. چالش اصلی این روش ها زمان اجرایی بالای آنها است. در این مقاله روشی جدید برای تسریع همگرایی به سیاست بهینه ارائه می شود که زمان اجرایی روش تکرار سیاست را کاهش می دهد. این روش بر پایه استفاده از یادگیری ماشین برای تخمین یک سیاست نزدیک به بهینه است. برای هر کلاس از مدل های فرآیند تصمیم مارکوف، تعدادی مدل کوچک را برای مرحله آموزش و ساخت دسته بند در نظر می گیریم. دسته بند ساخته شده در فرآیند یادگیری، برای پیش بینی کنش بهینه هر حالت فرآیند تصمیم مارکوف داده شده به کار می رود. این دسته بند همچنین برای پیشنهاد یک سیاست نزدیک به بهینه برای فرآیندهای تصمیم مارکوف بزرگ از همان دسته مدل ها، استفاده می شود تا زمان مصرفی کل را کاهش دهد. پیاده سازی روش ارائه شده در وارسی گر مدل PRISM نشان می دهد زمان اجرا به طور میانگین ۵۰ درصد کاهش می یابد.

کلیدواژه ها:

راستی آزمایی صوری ، وارسی مدل احتمالاتی ، فرآیندهای تصمیم مارکوف ، تکرار سیاست ، دسترس پذیری بهینه ، یادگیری ماشین