بهینه سازی تخصیص منابع مه در اینترنت اشیا با رویکرد یادگیری تقویتی عمیق

محاسبات مه یک پارادایم نوظهور است که مفهوم ابر را تا لبه گسترش می دهد. این پارادایم، منابع محاسباتی، ذخیره سازی، کنترل و قابلیتهای شبکه را برای تحقق برنامه های کاربردی اینترنت اشیا فراهم می کند. در مفهوم محاسبات مه، دستگاه های اینترنت اشیا، داده ها و محاسبات پیچیده را به گره های مه در اطرافشان بارگذاری می کنند. در این مقاله، به مسئله ی تخصیص بهینه منابع محدود گره های مه به برنامه های اینترنت اشیا می پردازیم. در واقع، مسئله ی تخصیص منابع را می توان به صورت یک سیستم تصمیم گیری آنلاین در نظر گرفت که در آن گره های مه باید تصمیم بگیرند که آیا درخواست های دریافتی از دستگاه های اینترنت اشیا را به صورت محلی پردازش کنند یا آن ها را به گره های ابر در فواصل دور فرستند. رویکردهای کنونی برای تخصیص منابع مه از انطباق پذیری کافی در محیط های دارای نویز و عدم قطعیت برخوردار نیستند. به همین منظور، وجود الگوریتم های متکی به یادگیری در این حوزه امری ضروری است. در این مقاله، در مرحله ی اول مسئله تخصیص منابع مه به عنوان یک فرایند تصمیم گیری مارکوف مدلسازی شده است. سپس روشی بر پایه ی رویکرد یادگیری تقویتی عمیق جهت حل این مسئله پیشنهاد شده است. در واقع، بر اساس الگوریتم گرادیان سیاست، گره های مه یاد میگیرند که چگونه وظایف IoT را به روشی بهینه برنامه ریزی کنند.روش پیشنهادی با رویکرد غیر یادگیری مقایسه شده است که در آن وظایف بر اساس طول اجرایشان و بدون در نظر گرفتن اولویت وظایف، به گره های مه تخصیص داده می شوند. نتایج به دست آمده با توجه به پاداش تجمعی در طول فرایند اجرای الگوریتم پیشنهادی، حاکی از یادگیری سیاست تخصیص منابع بهصورت برخط است. این امر منجر به بهبود معیارهای میانگین تاخیر و میانگین تاخیر در شرایط سخت برای سیستمی با اولویت های مختلف وظایف، در مقایسه با روش غیر یادگیری میشود.

کلیدواژه ها:

محاسبات مه ، تخصیص منابع ، اینترنت اشیا ، یادگیری تقویتی عمیق ، عملگر-نقاد