ارائه رویکردی جدید مبتنی بر یادگیری تقویتی عمیق جهت حذف هوشمند داده ها در پایگاه داده Redis

بهینه سازی عملکرد سرورهای وب یکی از چالش های بنیادین مهندسی نرم افزار و معماری سیستم های توزیع شده است. در این میان سیستم های کش درون حافظه ای نظیر Redis از موثرترین راهکارها برای کاهش زمان پاسخ دهی به شمار می روند؛ با این حال ظرفیت محدود حافظه ی آنها سبب می شود سیاست حذف داده به یکی از عوامل تعیین کننده در عملکرد کلی سیستم بدل شود. سیاست های حذف سنتی همچون LRU، LFU، Random و TTL تنها بر یک بعد از رفتار داده تکیه دارند و از این رو نمی توانند همزمان اهمیت معنایی داده و وضعیت لحظه ای سیستم را در نظر بگیرند. برای رفع این محدودیت پژوهش حاضر رویکردی نوین بر پایه یادگیری تقویتی عمیق پیشنهاد می دهد که با بهره گیری از معماری شبکه ی Dueling DaN، سیاست حذف هوشمندی برای پایگاه داده Redis می آموزد. در این چارچوب عامل با مشاهده ی یک بردار حالت نرمال شده ی شش بعدی شامل تازگی فایل، پیوست، اولویت وضعیت، VIP، اندازه داده و فشار (حافظه) و از طریق یک تابع پاداش طراحی شده یاد می گیرد که در شرایط اشباع، حافظه کدام کلیدها باید حذف شوند. این مدل با استفاده از Python، Redis، Stable-Baselines و Gymnasium پیاده سازی و در برابر سیاست های سنتی در سطح ظرفیت کش از ۵ تا ۵۰٪ ارزیابی شده است. نتایج به دست آمده نشان می دهد که رویکرد پیشنهادی قادر است همزمان به نرخ بالاتری از Hit Ratio، کش بهبود زمان، پاسخ و خطاهای حذف نزدیک به صفر برای داده های حساس دست یابد؛ ترکیبی که هیچ یک از سیاست های سنتی به تنهایی توان ارائه ی آن را ندارند.

کلیدواژه ها:

یادگیری تقویتی عمیق ، Dueling ، Redis ، سیاست حذف کش ، Hit Ratio