استفاده از یادگیری کیو مبتنی بر فرآیندهای تصمیم گیری مارکوف به منظور تشخیص و بازیابی حفره های پوشش در شبکه های حسگر بیسیم

در شبکه های حسگر بیسیم، ناهنجاری های مختلفی ممکن است ایجاد شود و قابلیت اطمینان و کارایی شبکه را کاهش دهد. یکی از این ناهنجاری ها، حفره پوشش است که به دلایل مختلفی مانند استقرار تصادفی گره های حسگر در محیط، حوادث آسیب رسان محیطی، تخلیه باتری حسگرها، خرابی های سخت افزاری، اشکالات نرم افزاری و حملات امنیتی در شبکه، ممکن است ایجاد شود. در شبکه های حسگر بیسیم، انواع چالش های فنی باید شناسایی شود و واکنش مناسب به هر یک از آنها داده شود. استفاده از روش های قدیمی به منظور پاسخگویی مناسب به چنین چالش های پویایی، عمدتا سخت است. یکی از این راه حل ها به منظور رفع چالش ها، استفاده از روش های یادگیری تقویتی است. یادگیری کیو یکی از روش-های یادگیری تقویتی است که مبتنی بر فرآیندهای تصمیم گیری مارکوف است. فرآیندهای تصمیم گیری مارکوف، یک مدل تصمیم گیری در محیط های گسسته، تصادفی و متوالی است. ماهیت مدل این است که، یک تصمیم گیرنده یا عامل در محیطی زندگی می کند که حالت خود را به طور تصادفی در پاسخ به انتخاب های تصمیم گیرنده، تغییر میدهد، هدف عامل این است که اقداماتی را انجام دهد تا معیار پاداش خود را به حداکثر برساند. در این مقاله، از روش یادگیری کیو مبتنی بر فرآیندهای تصمیم گیری مارکوف به منظور تشخیص و بازیابی حفره های پوشش در شبکه های حسگر بیسیم استفاده کردیم. ما روش پیشنهادی خود را با نرم افزار ۲NS شبیه سازی کردیم و سپس نتایج شبیه سازی را با روش پایه یادگیری کیو مبتنی بر نظریه بازی به منظور تشخیص و بازیابی حفره های پوشش در شبکه های حسگر بیسیم،مقایسه کردیم و نتایج شبیه سازی نشان داد که روش پیشنهادی ما از نظر میانگین تعداد حفره های ایجاد شده، میانگین تعداد تصمیم گیری های اشتباه توسط گره های حسگر در حین فرایند یادگیری، میانگین زمان مورد نیاز برای بازیابی حفره ها، میانگین زمان همگرایی، میانگین مصرف انرژی و در نتیجه طول عمر شبکه، نسبت به روش پایه، بهبود داشته است.

کلیدواژه ها:

شبکه حسگر بیسیم ، تشخیص و بازیابی حفرههای پوشش ، یادگیری کیو ، فرآیندهای تصمیمم گیری مارکوف.