تحلیل اثر نشت داده بر عملکرد سامانه تشخیص نفوذ مبتنی بر CNN–LSTM

سامانه های تشخیص نفوذ مبتنی بر یادگیری عمیق در سال های اخیر به عنوان یکی از راهکارهای موثر برای شناسایی تهدیدهای شبکه و حملات اینترنت اشیا مورد توجه قرار گرفته اند. بااین حال، گزارش عملکرد بالا همواره نشان دهنده قابلیت تعمیم واقعی مدل نیست و نحوه آماده سازی داده و محل اجرای مراحل پیش پردازش می تواند موجب نشت داده و ارائه نتایج خوش بینانه شود. نشت داده در مراحلی مانند انتخاب ویژگی، استانداردسازی، تشخیص داده های پرت و نمونه افزایی می تواند اطلاعات داده های ارزیابی را به فرایند آموزش منتقل و اعتبار نتایج را کاهش دهد.در این پژوهش، اثر نشت داده در یک سامانه تشخیص نفوذ مبتنی بر معماری ترکیبی CNN–LSTM بررسی شد. برای حذف اثر تغییر معماری، ساختار شبکه، تنظیمات آموزشی و معیارهای ارزیابی در همه آزمایش ها ثابت نگه داشته شدند و تنها محل اجرای مراحل خط لوله پردازش داده تغییر کرد. سه پروتکل Global-Hybrid، Fold-Hybrid و Leakage-Free Fold-Hybrid طراحی و مقایسه شدند. در پروتکل Global-Hybrid، پردازش داده و بازنمونه گیری ترکیبی پیش از اعتبارسنجی متقاطع انجام شد؛ در حالی که در پروتکل Leakage-Free Fold-Hybrid همه مراحل وابسته به داده فقط روی داده آموزش هر Fold برازش شدند.آزمایش ها روی مجموعه داده ToN-IoT انجام شدند. پروتکل Global-Hybrid با Accuracy برابر با ۹۸٫۶۲ درصد، Recall برابر با ۰٫۹۹۴، F۱-score برابر با ۰٫۹۸۶ و AUC برابر با ۰٫۹۹۹، بالاترین مقادیر ظاهری را ارائه کرد. بااین حال، به دلیل اجرای انتخاب ویژگی، استانداردسازی، تشخیص داده های پرت و زنجیره بازنمونه گیری پیش از تشکیل Foldها، نتایج آن با خطر برآورد خوش بینانه همراه بود. پروتکل Leakage-Free Fold-Hybrid با حفظ استقلال داده های ارزیابی، Accuracy برابر با ۹۶٫۸۹ درصد، Recall برابر با ۰٫۹۶۸، F۱-score برابر با ۰٫۹۶۹ و AUC برابر با ۰٫۹۹۳ را به دست آورد. کاهش ۱٫۷۳ واحد درصدی Accuracy پس از حذف مسیرهای نشت نشان داد که عملکرد بالاتر پردازش سراسری را نمی توان صرفا به توانایی معماری نسبت داد.یافته های پژوهش نشان می دهد ممیزی نشت داده باید به عنوان بخشی اساسی از طراحی، مقایسه و گزارش دهی سامانه های تشخیص نفوذ مبتنی بر یادگیری عمیق در نظر گرفته شود.

کلیدواژه ها:

تشخیص نفوذ ، اینترنت اشیا ، نشت داده ، ارزیابی بدون نشت ، یادگیری عمیق