استفاده از انتخابگرهای پویا و هوش مصنوعی برای مقاوم سازی کدهای بازیابی اطلاعات وب

امروزه پایداری و تاب آوری کدهای برداشت اطلاعات از وب یکی از چالش های اصلی در حوزه مهندسی نرم افزار و داده کاوی است، به ویژه زمانی که وب سایت های هدف از ساختارهای پویا استفاده می کنند. کتابخانه سلنیوم به عنوان یکی از پرکاربردترین ابزارهای برداشت اطلاعات وب، در بسیاری از پروژه های صنعتی و پژوهشی مورد استفاده قرار می گیرد، اما حساسیت بالای آن نسبت به تغییر عناصر صفحه اغلب منجر به بروز خطا، توقف سیستم و نیاز به اصلاحات مکرر کد می شود. این پژوهش با ارائه روش نوین مبتنی بر استفاده هم زمان از «انتخابگرهای پویا» و یک لایه تصمیم گیری مبتنی بر هوش مصنوعی، رویکردی کاربردی، قابل اعتماد و منعطف برای مقاوم سازی کدهای سلنیوم ارائه می دهد. در این مطالعه، برداشت اطلاعات از وب سایت دیجی کالا در بازه زمانی دو ساله، با تناوب هفتگی انجام شد. روش پیشنهادی با تحلیل رفتار المان های صفحه، به طور خودکار انتخابگرهای مناسب را جایگزین و در صورت خطا از چندین استراتژی هوشمند استفاده می کند. این رویکرد پایداری و اطمینان اجرای سلنیوم را در برابر تغییرات سایت افزایش داده و می تواند الگویی کارآمد برای سامانه های جمع آوری داده از وب در محیط های پویا باشد. نتایج تجربی نشان داد هنگامی که از روش پیشنهادی جهت انتخاب خودکار و هوشمند المان های HTML استفاده شد، تمامی برداشت ها بدون خطا و بدون نیاز به تغییر دستی کد انجام شدند. اما هنگام عدم استفاده از این روش، ۶۷ برداشت نیازمند اصلاح مستقیم انتخابگرهای کد توسط توسعه دهنده بودند. این اختلاف عملکرد نشان می دهد که استفاده از مدل ارائه شده باعث کاهش چشمگیر هزینه نگه داری، زمان توسعه و ریسک شکست اجرای عملیات استخراج داده می شود.

کلیدواژه ها:

بازیابی اطلاعات از بستر وب ، ساختار HTML صفحات وب ، کتابخانه سلنیوم ، مقاوم سازی کدهای HTML ، هوش مصنوعی