تشخیص ربات های ناهنجار در پرس وجوهای موتور جستجو

موتورهای جستجو را میتوان بهترین ابزار کارآمد برای مدیریت، بازیابی و استخراج اطلاعات مهم از مجموعه عظیم دادههای وب معرفی کرد. این موتورها پهنه وسیع وب را بهطور زمانبندیشده پیمایش میکنند و به جمعآوری صفحات بیشمار ذخیرهشده در گوشه کنار وب میپردازند. ارائهدهندگان موتورهای جستجو همواره به دنبال بهبود ارتباط نتایج و کاهش زمان پاسخ به کاربران هستند، اما هر دو این موارد میتواند تحت تاثیر ترافیک خودکار ارسالشده از سوی رباتها قرار گیرد. در این مقاله ابتدا به تعریف رباتها و چالش تشخیص آنها پرداخته شده است. سپس، روشی با نام بوف برای تشخیص رباتهای جستجو ارائه شده است. در روش بوف برای دستیابی به دقتی بالا در تشخیص رباتهای ناهنجار، از پارامترهای مختلف و نسبتا زیادی برای مدلکردن رفتار کاربران استفاده شده است. پس از تعیین اولویت پارامترها در تشخیص ماهیت کاربران، درخت تصمیمی ساخته شده و اقدام به دستهبندی کاربران در گروه-های انسان، ربات مخرب، ربات مجاز و نامشخص میکند. رباتهای تشخیص دادهشده در درخت تصمیم، بخش دیگری از سامانه تشخیص ربات را فعال میکند که قادر است با توجه به الگوی رفتاری شبکههای رباتی، حتی رباتهایی با نرخ درخواست پایین را نیز شناسایی کند. ارزیابی روش پیشنهادی بر روی دادهای آزمون، صحت ۹۷/۷درصدی را در تشخیص ماهیت کاربران نشان میدهد که حداقل بهبود دقت ۹/۹ درصدی را نسبت به روشهای بررسیشده در این حوزه نشان میدهد. رقم قابل توجهی که در هر روز تصمیمگیری در مورد ۲۲۳۰ کاربر را تحت تاثیر قرار میدهد.

کلیدواژه ها:

موتور جستجو ، ربات جستجو ، تحلیل لاگ ، تشخیص ربات ، درخت تصمیم