ارزیابی کارایی web crawler

تارجهان گستر وب در سالهای اخیر روند رو به رشدی را طی کرده است و از هزاران صفحه به بیشتر از دو میلیارد صفحه در زمان کنونی رسیده است با گسترش روزافزون تعدادی صفحات وب موتورهای جستجوی وب باید اطلاعات مرتبط با عبارت مورد جستجو را در اختیار کاربر قرار دهند موتورهای جستجوی وب همانند بیشتر ابزارهای مخصوص جستجو به webcrawler برای بدست آوردن مجموعه ی بزرگی از صفحات برای رتبه بندی و فهرست گذاری تکیه می کنند از آنجایی که web crawler ممکن است در طول چندین هفته یا ماه بطور دوره ای به صفحات جهت به روزرسانی جداول خود مراجعه کند بکارگیری روش قدرتمند انعطاف پذیر و مدیریت پذیر برای این کار ضروری به نظر می رسد. بعلاوه کارایی I/O منابع شبکه و محدودیت های سیستم عامل نیز باید درنظر گرفته شود.

کلیدواژه ها:

موتور جستجو ، WEBcrawler ، ارزیابی کارایی ، شبیه سازی