روشهای مورداستفاده در خزنده های متمرکز و موضوعی

خزنده ی وب ، عاملی است که با کاوش در فضای وب، اسناد را بررسی و دسته بندی می نمایند. یک خزنده سایت هایزیادی را برای جمع آوری اطلاعات بازدید می کند. این اطلاعات در یک مکان مرکزی ذخیره شده و برای پاسخ به نیازهایکاربران مورداستفاده قرار می گیرد. با توجه به گستردگی موضوعات منتشرشده در فضای وب و حجم زیاد تغییرات، برایکاهش زمان به روزرسانی و افزایش دقت نتایج ، نوعی از خزنده های وب موردنیاز است که تنها صفحات مرتبط با موضوعخاصی را دنبال کند. این نوع از خزنده های وب، خزنده های متمرکز نامیده می شوند.اصلی ترین چالشی که خزنده های متمرکز با آن روبه رو هستند تشخیص ارتباط موضوعی ی پیوند بازدید نشده، باموضوع مشخص شده برای خزنده است و سپس در صورت وجود ارتباط، اختصاص اولویت مناسب به آن پیوند، برای دنبالکردن آن در آینده است. روشهای مختلفی برای پیاده سازی خزنده های متمرکز و مقابله با این چکالش مورداستفادهقرارگرفته است. این مقاله به بررسی این روشها و نحوه برخورد آنها با این چالش می پردازد.

کلیدواژه ها:

خزنده های وب ، خزنده های متمرکز ، خزنده های موضوعی ، شاخص گذاری وب ، کراولر