بررسی تکنیک های تخصیص خزنده وب توزیع شده

در این مقاله سعی بر این داریم روش های تخصیص اهداف به خزنده های وب توزیع شده (Distributed Web Crawler) را مورد بررسی قرار دهیم و همین طور نقات قوت و ضعف آن ها را مورد ارزیابی قرار دهیم. با توجه به این که اینترنت در حال رشد می باشد، بهتر است از روش های موازی برای خزیدن در وب استفاده کنیم. در این مقاله روش های تخصیص به خزنده های توزیع شده را بررسی می کنیم که این روش ها عبارتند از :1. روش مبتنی بر هش(Hash) 2. روش مبتنی بر جغرافیا 3. روش مبتنی بر لینک و ترکیب هدف از این مقاله این می باشد که بتوان راه حل جدیدی برای تخصیص اهداف به خزنده وب توزیع شده ارائه کرد که بتوان آن را در کار های آینده پیاده سازی نمود.