پیاده سازی یک کراولر کار آمد و سریع به نامFurious Spider

امروزه بارشد سریع صفحات وب استفاده ازموتورهای جستجو برای یافتن اطلاعات مرتبط اهمیت فراوانی پیدا می کند باتوجب ه این که درصداطلاعات مرتبط با نیازهای اطلاعاتی کاربران درمیان انبوهی ازمیلیون ها صفحه وب بسیارکم است لذا پیدا کردن صفحات مرتبط با پرس وجوی کاربران بیش ازپیش حائزاهمیت می باشد ازطرفی با توجه به این که بخش مهمی ازیک موتور جستجو را کراولرآن تشکیل میدهد لذا طراحی کراولرهای سریع و با کیفیت بسیارحائزاهمیت است دراین مقاله ابتدا به بررسی مفاهیم پایه ای درزمینه کراولرها خواهیم پرداخت سپس به پیاده سازی و تشریح یک کراولر به نام Furious Spider خواهیم پرداخت که بصورت عمقی صفحات وب را جستجو می کند این کراولر به منظور جلوگیر یازکراول کردن مجدد صفحات کراول شده لیستی ازلینکهای صفحات کراول شده دریک لینک لیست ذخیره می کند ازطرفی باتوجه به اینکه لینکهای داخل صفحات میتواند بسیارزیاد باشد درنتیجه مدت زمان زیادی برای کراول کردن صفحات موردنیاز باشد لذا الگوریتم جستجوی عمقی رابااستفاده ازیک محدودیت عمق تبدیل به جستجوی عمقی محدود شده می کنیم درنهایت نتایج بدست آمده ازاعمال کراولر طراحی شده برروی سایت www.cloob.comبررسی خواهیم کرد

کلیدواژه ها:

موتورجستجو ، وب کراولر ، کراولینگ ، جست و جوی عمقی ، خزنده