تحلیل انواع و استراتژیهای خزیدن حرکت کاوشگر وب به عنوان بخشی از یک موتور جستجوگر

هرچه حجم اطلاعات افزایش مییابد کنترل و مدیریت آن مشکل می شود. میدانیم که تولید و وجود اطلاعات بهتنهایی کافینیست بلکه باید ابزارهایی برای استفاده از این اطلاعات فراهم شوند. درواقع کاربران باید بدانند که چگونه باید به نیازهایاطلاعاتی خود در این حجم عظیم اطلاعاتی پاسخ دهند. موتورهای جستجو یکی از رایج ترین راه حلها برای دسترسی به ایناقیانوس بیکران اطلاعات و رباتهایی پیمایش صفحات وب در اینترنت هستند که صفحات جدید را پیدا میکنند. درواقع موتورجستجو برای کشف اطلاعات ارزشمند از وب سایتها از کاوشگر وب بهره میگیرد و در واقع یکی از مهم ترین بخش هایموتورهای جستجو کاوشگرهای وب هستند که یک برنامه یا اسکریپت خودکار هستند که وب را بصورت منظم و خودکارپیمایش می کند و دلایل استفاده از آنها: دست آوردن اطلاعات مورد نظر کاربر، آزمایش صفحات وب و لینک ها برای ساختارو گرامر درست، نظارت بر سایت ها برای زمانی که ساختار و محتوای آنها تغییر می کند و کشف سایت های آینه ای می باشد.امروزه سیستم های جستجوی وب برای جمع آوری و تجزیه وتحلیل ساختار اطلاعات موجود در وب حیاتی هستند. یک کاوشگروب یک جزء نرمافزار است که به صورت تکراری، اطلاعات را از وب جمع آوری می نماید، صفحات را دانلود و لینک های رادنبال می نماید. در این مقاله کاوشگر وب و انواع آن را به عنوان بخشی از یک موتور جستجوگر تحلیل کرده و انواعاستراتژی های خزیدن حرکت کاوشگر وب را ارائه می کنیم.

کلیدواژه ها:

وب ، کاوشگر وب ، استراتژی خزیدن ، موتور جستجو ، بازیابی