پیاده سازی یک کراولر کار آمد و سریع به نامFurious Spider
- سال انتشار: 1394
- محل انتشار: سومین همایش ملی کامپیوتر
- کد COI اختصاصی: NCCOS03_075
- زبان مقاله: فارسی
- تعداد مشاهده: 603
نویسندگان
دانشگاه اصفهان دانشکده مهندسی کامپیوتر
دانشگاه اصفهان دانشکده مهندسی کامپیوتر
چکیده
امروزه بارشد سریع صفحات وب استفاده ازموتورهای جستجو برای یافتن اطلاعات مرتبط اهمیت فراوانی پیدا می کند باتوجب ه این که درصداطلاعات مرتبط با نیازهای اطلاعاتی کاربران درمیان انبوهی ازمیلیون ها صفحه وب بسیارکم است لذا پیدا کردن صفحات مرتبط با پرس وجوی کاربران بیش ازپیش حائزاهمیت می باشد ازطرفی با توجه به این که بخش مهمی ازیک موتور جستجو را کراولرآن تشکیل میدهد لذا طراحی کراولرهای سریع و با کیفیت بسیارحائزاهمیت است دراین مقاله ابتدا به بررسی مفاهیم پایه ای درزمینه کراولرها خواهیم پرداخت سپس به پیاده سازی و تشریح یک کراولر به نام Furious Spider خواهیم پرداخت که بصورت عمقی صفحات وب را جستجو می کند این کراولر به منظور جلوگیر یازکراول کردن مجدد صفحات کراول شده لیستی ازلینکهای صفحات کراول شده دریک لینک لیست ذخیره می کند ازطرفی باتوجه به اینکه لینکهای داخل صفحات میتواند بسیارزیاد باشد درنتیجه مدت زمان زیادی برای کراول کردن صفحات موردنیاز باشد لذا الگوریتم جستجوی عمقی رابااستفاده ازیک محدودیت عمق تبدیل به جستجوی عمقی محدود شده می کنیم درنهایت نتایج بدست آمده ازاعمال کراولر طراحی شده برروی سایت www.cloob.comبررسی خواهیم کردکلیدواژه ها
موتورجستجو ، وب کراولر ، کراولینگ ، جست و جوی عمقی ، خزندهمقالات مرتبط جدید
- بررسی تاثیر سود آوری بر ساختار سرمایه و سرعت تعدیل اهرم مالی در شرکت های پذیرفته شده در بورس اوراق بهادار تهران
- بررسی تاثیر هوش معنوی بر رفتار برنامه ریزی شده در بین سهام داران یزدی در بورس اوراق بهادار تهران
- بررسی تاثیر دانش مالی، تجربه مالی بر رفتار برنامه ریزی شده در بین سهام داران یزدی در بورس اوراق بهادار تهران
- تاثیر سیستم های اطلاعاتی بر موفقیت شرکت با نقش میانجی کیفیت اطلاعات غیر مالی
- بررسی رابطه بین انگیزش و کارایی در سازمان (مطالعه موردی: اداره راه و شهرسازی شهرستان لارستان)
اطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.