نقد و بررسی اصول یافتن اسناد مشابه در مجموعه دادههای عظیم بر پایهی روشهایLSH و Minhashing ،Shingling

سال انتشار: 1391
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 1,545

فایل این مقاله در 7 صفحه با فرمت PDF قابل دریافت می باشد

این مقاله در بخشهای موضوعی زیر دسته بندی شده است:

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

LNCSE02_213

تاریخ نمایه سازی: 6 اسفند 1391

چکیده مقاله:

یکی از مسائل بنیادی در داده کاوی بررسی دادهها برای یافتن عناصر مشابه میباشد. برای نمونه در این زمینه میتوان به بررسی مجموعهای از اسناد مختلف و یا صفحات وب و پیدا کردن موارد نزدیک به هم و تکراری اشاره نمود. مسئلهپیدا کردن اسناد مشابه را میتوان به یک مسئله بر پایهی مجموعه تبدیل کرد که این کار در قالب روشShinglingانجام میگیرد. همچنین برای حل این مسئله میتوان مجموعههای بزرگ را به صورتی فشرده نمود که باز هم بتوان تشابه مجموعههای اصلی را از نسخههای فشرده شدهی آنها، تشخیص داد کهاین کار در روشMinhashing انجام میشود. اگر علاوه بر یافتن جفت اسنادمشابه، به دنبال یافتن دستههایی مشابه از اسناد باشیم، باید از روشLSH برای رسیدن به این هدف استفاده نماییم ما در این مقاله به بررسی و تحلیل مسئله یافتن اسناد مشابه از دیدگاه سه روش کلیLSH و Minhashing ،Shingling پرداختیم که هر کدام از این روشها مکمل روش قبلی میباشند. در واقع هدف این مقاله ارزیابی روشهای ذکر شده و بررسی ویژگیهای هر کدام از دیدگاههای مختلف میباشد

نویسندگان

حسین ازگومی

گروه فنی و مهندسی، دانشگاه آزاد اسلامی واحد شبستر، ایران

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :
  • A.Gionis, P. Indyk, and R. Motwani; "Similarity search in _ ...
  • S.Mitra, S.K.Pal and P.Mitra; "Data mining in soft computing framework: ...
  • J.Bank and B.Cole; "Calculating the Jaccard Similarity _ _ Entity ...
  • Rajaraman.A, D.Ullman.J; Mining of Massive Datasets, Cambridge Univ Pr, 2011. ...
  • A.Broder; "Identifing and filtering near-duplicate documents", Combinatorial Pattern Matching, Springer, ...
  • A.Z. Broder; _ the resemblance and containment of _ _ ...
  • A.Z. Broder, M. Charikar, A.M. Frieze, and M. Mitzenmacher; "Min-wise ...
  • E.Cohen, M.Datar, S.Fujiwara, A.Gionis, P.Indyk, R.Motwani, ...
  • IEEE Transactions on, pp.64-78, 2001. ...
  • A. Andoni and P Indyk; "Near-optimal hashing algorithms _ _ ...
  • نمایش کامل مراجع