یک روش آماری مبتنی بر پیکره برای جداسازی واژههای به هم چسبیده

  • سال انتشار: 1387
  • محل انتشار: دومین کنگره مشترک سیستمهای فازی و هوشمند ایران
  • کد COI اختصاصی: FJCFIS02_335
  • زبان مقاله: فارسی
  • تعداد مشاهده: 801
دانلود فایل این مقاله

نویسندگان

محسن مشکی

دانشکده مهندسی کامپیوتر دانشگاه علم و صنعت ایران

مرتضی آنالویی

چکیده

در این مقاله، یک روش آماری مبتنی بر پیکره برای شناسایی واژههای به هم چسبیده معرفی شد. این روش، با استفاده از معیاراحتمال شرطی متقارن تعیین میکند که آیا یک عنصر متنی، یک واژهی کامل است یا مجموعهای از واژههای به هم چسبیده است. روشپیشنهادی روی یک مجموعهی 18000 تایی از اخبار ورزشی مورد آزمایش قرار گرفت و نتایج قابل قبولی را نشان داد. به ازای هر دوآستانهی 0,001 و 0,0001 تعداد نمونههایی که به درستی از هم جدا شدند به کل نمونههای جداشده نسبت قابل قبولی (بیش از 80 درصد در مورد نمونههای جداشده به دو بخش) را نشان داد.

کلیدواژه ها

پیکرهی متنی، تعیین مرز واژهها، باهمآیی، احتمال شرطی متقارن

مقالات مرتبط جدید

اطلاعات بیشتر در مورد COI

COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.

کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.