A study on part of speech tagging
- سال انتشار: 1390
- محل انتشار: پنجمین کنفرانس بین المللی پیشرفت های علوم و تکنولوژی
- کد COI اختصاصی: SASTECH05_159
- زبان مقاله: انگلیسی
- تعداد مشاهده: 1947
نویسندگان
Professor of linguistics Department, Mashhad, Iran
professor of computer Department, Mashhad, Iran
computational linguistics,Mashhad, Iran
engineering, Mashhad, Iran
چکیده
Part of Speech (POS) tagging has high importance in the domain of Natural Language Processing (NLP). POS tagging determines grammatical category to any token, such as noun, verb, adjective, person, gender, etc. Some of the words are ambiguous in their categories and what tagging does is to clear of ambiguous word according to their context. Many taggers are designed with different approaches to reach high accuracy. In this paper we present a new tagging algorithm with a Hybrid algorithm. This algorithm combines the statistics and the rule based tagger to tag Persian unknown words. These algorithms use morphological and syntactical rules for tagging. These algorithms are applied in Gate package.This package has two parts in tagging; part of tokenization and part of tagging. Many problems depend on part of tokenization. Tokenization is detecting of tokens in a text. In this part, morphological analysis is very important and makes some problems in computational analysis. Persian morphological makes some problems in computational analysis. There is another case which causes some problems in tokenization and is called Persian script.In this paper, we elaborate some problems in Persian morphology in tokenization and Persian script.The purpose of this paper is to improve tagging and also to study problems in Gate package in tokenization part according to study of linguistics.After improving and studying of problems, this package was evaluated with two kinds of texts; standard and non standard texts. Accuracy of Gate package with the standard text and non standard text are 97 and 92%, respectivelyکلیدواژه ها
rule based, statistical based, tagging, tokenization, unknown wordمقالات مرتبط جدید
- سودآوری مشتریان در خردهفروشی قطعات یدکی ماشین آلات راهسازی با رویکرد یادگیری ماشین
- ارائه روشی کارآمد جهت شناسایی کودکان نیازمند به پیوند مغز استخوان با استفاده از ترکیب طبقه بند ماشین بردار پشتیبان و الگوریتم بهینه سازی فاخته
- استخراج بهینه پارامترهای تاثیر گذار الگوریتم بهینه سازی بوفالوی آفریقایی با هدف استخراج ویژگی های مهم به منظور افزایش کارایی طبقه بندی داده ها
- ارائه روشی کارآمد برای بهبود عملکرد الگوریتم بهینه سازی کلاغ سیاه به منظور افزایش صحت خوشه بندی داده ها
- استفاده از الگوریتم باور بیزین در لایه کاملا متصل شبکه عصبی کانولوشن با هدف افزایش دقت تشخیص تصاویر
اطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.