طبقه بندی متون فارسی با استفاده از الگوریتم SVM

با رشد روزافزون اطلاعات متنی در فضای مجازی، نیاز به روش هایی برای سازمان دهی و طبقه بندی خودکار این داده ها بیش از پیش احساس می شود. طبقه بندی متون، یکی از شاخه های مهم در حوزه بازیابی اطلاعات و پردازش زبان طبیعی )NLP )است که هدف آن تعیین دسته یا برچسب مناسب برای یک سند متنی می باشد. در زبان فارسی، به دلیل پیچیدگی های ساختاری، کمبود منابع پردازشی و چالشهای خاص زبانی، طبقه بندی خودکار متون با مشکلاتی مواجه است. در این پژوهش، به بررسی و پیاده سازی فرآیند طبقه بندی متون فارسی با استفاده از الگوریتم ماشین بردار پشتیبان ) SVM )پرداخته شده است. در چنین شرایطی ، تحلیل و سازمان دهی این حجم عظیم از اطلاعات، بدون بهره گیری از ابزارهای هوشمند پردازش زبان طبیعی عملا غیرممکن است. یکی از مهم وظایف در این حوزه پردازش زبان طبیعی است فرایندی که طی آن یک سیستم هوشمند میکوشد تا متن ورودی را به یکی از دسته های از پیش تعریف شده نسبت دهد. این مسئله در کاربردهایی نظیر فیلترینگ اخبار، سامانه های پیشنهاد دهنده، تحلیل احساسات کاربران و سازمان دهی خودکار اسناد، نقش کلیدی دارد.

کلیدواژه ها:

طبقه بندی متن ، زبان فارسی ، یادگیری ماشین ، ماشین بردار پشتیبان ) SVM ، )پیش پردازش متن ، IDF-TF ، پردایش زبان طبیعی )NLP )