کاربرد مدل های مبتنی بر Transformer در دسته بندی متون علمی و پژوهشی

این پژوهش به مقایسه مدل های یادگیری ماشین و یادگیری عمیق در زمینه طبقه بندی متن پرداخته است. هدف اصلی این مطالعه، بررسی تاثیر پیش پردازش داده ها، مانند حذف نویز، توکن سازی، حذف توقف واژه ها و ریشه یابی، بر دقت مدل های مختلف طبقه بندی متن و ارزیابی زمان پردازش آن ها بوده است. مدل های مورد بررسی شامل بیز ساده (NB)، ماشین بردار پشتیبان (SVM)، جنگل تصادفی(RF) ، شبکه عصبی مصنوعی (ANN)، شبکه عصبی بازگشتی (LSTM) و مدل BERT بودند. نتایج نشان داد که مدل های یادگیری عمیق، به ویژه مدل BERT، با دقت بالا و مقادیر F۱-score و نرخ فراخوانی بیشتر، بهترین عملکرد را از خود نشان دادند. همچنین، تاثیر مثبت پیش پردازش کامل بر بهبود دقت مدل ها و کاهش نویز داده ها به وضوح مشاهده شد. از سوی دیگر، مدل های یادگیری ماشین کلاسیک مانند بیز ساده و SVM، زمان پردازش کمتری داشتند و برای کاربردهای با منابع محدود و نیاز به پردازش سریع تر مناسب تر بودند. در نهایت، پژوهش به این نتیجه رسید که انتخاب مدل باید بر اساس نیاز به تعادل بین دقت و زمان پردازش انجام شود و بهینه سازی پیش پردازش داده ها می تواند تاثیر زیادی بر عملکرد مدل ها داشته باشد.

کلیدواژه ها:

طبقه بندی متن ، یادگیری ماشین ، یادگیری عمیق ، الگوریتم