خلاصه سازی انتزاعی متن با استفاده از مدل های زبانی از پیش آموزش دیده

امروزه خلاصه سازی متن با توجه به افزایش حجم مطالب در رسانه های گوناگون، به یکی از مهم ترین فعالیت ها در حوزه پردازش متن تبدیل شده است. رویکرد های خلاصه سازی متنوعی وجود دارد اما خلاصه سازی انتزاعی نسبت به استخراجی موثرتر و خروجی آن به خلاصه های انسانی نزدیک تر است. مدل های زبانی از پیش آموزش دیده، در حوزه های مختلفی مورد استفاده قرار می گیرند. با ظهور الگوریتم های یادگیری تقویتی، قدرت ترنسفورمرهای از پیش آموزش دیده به همراه این الگوریتم ها افزایش می یابد. این پژوهش، استفاده از مدل زبانی از پیش آموزش دیده مبتنی بر معماری ترنسفورمر همراه با اعمال الگوریتم بهینه سازی اولویت مستقیم یا DPO را برای تولید خلاصه های بهتر پیشنهاد می کند. این پژوهش، استفاده از دو مدل زبانی از پیش آموزش دیده مبتنی بر معماری ترنسفورمر mT۵ وARMAN و الگوریتم یادگیری تقویتی بهینه سازی اولویت مستقیم را پیاده سازی کرده و سپس نتایج را بررسی و تحلیل می کند. این رویکرد در مدل زبانی ARMAN با کسب امتیاز ۵۳/۳۶ در Rouge-۱، در ۵۰/۰۳ در Rouge-L و ۵۲/۶۵ در Rouge-۲ ونوید بخش پیشرفت روش های خلاصه سازی در زبان فارسی است.

کلیدواژه ها:

پردازش زبان طبیعی ، یادگیری عمیق ، مدل های زبانی از پیش آموزش دیده ، خلاصه سازی انتزاعی متن ، یادگیری تقویتی