خالصهسازی انتزاعی متون با تنظیم دقیق ترنسفورمر به روش PEFT

با گسترش روزافزون حجم اطلاعات موجود در وب و افزایش چشم گیر پستهای رسانه های اجتماعی، مقاالت و کتب منتشر شده در زمینه های مختلف، دسترسی درست به مطالب و مطالعه اطلاعات مورد نیاز در کوتاه ترین زمان ممکن، از میان حجم انبوهی از اطلاعات همواره یکی از مشکلات محققان و پژوهشگران می باشد. حجم عظیم مطالب از یک سو و محدود بودن زمان از سوی دیگر موجب شد تا محققان بدنبال راهکاری برای انتخاب درست و خالصه مطالب گردند. از این رو خالصه سازی خودکار متون از سالها پیش مطرح شده و همواره به عنوان یک موضوع مهم مورد بررسی و تحقیق قرار گرفته است. در سالهای اخیر ترنسفورمرها در حوزههای مختلف پردازش و تولید متون کارایی خیلی خوبی از خود نشان داده اند. تنظیم دقیق ترنسفورمرها در حوزه های خاص، از جمله خالصه سازی متن، موجب افزایش کارایی در آن حوزه می شود. این مقاله به بررسی تنظیم ترسفورمر T۵ با استفاده از روش PEFT (Parameter -Efficient Fine -Tuning) میپردازد که موجب کاهش تعداد پارامترها برای یادگیری می شود. هدف اصلی این پژوهش کاهش نیاز به منابع محاسباتی و بهبود کارایی مدل در وظیفه ی خالصه سازی متنی است. نتایج نشان میدهد که استفاده از PEFT به مدل T۵ اجازه میدهد تا با حجم کمتری از پارامترهای آموزشی به نتایجی با دقت قابل توجه برسد.

کلیدواژه ها:

خالصه سازی متن ، خالصه سازی چکیده ای ، ترنسفورمر ، تنظیم دقیق ، PEFT