انقلاب واقعی در تصحیح خودکار با ظهور معماری ترنسفورمر و مدل های BERT

انقلاب واقعی در تصحیح خودکار با ظهور معماری ترنسفورمر آغاز شد. وانگ و همکاران (۲۰۲۲) مزایای مدل BERT را در یادگیری بازنمایی های چندمقیاسی از مقالات نشان دادند و به این نتیجه رسیدند که عملکرد آن در مقایسه با مدل های مبتنی بر LSTM به طور معناداری بهتر است. مدل BERT با استفاده از مکانیزم توجه دوطرفه، قادر است روابط پنهان متنی را شناسایی کند و زمینه کامل یک جمله یا پاراگراف را در نظر بگیرد؛ قابلیتی که تصحیح دقیق تر نوشته های دانش آموزان را ممکن می سازد.نی (۲۰۲۵) در پژوهشی که در مجله پیرج علوم رایانه منتشر شده، روشی نوآورانه برای تصحیح خودکار مقالات ارائه داده که مدل Sentence-BERT را با شبکه های LSTM دوطرفه و مکانیزم توجه ترکیب می کند. در این رویکرد، مدل SBERT بردارهای جاسازی برای هر مقاله تولید می کند که معنای جملات را به صورت موثرتری نسبت به مدل های سنتی نمایش می دهند، سپس لایه توجه به سیستم امکان می دهد تا بر مهم ترین بخش های مقاله تمرکز کند. این ترکیب، دقت تصحیح را در مقایسه با مدل های پیشین به طور قابل توجهی افزایش داده است.چو و همکاران (۲۰۲۴) در مجله پژوهش های فناوری اتری مدل DualBERT-Trans-CNN را معرفی کرده اند که بازنمایی های مبتنی بر ترنسفورمر را با رویکرد BERT دومقیاسی در سطح سند ترکیب می کند. این مدل با تاکید بر ارتباط میان نمره دهی کلی و ارزیابی ویژگی های خاص در چارچوب یادگیری چندوظیفه ای، دقت پیش بینی نمرات را در هر دو سطح بهبود می بخشد.