آشکارساز هوش مصنوعی، ممتحن زبان نیست: آیا ابزارهای تشخیص متن درباره انشای زبان آموزان اشتباه می کنند؟

📷

تصور کنید داوطلبی در آزمون آزمایشی زبان انگلیسی، انشایی روشن و کوتاه می نویسد. سامانه ای آنلاین آن را «احتمالا تولیدشده با هوش مصنوعی» اعلام می کند. آیا این نتیجه شاهد تقلب است؟ یا سامانه به زبانی ساده تر، جمله های کوتاه تر و الگوهای رایج در نوشته زبان آموزان واکنش نشان داده است؟ پرسش مهم برای مدرس و ممتحن این نیست که آشکارسازها همیشه درست می گویند یا همیشه خطا می کنند؛ پرسش این است که خروجی آن ها دقیقا چه چیزی را نشان می دهد و آیا برای قضاوت درباره یک نویسنده کفایت دارد.

آشکارساز چه چیزی را حدس می زند؟

بیشتر ابزارهای تشخیص، متن را با الگوهایی که در داده آموزشی دیده اند مقایسه می کنند. بعضی از فراوانی واژه ها و پیش بینی پذیری دنباله کلمات استفاده می کنند؛ بعضی دیگر یک طبقه بند آماری را به کار می گیرند. خروجی معمولا امتیاز یا برچسبی مانند «انسانی» و «هوش مصنوعی» است. این خروجی مشاهده فرایند نوشتن نیست: ابزار نمی داند نویسنده چه کسی بوده، از فرهنگ لغت کمک گرفته، متن را ویرایش کرده یا از مدل زبانی استفاده کرده است. شباهت آماری به نمونه های آموزشی با اثبات منشا متن یکی نیست.

در ارزیابی نیز باید دو نوع خطا را جدا کرد. مثبت کاذب یعنی متن انسانی به اشتباه ماشینی تشخیص داده شود؛ منفی کاذب یعنی متن ماشینی از آشکارساز عبور کند. نرخ خطا به نوع متن، طول آن، سامانه مورد استفاده، آستانه تصمیم و ترکیب داده های ارزیابی وابسته است. اگر یک وب سایت از متن های انگلیسی دانشگاهی نویسندگان مسلط آموزش دیده باشد، نمی توان فرض کرد همان عملکرد را روی انشای کوتاه زبان آموز سطح B1 هم دارد.

چرا درباره زبان آموزان نگرانی مطرح شد؟

Liang و همکاران در مقاله ای در مجله Patterns چند آشکارساز را روی نمونه هایی از نوشته های انگلیسی نویسندگان غیربومی بررسی کردند. در مجموعه TOEFL آن ها، همه آشکارسازهای مورد بررسی در مجموع بخشی از متن های انسانی را ماشینی برچسب زدند و دست کم یک ابزار تقریبا همه آن مجموعه را علامت گذاری کرد. این یافته هشدار مهمی درباره همان ابزارها و همان داده هاست؛ اما مجوز تعمیم آن به همه محصولات امروزی، همه زبان آموزان یا همه گونه های نوشتار نیست. (Liang et al., 2023, Patterns, 4(7), 100779. DOI: 10.1016/j.patter.2023.100779.)

اما تصویر پژوهشی یک طرفه نیست. Jiang و همکاران در مطالعه ای درباره انشاهای آزمون GRE گزارش کردند آشکارسازهایی که با داده های نمونه برداری شده و هم دامنه ساخته شده بودند، در شرایط همان مطالعه شواهدی از سوگیری علیه نویسندگان غیربومی نشان ندادند و دقت بالایی داشتند. این نتیجه هم محدودیت دارد: مطالعه مربوط به مجموعه GRE، روش ساخت و کالیبراسیون خاص خود بود و نمی گوید هر آشکارساز آماده ای که معلم در اینترنت پیدا می کند همین عملکرد را دارد. کنار هم گذاشتن این دو پژوهش نشان می دهد «سوگیری قطعی همه آشکارسازها» ادعای دقیقی نیست؛ نتیجه به داده و طراحی ارزیابی وابسته است. (Jiang et al., 2024, Computers & Education, 217, 105070. DOI: 10.1016/j.compedu.2024.105070.)

مهارت زبانی هم می تواند در نتیجه دخالت کند

پژوهش Li و Wan در مجموعه مقالات کنفرانس ACL سال ۲۰۲۵، نوشته های ۲۵۶۹ زبان آموز ICNALE را با خروجی های هم موضوع از ۱۲ مدل زبانی جفت کرد؛ مجموعه نهایی نزدیک به ۶۷ هزار متن داشت. تحلیل چند آشکارساز نشان داد سطح CEFR و محیط زبانی (برای نمونه، انگلیسی به عنوان زبان خارجی یا زبان دوم) به طور منظم با دقت تشخیص ارتباط داشتند، درحالی که اثر جنسیت و رشته به آشکارساز وابسته بود. این طراحی کنترل شده امکان بررسی عوامل را فراهم می کند، اما متن های تولیدشده برای تقلید از پروفایل زبان آموز با استفاده واقعی از هوش مصنوعی در کلاس یکسان نیستند. (Li & Wan, 2025, Proceedings of ACL, pp. 26620–26658. DOI: 10.18653/v1/2025.acl-long.1292.)

برای مدرس، این تفاوت عملی است. زبان آموز سطح پایین ممکن است واژه های پرتکرار، ساختارهای کوتاه یا تکرارهای بیشتری داشته باشد؛ زبان آموز پیشرفته ممکن است متنی صیقلی و رسمی بنویسد. هیچ کدام به تنهایی نشانه استفاده یا عدم استفاده از هوش مصنوعی نیستند. در یادداشت پژوهشی مربوط به آموزش نوشتار زبان دوم، شش مدرس نوشته های انسانی و تولیدشده را ارزیابی کردند؛ پاسخ ها نشان داد مدرسان به انسجام، تناسب با تکلیف و ویژگی های سبکی توجه می کنند، اما تشخیص انسانی هم بدون شواهد فرایندی خطاناپذیر نیست. (Liu & Kunnan, 2024, Assessing Writing, 63, 100899. DOI: 10.1016/j.asw.2024.100899.)

در کلاس و آزمون آزمایشی چه کار کنیم؟

اگر ابزار یک انشا را پرخطر اعلام کرد، برچسب را به حکم تبدیل نکنیم. نخست از زبان آموز بخواهیم ایده اصلی و انتخاب های زبانی اش را توضیح دهد. سپس یک گفت وگوی کوتاه درباره واژه یا استدلال متن داشته باشیم، یا بخواهیم بخشی از آن را در کلاس بازنویسی کند. پیش نویس ها، یادداشت طرح، تاریخچه نسخه ها و بازتاب کوتاه نویسنده درباره فرایند نوشتن می توانند زمینه بیشتری فراهم کنند؛ البته باید از ابتدا روشن باشد چه داده ای جمع می شود و برای چه هدفی. تغییر ناگهانی موضوع یا بازجویی صرفا بر مبنای امتیاز نرم افزار، هم اعتماد را فرسوده می کند و هم احتمال خطای ناعادلانه را بالا می برد.

برای ممتحن آزمایشی، بهتر است بر اساس معیارهای اعلام شده تکلیف نمره بدهد: پاسخ به پرسش، سازمان دهی، دامنه واژگان و کنترل زبانی. اگر نثر داوطلب با نمونه های قبلی اش فرق دارد، این تفاوت می تواند دلیلی برای پرسیدن پرسش تکمیلی یا بررسی شواهد بیشتر باشد، نه اثبات تقلب. در آزمون واقعی نیز باید سیاست رسمی برگزارکننده ملاک باشد؛ ابزار عمومی آنلاین جایگزین فرایند و مقررات آن آزمون نیست.

برای برنامه نویسان .NET و طراحان سامانه های آموزشی هم یک نکته روشن است: عددی مثل «۸۷٪ هوش مصنوعی» نباید در رابط کاربری شبیه احتمال قطعی یا درصد اثبات نمایش داده شود، مگر آنکه معنای آماری آن دقیقا تعریف و اعتبارسنجی شده باشد. بهتر است نام نسخه ابزار، تاریخ ارزیابی، آستانه، زبان و نوع داده آزموده شده ثبت شود؛ امکان بازبینی انسانی و مسیر اعتراض نیز در نظر گرفته شود. اگر ابزار به صورت API در سامانه ادغام می شود، نتیجه را همراه با محدودیت ها و دامنه کاربرد نمایش دهیم، نه اینکه تصمیم نهایی را بی صدا خودکار کنیم.

پرسش بهتر از «آیا این متن را هوش مصنوعی نوشته؟»

آشکارساز می تواند در بهترین حالت سرنخی برای بررسی بیشتر باشد؛ ارزش سرنخ هم به کیفیت ارزیابی روی همان نوع متن وابسته است. پژوهش های موجود نه می گویند همه زبان آموزان قربانی همیشگی ابزارها هستند و نه ثابت می کنند ابزارهای بازار برای تصمیم آموزشی قابل اتکای عمومی اند. یافته ها درباره نسخه ها و مجموعه داده های مشخص اند و فناوری و مدل های مولد نیز تغییر می کنند.

پرسش آموزشی مفیدتر این است: «آیا زبان آموز می تواند از فرایند و محتوای نوشته اش دفاع کند و مهارت مورد سنجش را نشان دهد؟» با بررسی پیش نویس، گفت وگوی کوتاه و ارزیابی بر اساس معیارهای روشن، می توان هم اصالت کار را جدی گرفت و هم از تبدیل یک امتیاز نامطمئن به اتهام جلوگیری کرد. برای مدرس زبان، ممتحن و برنامه نویس، اصل مشترک همین است: خروجی الگوریتم را داده ای برای پرسیدن بدانیم، نه پاسخ نهایی درباره نویسنده.

کلیدواژه ها: تشخیص متن هوش مصنوعی، نوشتار زبان دوم، ارزیابی زبان انگلیسی، سوگیری الگوریتمی، عدالت آموزشی