ارزیابی خودکار با هوش مصنوعی: تحول در سنجش مهارت های دانش آموزان

این پژوهش به ارزیابی اعتبار همزمان و پایایی سیستم های هوش مصنوعی در فرآیند نمره دهی پاسخ های تشریحی دانش آموزان پرداخت. نتایج بخش کمی نشان داد که همبستگی قوی بین نمرات تولید شده توسط هوش مصنوعی و داوران انسانی وجود دارد، اما سوگیری سیستمی نیز مشاهده گردید که میانگین نمرات هوش مصنوعی را به طور معناداری پایین تر از نمرات انسانی قرار داد. از منظر کیفی، تحلیل مصاحبه های خبرگان نشان داد که اصلی ترین چالش مدل ها، ظرافت های زبانی و تفسیر محتوایی در سنجش مهارت های سطح بالا نظیر خلاقیت است. همچنین، فقدان شفافیت (Explainability) در فرآیند نمره دهی به عنوان «جعبه سیاه» مطرح شد که پذیرش عدالت سنجش را با مانع مواجه می سازد. در نهایت، مشخص شد که ابهام در دستورالعمل های نمره دهی اولیه (داده های مرجع) عاملی مهم در تضعیف اعتبار کلی سیستم محسوب می شود. این نتایج حاکی از آن است که هوش مصنوعی در حال حاضر می تواند به عنوان یک ابزار سازگارکننده قوی در کنار داوران انسانی به کار رود، اما تا دستیابی به استقلال کامل در ارزیابی های پیچیده نیازمند پیشرفت های الگوریتمی و بهبود کیفیت داده های آموزشی است.

کلیدواژه ها:

اعتبار همزمان ، پایایی ، هوش مصنوعی در آموزش ، نمره دهی خودکار ، سوگیری سیستمی ، شفافیت الگوریتمی ، ارزیابی تشریحی