آزمون های علوم سیاسی در عصر هوش مصنوعی

آزمون های علوم سیاسی در عصر هوش مصنوعی

وقتی ChatGPT-3.5 در پاییز 2022 به بازار عرضه شد، حس شگفتی جمعی در همه جا موج می زد. این یک روح در یک ماشین نبود، بلکه چیزی بود که به طرز مشکوکی شبیه به یک انسان بود. این چت بات در هر موضوعی گفتگو می کرد، اشعار ایامبیک را با صدای یک دزد دریایی می نوشت و حتی عشق خود را به کاربرانش ابراز می کرد. همچنین در امتحانات نیز عملکرد بسیار خوبی داشت. ChatGPT-4 که ​​در مارس 2023 منتشر شد، در آزمون وکالت 90٪ نمره گرفت (OpenAI و همکاران، 2024). وقتی از آن خواستم در امتحانات علوم سیاسی که به دانشجویان کارشناسی ام می دادم شرکت کند، پاسخ هایی در محدوده B+ تا A- ارائه داد. واضح بود که تدریس، یا حداقل امتحان دادن به دانشجویان، دیگر هرگز مثل قبل نخواهد بود.

اولین واکنش و بسیار قابل درک، از سوی برخی از معلمان، ممنوع کردن این کار لعنتی بود. تکیه بر هوش مصنوعی برای نوشتن یک امتحان حضوری، آشکارا بسیار شبیه به درخواست از شخص دیگری برای نوشتن آن است. و این تقلب است! سوال فقط این بود که در مورد آن چه باید کرد. اگرچه صدای معمولی هوش مصنوعی از برخی جهات کاملا متمایز است، اما در عین حال به راحتی می توان آن را پنهان کرد. حتی می توانید از هوش مصنوعی بخواهید که خود را پنهان کند و عملا آن را غیرقابل تشخیص کند. در نتیجه، بسیاری از معلمان به این نتیجه رسیدند که ما باید به قالب تقریبا کنار گذاشته شده امتحانات دستی و حضوری برگردیم - و هنگام ورود به کلاس، تمام دستگاه های الکترونیکی را پشت در بگذاریم!

راه حل جایگزین، یافتن راهی برای همزیستی با این هیولا است. یا بهتر از آن: بیایید مثبت فکر کنیم! هوش مصنوعی مسلما منبع فوق العاده ای است که پتانسیل بهبود هر جنبه ای از آموزش دانشگاهی را دارد. با این حال، برای تحقق این امر، باید آماده باشیم که خلاقانه فکر کنیم و کمی آزمایش کنیم. تعدادی پیشنهاد امیدوارکننده وجود دارد. هوش مصنوعی می تواند بر اساس تعامل و عملکرد دانشجویان، پشتیبانی شخصی سازی شده ارائه دهد، دانشجویان ناموفق را شناسایی کند و با کمک به پاسخ به سوالات معمول، به عنوان یک دستیار مجازی عمل کند. اگر «کلاس درس را برعکس کنیم»، هوش مصنوعی می تواند تکالیف تعاملی را برای دانشجویان فراهم کند تا در خانه انجام دهند، در حالی که آنها می توانند تکالیف خود را در کلاس انجام دهند. به این ترتیب، برای معلمان آسان تر است که مطمئن شوند دانشجویان صرفا کپی و پیست نمی کنند.

در طول سه ترم گذشته، من با نوع جدیدی از امتحانات آزمایش کرده ام. از دانش آموزان می خواهم که «داستان هایی» در مورد آنچه من «آیتم ها» می نامم، بنویسند. یک آیتم می تواند هر چیزی باشد - متنی که در کلاس می خوانیم، یک کلیپ یوتیوب، یک تصویر، یک شعر - و داستان چیزی است که آیتم ها را به یکدیگر متصل می کند. به عبارت دیگر، وظیفه این است که آیتم های مربوطه را شناسایی و توصیف کنیم، اما مهمتر از همه، آنها را از طریق یک طرح کلی به هم پیوند دهیم. آیتم ها به نوعی با یکدیگر صحبت می کنند و وظیفه دانش آموزان این است که به من بگویند چه می گویند. من یک طرح خاص در ذهن دارم، اما هیچ پاسخ درستی به این صورت وجود ندارد. دانش آموزان می توانند آیتم ها را به روش هایی که من انتظار نداشتم به هم مرتبط کنند و آن پاسخ ها می توانند به همان اندازه خوب باشند. وقتی نمره می دهم، به آنها بر اساس دانششان از مطالبی که در کلاس پوشش داده ایم و خلاقیتشان پاداش داده می شود.

خب، هوش مصنوعی در این امتحانات چطور عمل می کند؟ خیلی خوب نیست. ChatGPT-4 کاملا قادر به شناسایی موارد منفرد است و می تواند آنها را با جزئیات کامل توصیف کند. با این حال، ارتباطاتی که بین آنها برقرار می کند، همیشه سطحی و اغلب بی معنی هستند. و این تعجب آور نیست. این ارتباطات عموما موضوعاتی هستند که ما در کلاس در مورد آنها بحث کردیم و هوش مصنوعی آنجا نبود تا گوش دهد و یادداشت برداری کند. همچنین ممکن است این تمرین فراتر از توانایی هوش مصنوعی باشد (فعلا). شما باید ارتباط را ببینید - این نوعی لحظه ی کشف کردن است - و به نظر نمی رسد هوش مصنوعی چنین ارتباطی داشته باشد. در نتیجه، ChatGPT و همکارانش تهدیدی برای این قالب امتحانی نیستند. در واقع، من می توانم با خیال راحت به دانش آموزان اجازه دهم از هوش مصنوعی استفاده کنند، حتی آنها را به استفاده از آن تشویق کنم!

بگذارید مثالی بزنم. این یک سوال امتحانی از درس «مقدمه ای بر روابط بین الملل» من است. سه مورد عبارتند از ۱) گزیده ای از فصل سیزدهم کتاب «لویاتان» توماس هابز؛ ۲) تصویری آرمانی و تولید شده توسط هوش مصنوعی از زندگی در یک جامعه بدون دولت؛ و ۳) لینکی به یک مقاله روزنامه که در آن دونالد تاسک، نخست وزیر لهستان، در مورد احتمال جنگ قریب الوقوع اروپایی هشدار می دهد. با استفاده از هوش مصنوعی، شناسایی این موارد آسان است. اما ارتباط بین آنها چیست؟ تصویر آرمانی از زندگی در یک جامعه بدون دولت، آشکارا پاسخی به هابز است. اما این موضوع، نخست وزیر لهستان را در کجا قرار می دهد؟ دانشجویی که درس من را گذرانده و توجه کافی داشته باشد، به یاد خواهد آورد که فصل سیزدهم کتاب هابز توسط نظریه پردازان روابط بین الملل برای توصیف مفهوم «آنارشی» استفاده شده است و این مفهوم به وضوح با نگرانی های تاسک مطابقت دارد. اما آن داستان نمی تواند به راحتی تصویر جامعه بدون دولت را در بر بگیرد. یک دانش آموز بهتر به یاد خواهد آورد که هدلی بول (در فهرست مطالعه) نظام بین الملل را با یک جامعه بدون دولت مقایسه کرد، و بهترین دانش آموز این توصیف را ابتدا با هابز و سپس با چشم انداز جنگ دیگری در اروپا مرتبط خواهد کرد. به این ترتیب، این داستان به داستانی در مورد ماهیت نظام بین الملل، نقش هنجارهای اجتماعی در تنظیم رفتار انسان و غیره تبدیل می شود. یا حداقل، این ایده من بود.

مثال دیگر از درس تاریخ دیپلماتیک من می آید. در اینجا مورد ۱) تصویری تولید شده توسط هوش مصنوعی از یک آواتار هندو است؛ مورد ۲) گزیده ای از دفتر خاطرات ساموئل پپیس در ۳۰ سپتامبر ۱۶۶۱ است که درگیری خشونت آمیزی را در برج لندن بین هیئت های دیپلماتیک فرانسه و اسپانیا توصیف می کند؛ مورد ۳) فصلی از کتاب «اصول دیپلماسی آمریکایی» نوشته جان باست مور، ۱۹۱۸ است. ارتباطی که من در اینجا در ذهن داشتم مربوط به نحوه برخورد با سفیران در اوایل اروپای مدرن به عنوان آواتارهای ایالت هایی است که نماینده آنها بودند و اینکه چگونه این امر دائما منجر به «حوادث» دیپلماتیک و نزاع هایی در مورد پروتکل می شد. فصل مور توضیح می دهد که چگونه آمریکایی های پس از استقلال از تعامل با این شرایط خودداری کردند و شکلی دموکراتیک تر و تجاری تر از دیپلماسی را ترجیح دادند. در اینجا، برای دانشجویان من، آواتار به وضوح بزرگترین مانع بود. بسیاری به یاد نمی آوردند که ما در مورد نقش سفیران اوایل مدرن در این شرایط بحث کرده بودیم و بسیاری متوجه نبودند که «آواتار» یک مفهوم هندو است. بهترین دانشجویان این ارتباط را درک کردند و به بحث در مورد چگونگی ریشه داشتن دیپلماسی اروپایی در فرهنگ اشرافی درباری و چگونگی تلاش آمریکایی های قرن نوزدهم برای جایگزینی این فرهنگ با نوعی دیپلماسی «جمهوری خواهانه» پرداختند.

به این ترتیب، دانش آموزان خود را به طور کاملا منظمی در طیف A تا F قرار می دهند. بهترین دانش آموزان در این امتحانات خوب عمل می کنند و دانش آموزان نه چندان خوب، نه چندان خوب. بدترین پاسخ ها، پاسخ هایی هستند که هرگز فراتر از اطلاعاتی که هوش مصنوعی می تواند ارائه دهد، نمی روند. بهترین پاسخ ها، پاسخ هایی هستند که ارتباطات را پیدا می کنند و به کاوش، تحلیل و نقد آنها ادامه می دهند. بهترین دانش آموزان داستان هایی ارائه می دهند که مرا شگفت زده می کنند. و بسیاری از پاسخ ها خواندنی هستند - برخی مانند فیلمنامه های فیلم، افسانه ها یا جزوه های سیاسی خوانده می شوند. این قالب همچنین در بین دانش آموزان محبوب است. طبق نظرسنجی غیررسمی من، ۳۵٪ از ۴۰ پاسخ دهنده گفتند که "آن را دوست داشتند"، در حالی که ۵۷٪ آن را "یک آزمایش جالب" نامیدند که آماده بودند دوباره آن را امتحان کنند. تنها ۴٪ از دانش آموزان می خواستند به اشکال سنتی تر امتحانات برگردند.

این قالب مسلما نوشدارو نیست. حتما دروس علوم سیاسی زیادی وجود دارند که نمی توان آنها را به این روش بررسی کرد. این قالب همچنین ممکن است به دلایلی که من در نظر نگرفته ام، جانبدارانه یا غیرقابل اعتماد باشد. برای مثال، هنوز نفهمیده ام که آیا همکارانم پاسخ ها را به همان روشی که من نمره می دهم، نمره می دهند یا خیر. این امتحانات بدیهی است که به دانش آموزانی که نویسندگان خوبی هستند پاداش می دهد، اما کسانی که نویسنده خوبی نیستند می توانند به طور مشروع به کمک هوش مصنوعی تکیه کنند. همین امر در مورد دانش آموزانی که زبان اولشان انگلیسی نیست نیز صادق است. شکی نیست که این قالب را می توان از جهات مختلفی گسترش داد و بهبود بخشید. اما یک چیز قطعی است: ظهور هوش مصنوعی به این معنی است که ما چاره ای جز امتحان کردن چیزهای جدید نداریم. و بیایید صادق باشیم، به هر حال، آموزش دانشگاه برای کمی تغییر و تحول به موقع بود.

References

OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, et al. 2024. “GPT-4 Technical Report.” arXiv. https://doi.org/10.48550/arXiv.2303.08774.

The Chronicle of Higher Education. 2023. “Big Bot on Campus: The Perils and Potential of ChatGPT and Other AI.” Washington D.C. https://store.chronicle.com/products/big-bot-on-campus.

———. 2023. “Perspectives on Generative AI: College Leaders Assess the Promise and the Threat of a Game-Changing Tool.” Washington D.C. https://connect.chronicle.com/CHE-CI-WC-2023-09-25-C-AI-CHE_LP.html.