هوش مصنوعی فارسی انگلیسی را می فهمد؟ راز خطاهای جمله های آمیخته

وقتی وسط جمله فارسی، یک واژه انگلیسی می آوریم، اغلب داریم دقیق ترین راهی را انتخاب می کنیم که برای رساندن منظورمان در دسترس است: «این feature توی نسخه جدید کار نمی کنه»، «برای جلسه باید یه summary آماده کنم» یا «این جمله خیلی formal به نظر می رسه». برای انسان های دوزبانه، چنین جابه جایی ای معمولا عجیب نیست. اما اگر همین جمله را به یک مدل زبانی بدهیم، آیا مدل واقعا منظور ما را می فهمد، یا فقط از روی واژه های آشناتر حدس می زند؟

در زبان شناسی، به جابه جایی میان دو زبان در گفتار یا نوشتار «کدآمیزی» یا code-switching می گویند. در زندگی روزمره، این کار می تواند برای نام بردن از یک اصطلاح تخصصی، نقل قول، شوخی، تاکید یا پرهیز از مکث برای یافتن معادل انجام شود. پس آمیختن زبان ها لزوما نشانه ضعف در هیچ کدام نیست؛ گاهی بازتاب دانش، هویت و موقعیت ارتباطی گوینده است. مسئله این است که سامانه های زبانی با چنین ورودی ای چقدر خوب کنار می آیند.

چرا یک جمله مخلوط برای مدل دشوار می شود؟

مدل های زبانی معمولا با حجم بسیار بزرگی از متن آموزش می بینند، اما فراوانی و کیفیت داده ها در زبان ها یکسان نیست. زبان انگلیسی سهم پررنگی از داده های دیجیتال دارد؛ برخی زبان ها و گونه های نوشتاری، از جمله شکل های محاوره ای یا آمیخته، ممکن است کمتر یا نامنظم تر بازنمایی شوند. وقتی جمله از یک زبان به زبان دیگر می پرد، مدل باید هم واژه را تشخیص دهد، هم رابطه دستوری و معنایی آن را با بقیه جمله حفظ کند. دشواری فقط «ندانستن یک کلمه» نیست؛ گاهی مرز میان دو زبان، شیوه نوشتن، صرف واژه یا نقش آن در جمله هم مبهم است.

برای نمونه، عبارت «من این فایل رو upload کردم ولی sync نشده» را در نظر بگیرید. آیا منظور از sync، همگام سازی میان دستگاه هاست، یا به روز شدن یک نسخه در فضای ابری؟ آیا upload در این بافت فعل است یا صرفا نام یک مرحله؟ انسان معمولا با توجه به مکالمه و تجربه مشترک پاسخ را درمی یابد. مدل هم می تواند از بافت کمک بگیرد، اما اگر داده های آموزشی یا ارزیابی اش بیشتر تک زبانه باشند، ممکن است جمله را به قالب آشناتر خودش ببرد: واژه انگلیسی را بی دلیل ترجمه کند، منظور را به زبان غالب جمله فروبکاهد یا با اطمینان، معنایی را انتخاب کند که فقط محتمل به نظر می رسد.

پژوهش های تازه چه می گویند؟

در پژوهشی که در کنفرانس EMNLP سال ۲۰۲۵ منتشر شد، Yang و Chai مجموعه CodeMixBench را برای سنجش توانایی مدل ها در چند کار زبانی و در ۱۸ زبان از هفت خانواده زبانی معرفی کردند. نتیجه کلی این بود که مدل های ارزیابی شده در داده های آمیخته، به ویژه هنگامی که زبان ها از خانواده های متفاوت بودند، افت عملکرد نشان می دادند. این نتیجه یک پیام مهم دارد: نمره خوب مدل در آزمون تک زبانه به تنهایی تضمین نمی کند که همان مدل در پیام های واقعی دوزبانه هم دقیق باشد.

مطالعه دیگری، «Lost in the Mix»، نمونه هایی از آزمون های فهم مطلب و استدلال را به شکل آمیخته بازسازی کرد. در آزمایش های آن، وارد کردن واژه های غیرانگلیسی در متن انگلیسی در بسیاری از حالت ها عملکرد مدل ها را پایین آورد؛ اما در جهت دیگر، وقتی انگلیسی در متن زبان های دیگر وارد می شد، نتیجه گاهی بهتر می شد. این عدم تقارن مهم است: «چندزبانه بودن» یک توانایی یکنواخت نیست. زبان غالب جمله، زبان واژه های واردشده، نوع کار و حتی شیوه ساخت جمله می توانند نتیجه را عوض کنند.

در عین حال، نباید این یافته ها را بیش از اندازه تعمیم داد. آزمون های پژوهشی، مجموعه ای مشخص از زبان ها، مدل ها و وظایف را بررسی می کنند. نتیجه آزمایش روی ترکیب هایی مثل انگلیسی با عربی، آلمانی، فرانسوی یا چینی، به خودی خود پاسخ قطعی درباره هر ترکیب دیگری، از جمله فارسی و انگلیسی، نمی دهد. همچنین جمله های طبیعی مردم با متن های مصنوعی ای که برای ساخت آزمون تولید می شوند کاملا یکی نیستند. پژوهش به ما نشانه و پرسش می دهد، نه حکم همیشگی درباره هر مدل و هر گوینده.

یک نکته ظریف: مدل و کاربر ممکن است منظور متفاوتی از «درست» داشته باشند

اگر مدل جمله آمیخته را به نثر رسمی و یک زبانه تبدیل کند، ممکن است خروجی از نظر دستور ویرایشی مرتب باشد، اما صدای نویسنده یا دقت اصطلاح از بین برود. برعکس، اگر هدف مخاطب یک متن رسمی باشد، بازنویسی یک زبانه می تواند مفید باشد. پس پیش از درخواست از مدل باید روشن کنیم «درستی» برای ما یعنی چه: حفظ لحن و ترکیب زبان ها؟ ترجمه کامل؟ اصلاح دستور؟ یا توضیح اینکه کدام اصطلاح در بافت خاص مناسب تر است؟

برای استفاده دقیق تر از ابزارهای زبانی، چند کار ساده کمک می کند:

۱. هدف را صریح بگویید. بنویسید: «این متن فارسی محاوره ای با اصطلاح های انگلیسی است؛ ترکیب زبان ها را حفظ کن و فقط ابهام های معنایی را مشخص کن.» این دستور اجازه نمی دهد مدل بی درنگ متن را به نثر رسمی یا تک زبانه تبدیل کند.

۲. اگر اصطلاح چندمعناست، بافت بدهید. به جای فرستادن یک واژه تنها، جمله قبل و بعد یا حوزه کاربرد را اضافه کنید: نرم افزار، آموزش، بازاریابی یا گفت وگوی روزمره. بافت معمولا از درخواست مبهم «ترجمه کن» مفیدتر است.

۳. از مدل بخواهید ابهام را نشان دهد. مثلا بگویید: «اگر این عبارت دو برداشت دارد، هر دو را فهرست کن و بگو برای انتخاب به چه اطلاعاتی نیاز داری.» پاسخ محتاطانه ای که سوال می پرسد، گاهی از پاسخ روان اما حدسی قابل اعتمادتر است.

۴. معنای متن را با بازگویی بسنجید. از مدل بخواهید ابتدا منظور جمله را با واژه های خودش خلاصه کند و بعد متن را ویرایش کند. اگر خلاصه، قصد اصلی را عوض کرده، هنوز زمان ویرایش نرسیده است.

۵. در تدریس، کدآمیزی را به عنوان داده ای برای گفت وگو ببینید. می توان از زبان آموز خواست یک جمله آمیخته بنویسد، دو برداشت ممکن از آن را پیدا کند و بعد تصمیم بگیرد در چه مخاطب یا موقعیتی کدام صورت مناسب تر است. این تمرین هم دقت واژگانی را پرورش می دهد و هم آگاهی درباره ثبت رسمی و غیررسمی را.

جمع بندی

وقتی مدل در یک جمله فارسی انگلیسی اشتباه می کند، لزوما به این معنا نیست که کاربر بد نوشته یا مدل «هیچ زبانی بلد نیست». گاهی نمونه های آموزشی کم اند، گاهی ساختار جمله از الگوی تک زبانه فاصله دارد و گاهی هدف ارتباطی روشن نشده است. پژوهش های جدید نشان می دهند توانایی مدل در متن های آمیخته باید جداگانه سنجیده شود و نتیجه یک زبان یا جهت زبانی را نمی توان بی احتیاط به دیگری تعمیم داد.

برای ما که میان زبان و فناوری کار می کنیم، پرسش جالب فقط این نیست که «آیا هوش مصنوعی فارسی می فهمد؟» پرسش دقیق تر این است: «در کدام ترکیب زبانی، برای چه کاری، و با چه نوع بافتی منظور ما را درست می گیرد؟» پاسخ به همین پرسش های کوچک است که استفاده از ابزار را از اعتماد کورکورانه به همکاری آگاهانه تبدیل می کند.

منابع

Yang, Y., & Chai, Y. (2025). CodeMixBench: Evaluating Code-Mixing Capabilities of LLMs Across 18 Languages. Proceedings of EMNLP 2025, 2139–2169. https://doi.org/10.18653/v1/2025.emnlp-main.109

Wang, Z., et al. (2025). Investigating and Scaling up Code-Switching for Multilingual Language Model Pre-Training. Findings of ACL 2025, 11032–11046. https://doi.org/10.18653/v1/2025.findings-acl.575

Mohamed, A., Zhang, Y., Vazirgiannis, M., & Shang, G. (2025). Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text. arXiv:2506.14012. https://doi.org/10.48550/arXiv.2506.14012