هوش مصنوعی و زبان فارسی: چرا مدل ها فارسی را ضعیف تر می فهمند؟

اگر یک پرامپت را یک بار به انگلیسی و یک بار به فارسی به یک مدل زبانی بدهید، معمولا پاسخ انگلیسی روان تر، دقیق تر و کامل تر است. این تفاوت تصادفی نیست و به «ضعیف بودن» مدل برنمی گردد؛ ریشه در داده هایی دارد که مدل با آن ها آموزش دیده، در شیوه ای که متن فارسی را به قطعه های کوچک می شکند، و در فرهنگی که پشت زبان فارسی پنهان است. این یادداشت می خواهد همین سه دلیل را روشن کند و بگوید برای کسی که با هوش مصنوعی محتوای فارسی تولید می کند، این تفاوت ها در عمل یعنی چه.

اول: فارسی در دنیای داده، زبانی کم منبع است

مدل های زبانی بزرگ از متنی یاد می گیرند که در اینترنت و کتاب ها وجود دارد، و سهم زبان انگلیسی در این داده ها به مراتب بیشتر از سهم فارسی است. نتیجه این است که فارسی، با وجود ده ها میلیون گویشور، در ادبیات پژوهشی هوش مصنوعی یک زبان «کم منبع» به حساب می آید. پژوهشگرانی که در سال ۲۰۲۵ دو بنچمارک تازه به نام های پکا و پی کی بتس برای ارزیابی مدل های زبانی در زبان فارسی ساختند، دقیقا از همین نکته شروع کردند: ارزیابی مدل ها در زبان های کم منبعی مثل فارسی بسیار کمتر از زبان های پرمنبعی مثل انگلیسی مورد توجه قرار گرفته و بنچمارک های موجود برای فارسی، جامع نیستند. وقتی داده آموزشی کم باشد، مدل با ساختارهای دستوری، واژه ها و دانشی که فقط در منابع فارسی وجود دارد کمتر آشنا می شود؛ پس در فهم ظریف متن فارسی، به ویژه در موضوع های تخصصی، عقب تر می ماند.

این کمبود داده فقط یک مشکل نظری نیست. مدل هایی که به طور خاص برای فارسی آموزش دیده اند نشان می دهند که راه حل، داده فارسی بیشتر و بهتر است. برای نمونه، مدل پرشین مایند با افزودن ده هزار توکن فارسی به واژگان مدل لاما ۲ و آموزش روی نزدیک به دو میلیارد توکن فارسی، در آزمون درک مطلب فارسی به عملکردی نزدیک به جی پی تی ۳٫۵ رسید. پیش از آن هم مدل هایی مثل پارس برت و توکابرت نشان داده بودند که آموزش ویژه روی داده فارسی، درک زبان فارسی را به طور معنادار بهتر می کند. پیام این پژوهش ها روشن است: ضعف مدل در فارسی، ذاتی نیست؛ نتیجه کمبود داده فارسی در آموزش است و با داده بیشتر قابل جبران است.

دوم: توکنایزاسیون فارسی، هزینه پنهان دارد

مدل های زبانی متن را کلمه به کلمه نمی خوانند؛ آن را به واحدهایی به نام «توکن» می شکنند. توکنایزرها بیشتر برای انگلیسی بهینه شده اند، پس یک جمله فارسی معمولا به توکن های بیشتری شکسته می شود تا جمله ای با همان معنا به انگلیسی. این یعنی برای انجام یک کار یکسان، مدل باید توکن بیشتری پردازش کند؛ پاسخ دیرتر می رسد، هزینه بیشتری مصرف می شود و بخش بیشتری از پنجره متنی مدل اشغال می شود.

فارسی یک دشواری ویژه هم دارد: نیم فاصله. حرف «می خواهم» با نیم فاصله یک واژه است، اما بسیاری از توکنایزرها آن را به شکل های ناسازگار می شکنند و گاهی نیم فاصله را حذف یا جابه جا می کنند. پژوهش های تازه، از جمله مدلی به نام اچ نت پلاس پلاس، نشان داده اند که همین مرزهای پنهان نیم فاصله، توکنایزرهای آماری را به خطا می اندازند و راه حل هایی مثل مدل سازی بدون توکنایزر می تواند دقت را در زبان هایی مثل فارسی بالا ببرد. برای کاربر عادی، پیام عملی این بخش ساده است: اگر خروجی فارسی مدل گاهی نیم فاصله ها را اشتباه می نویسد یا جمله را ناقص برمی گرداند، مقصر پرامپت شما نیست؛ توکنایزر مدل با ساختار خط فارسی کنار نیامده است.

سوم: زبان، فقط واژه نیست؛ فرهنگ است

حتی اگر مدل همه واژه های فارسی را بشناسد، باز هم با لایه ای از زبان که فرهنگی است دست وپنجه نرم می کند: ضرب المثل ها، کنایه ها و استعاره ها. پژوهشی که در کنفرانس کولینگ ۲۰۲۵ منتشر شد، عملکرد مدل های زبانی در فهم کنایه و تشبیه را در چند زبان، از جمله فارسی، مقایسه کرد و نشان داد که تفاوت عملکرد میان زبان ها و میان انواع زبان مجازی معنادار است؛ مدل های متن باز به ویژه در زبان های کم منبع در فهم تشبیه ها دشوارتر عمل می کنند.

بنچمارک تازه ای به نام مسل بنچ که ضرب المثل های فارسی را می سنجد، همین تصویر را دقیق تر نشان می دهد: مدل های پیشرفته در تشخیص ضرب المثل فارسی در متن، دقتی بالای نود درصد دارند، اما وقتی باید معادل انگلیسی همان ضرب المثل را پیدا کنند، دقت بهترین مدل به حدود هفتاد و نه درصد سقوط می کند. یعنی مدل ضرب المثل را «می شناسد»، اما معنای فرهنگی آن را در زبان دیگر بازسازی نمی کند. یک بنچمارک دیگر به نام پرهالوایوال هم نشان داده است که مدل ها در تشخیص توهم در متن فارسی دشوارتر عمل می کنند و حتی مدل هایی که به طور ویژه برای فارسی آموزش دیده اند، در این زمینه برتری معناداری ندارند. پس ضعف مدل در فارسی فقط ضعف واژگان نیست؛ ضعف فهم فرهنگی است.

با این محدودیت ها چطور محتوای فارسی بهتری بسازیم؟

فرض کنید می خواهید با هوش مصنوعی یک متن تبلیغاتی فارسی برای یک محصول بنویسید. اگر پرامپت را به انگلیسی بنویسید و از مدل بخواهید خروجی فارسی بدهد، اغلب متنی می گیرید که از نظر دستوری درست است اما لحنش ترجمه ای است؛ کنایه ها را تحت اللفظی برمی گرداند، ضرب المثل را اشتباه به کار می برد یا نیم فاصله ها را رعایت نمی کند. تجربه عملی پژوهش ها هم همین را می گوید: پرامپت نویسی و دادن چند نمونه خوب به زبان فارسی، عملکرد مدل را به ویژه در زبان های کم منبع بهتر می کند.

چند راهکار ساده و آزموده شده وجود دارد: پرامپت را به فارسی بنویسید، نه به انگلیسی؛ لحن و مخاطب را مشخص کنید؛ یک یا دو نمونه از متن مطلوب خودتان را در پرامپت بگذارید تا مدل سبک شما را تقلید کند؛ و خروجی را همیشه با چشم یک ویراستار فارسی زبان بازبینی کنید، به ویژه نیم فاصله ها، «ها» و «می »ها، و ضرب المثل ها را. مدل برای فارسی هنوز یک دستیار توانمند است، نه یک نویسنده مستقل؛ و کسی که این مرز را بشناسد، از آن بهتر استفاده می کند.

نتیجه گیری

مدل های زبانی فارسی را ضعیف تر می فهمند چون با داده فارسی کمتری آموزش دیده اند، چون توکنایزرشان برای خط و ساختار فارسی ساخته نشده، و چون لایه فرهنگی زبان — ضرب المثل، کنایه و لحن — در داده های آموزشی کمتر دیده شده است. اما هیچ یک از این سه دلیل، بن بست نیست: بنچمارک های تازه فارسی، مدل های ویژه فارسی و روش های توکنایزاسیون جدید نشان می دهند که شکاف در حال کم شدن است. برای تولیدکننده محتوای فارسی، شناختن این محدودیت ها یک مزیت رقابتی است؛ کسی که بداند مدل کجا خطا می کند، پرامپت بهتری می نویسد، خروجی را بهتر ویرایش می کند و در نهایت محتوایی می سازد که هم از سرعت هوش مصنوعی بهره برده و هم از دقت یک فارسی زبان.