بررسی تحلیلی کیفیت چت بات های مبتنی بر هوش مصنوعی؛ تقابل مدل های بومی و غول های جهانی

بررسی تحلیلی کیفیت چت بات های مبتنی بر هوش مصنوعی؛ تقابل مدل های بومی و غول های جهانی

در چند سال اخیر، توسعه مدل های زبانی بزرگ (LLMs) و چت بات های مبتنی بر آن ها، مرزهای فناوری ارتباطات و پردازش زبان طبیعی (NLP) را جابه جا کرده است. از زمانی که مدل هایی مانند ChatGPT، Claude و Gemini به صورت عمومی در دسترس قرار گرفتند، استانداردهای جدیدی برای تعامل انسان و ماشین تعریف شد. در این میان، اکوسیستم فناوری ایران نیز بیکار ننشسته و تلاش هایی برای توسعه چت بات ها و مدل های زبانی بومی انجام داده است. اما پرسش اساسی اینجاست: کیفیت این ابزارهای ایرانی در مقایسه با همتایان خارجی خود چگونه است و چه چالش ها و مزیت هایی در این مسیر وجود دارد؟

برای داشتن یک ارزیابی علمی و منصفانه، باید این مقایسه را از چند زاویه مختلف از جمله درک زبان و لحن، قدرت استدلال، زیرساخت های پردازشی و شناخت بافت فرهنگی بررسی کنیم.

۱. درک ظرایف زبان فارسی و بافت فرهنگی

یکی از مهم ترین ادعاهای توسعه دهندگان مدل های بومی، تسلط بیشتر بر زبان فارسی و درک عمیق تر از فرهنگ ایرانی است. زبان فارسی به دلیل ساختار گرامری خاص، استفاده گسترده از افعال مرکب، کنایه ها، ضرب المثل ها و همچنین وجود لحن های متنوع (رسمی، محاوره ای، کوچه بازاری و ادبی)، چالش های زیادی را برای مدل های هوش مصنوعی ایجاد می کند.

مدل های خارجی مانند GPT-4 با وجود اینکه روی حجم عظیمی از داده های چندزبانه آموزش دیده اند، گاهی در تولید متون فارسی روان و کاملا طبیعی دچار مشکل می شوند. آن ها ممکن است اصطلاحات را به صورت تحت اللفظی ترجمه کنند یا در درک طنز و کنایه های خاص ایرانی ناکام بمانند. در مقابل، چت بات های ایرانی (که غالبا با فاین تیون کردن یا تنظیم دقیق مدل های متن باز جهانی روی دادگان فارسی توسعه یافته اند) در تولید متن هایی با لحن محاوره ای و روزمره ایرانی عملکرد قابل قبولی از خود نشان می دهند. با این حال، مشکل اساسی اینجاست که حجم داده های باکیفیت و استاندارد فارسی در وب، در مقایسه با زبان انگلیسی بسیار ناچیز است. این فقر داده باعث می شود مدل های بومی با وجود آشنایی با لحن، دایره واژگان و دانش عمومی محدودتری داشته باشند.

۲. قدرت استدلال، منطق و حل مسئله

تفاوت اصلی و شاید پاشنه آشیل مدل های ایرانی در مقایسه با غول های خارجی، بحث «قدرت استدلال» (Reasoning) است. وقتی از یک چت بات درخواست می کنیم یک مسئله ریاضی را حل کند، کدهای برنامه نویسی پیچیده بنویسد یا یک متن طولانی را با منطق خاصی خلاصه کند، تفاوت ها به وضوح آشکار می شود.

مدل های خارجی با در اختیار داشتن ده ها یا صدها میلیارد پارامتر و آموزش روی مجموعه های داده ای ترکیبی (شامل کد، ریاضیات و منطق)، توانایی بی نظیری در استنتاج دارند. آن ها می توانند زنجیره ای از افکار (Chain of Thought) را دنبال کنند و به پاسخ های دقیق برسند. اما چت بات های ایرانی در حال حاضر بیشتر در سطح «تولید متن» و «پاسخ گویی به سوالات عمومی» متوقف مانده اند. در مواجهه با پرسش های تحلیلی پیچیده یا درخواست های چندمرحله ای، مدل های بومی اغلب دچار سردرگمی شده، موضوع را گم می کنند یا به اصطلاح دچار توهم (Hallucination) می شوند و اطلاعات غلط را با اعتماد به نفس بالا ارائه می دهند.

۳. مسئله توهم هوش مصنوعی و دقت اطلاعات محلی

توهم یا تولید اطلاعات ساختگی، مشکل مشترک تمام مدل های زبانی است. با این حال، در زمینه اطلاعات محلی، کفه ترازو می تواند به نفع مدل های بومی سنگینی کند. اگر از یک مدل خارجی درباره قوانین حقوقی خاص ایران، ساختار اداری، تاریخ محلی معاصر یا حتی آدرس دقیق خیابان ها و کسب وکارهای ایرانی بپرسید، احتمال خطای آن بسیار بالاست؛ چرا که این اطلاعات در داده های آموزشی آن سهم بسیار کمی داشته اند.

چت بات های ایرانی، به دلیل تغذیه شدن با داده های بومی، مقالات داخلی، قوانین و اخبار محلی، قاعدتا باید در این زمینه بسیار دقیق تر عمل کنند. یک مدل بومی بهینه شده، می تواند به عنوان دستیار حقوقی، پزشکی یا اداری در داخل کشور کاربرد فراوانی داشته باشد، به شرط آنکه توسعه دهندگان بتوانند مکانیزم های بازیابی اطلاعات (مانند RAG) را به درستی در آن ها پیاده سازی کنند تا توهم مدل به حداقل برسد.

۴. شکاف زیرساختی و سخت افزاری

برای درک بهتر چرایی تفاوت کیفیت، باید نگاهی به پشت صحنه بیندازیم. آموزش یک مدل زبانی بزرگ در سطح جهانی نیازمند هزاران پردازنده گرافیکی پیشرفته (GPUs) مانند Nvidia A100 یا H100 و صرف میلیون ها دلار هزینه برای مصرف برق و نگهداری است. شرکت هایی مانند OpenAI یا گوگل، زیرساخت های سخت افزاری و مالی افسانه ای در اختیار دارند.

در مقابل، تیم های توسعه دهنده ایرانی با محدودیت های شدید سخت افزاری، هزینه های سرسام آور تامین سرور و همچنین چالش های مربوط به تحریم های فناوری روبه رو هستند. به همین دلیل، بیشتر پروژه های بومی به جای آموزش یک مدل از پایه (Pre-training)، به سراغ مدل های متن باز کوچک تر (مانند Llama از متا یا Mistral) رفته و آن ها را برای زبان فارسی تنظیم دقیق (Fine-tune) می کنند. این رویکرد اگرچه هوشمندانه و مقرون به صرفه است، اما به طور ذاتی سقف توانایی مدل را به مدل پایه محدود می کند و هرگز نمی تواند از نظر وسعت دانش با مدل های عظیم آموزش دیده از پایه، رقابت کند.

۵. امنیت داده ها و حریم خصوصی

یکی از دلایل مهمی که توسعه چت بات های ایرانی را توجیه می کند، بحث حریم خصوصی و امنیت داده ها در سطح سازمان ها و شرکت های بزرگ است. بانک ها، نهادهای دولتی و شرکت های خصوصی تمایلی ندارند داده های حساس و اطلاعات مشتریان خود را برای پردازش به سرورهای خارجی ارسال کنند. در اینجا، یک چت بات ایرانی (حتی با کیفیت پایین تر از نمونه های خارجی) که بتواند روی سرورهای داخلی (On-Premise) اجرا شود، یک مزیت مطلق محسوب می شود و ارزش تجاری بالایی دارد.

جمع بندی و نگاه به آینده

واقعیت این است که اگر بخواهیم صرفا از دیدگاه کیفیت خالص خروجی، قدرت استدلال و وسعت دانش به ماجرا نگاه کنیم، چت بات های ایرانی در حال حاضر فاصله معناداری با پیشگامان جهانی دارند. مدل های خارجی همچنان ابزارهای اولویت دار برای کارهای تخصصی، برنامه نویسی و تحقیقات علمی محسوب می شوند.

اما این بدان معنا نیست که تلاش های داخلی بی ارزش هستند. چت بات های ایرانی در مسیر پیدا کردن جایگاه اختصاصی (Niche) خود قرار دارند. آن ها می توانند در پردازش لحن های خاص فارسی، ارائه اطلاعات دقیق محلی و پاسخگویی به نیازهای سازمانی که دغدغه امنیت داده دارند، بسیار موفق عمل کنند. 

برای اینکه مدل های ایرانی بتوانند به یک بلوغ واقعی برسند، نیازمند دو اتفاق مهم هستیم: نخست، ایجاد و تجمیع پیکره های متنی (Corpus) بسیار بزرگ، باکیفیت و تمیز از زبان فارسی که نیازمند همکاری دانشگاه ها و پلتفرم های تولید محتواست. دوم، سرمایه گذاری کلان در زیرساخت های پردازشی. تا آن زمان، منطقی ترین رویکرد توسعه دهندگان ایرانی، استفاده از معماری های بهینه تر، تمرکز بر روش های ترکیبی مانند بازیابی اطلاعات (RAG) و تلاش برای بهبود تجربه کاربری است تا بتوانند به عنوان دستیارهایی قابل اعتماد در کنار کاربران ایرانی قرار گیرند.

بهزادحسین عباسی