ارزیابی کیفیت محتوای تولید شده توسط مدل های زبانی بزرگ (LLMs): بررسی ابعاد دقت، انسجام و اتکاپذیری چکیده

چکیده

پیشرفت های اخیر در زمینه هوش مصنوعی مولد و توسعه مدل های زبانی بزرگ (LLMs)، تحولات بنیادینی در نحوه تولید، پردازش و توزیع محتوای متنی ایجاد کرده است. با این حال، استفاده روزافزون از این ابزارها نگرانی های جدی را در خصوص کیفیت، دقت علمی و اتکاپذیری محتوای تولید شده به همراه داشته است. مسئله اصلی این پژوهش، فقدان یک چارچوب ارزیابی جامع برای سنجش کیفیت خروجی های این مدل ها در کاربردهای حساس است. هدف تحقیق حاضر، ارزیابی چندبعدی کیفیت محتوای تولید شده توسط مدل های زبانی بزرگ بر اساس شاخص های زبان شناختی و معنایی می باشد. این پژوهش از نظر هدف، کاربردی و از نظر ماهیت، توصیفی-تحلیلی است. برای گردآوری داده ها، مجموعه ای از پرامپت های استاندارد (دستورات متنی) در سه حوزه علمی، عمومی و خلاقانه طراحی شده و خروجی مدل ها با استفاده از ترکیبی از معیارهای خودکار (مانند BLEU و BERTScore) و ارزیابی انسانی (توسط خبرگان) مورد سنجش قرار گرفت. نتایج کلی نشان می دهد که اگرچه مدل های زبانی در شاخص های روانی و انسجام متن عملکرد بسیار بالایی (بیش از85%) دارند، اما در شاخص دقت עلمی و تولید محتوای بدون “توهم مصنوعی” (Hallucination) همچنان با چالش های جدی مواجه اند و کیفیت آن ها وابستگی شدیدی به حوزه تخصصی محتوا دارد.

کلیدواژه ها: مدل های زبانی بزرگ (LLMs)، ارزیابی کیفیت محتوا، توهم مصنوعی، پردازش زبان طبیعی (NLP)، هوش مصنوعی مولد.

۱. مقدمه

اهمیت موضوع:

در سال های اخیر، ظهور مدل های زبانی بزرگ نظیر خانواده GPT، Gemini و LLaMA نقطه عطفی در حوزه پردازش زبان طبیعی (NLP) محسوب می شود. این مدل ها که بر پایه معماری ترانسفورمر (Transformer) و با استفاده از حجم عظیمی از داده های متنی آموزش دیده اند، توانایی بی سابقه ای در درک و تولید زبان طبیعی انسان از خود نشان داده اند. با توجه به نفوذ این فناوری در حوزه های مختلف اعم از آموزش، روزنامه نگاری، برنامه نویسی و پژوهش های دانشگاهی، اطمینان از کیفیت و صحت محتوای تولید شده توسط آن ها به یک ضرورت انکارناپذیر تبدیل شده است.

تعریف مسئله:

علی رغم توانمندی های شگرف LLMها در تولید متن روان و منسجم، پدیده ای تحت عنوان “توهم مصنوعی” (تولید اطلاعات ساختگی، نادرست یا غیرمنطقی که با ظاهری متقاعدکننده ارائه می شوند) یکی از بزرگترین چالش های پیش روی این سیستم هاست. علاوه بر این، سوگیری های موجود در داده های آموزشی می تواند منجر به تولید محتوای جهت دار یا فاقد عینیت شود. مسئله اصلی این است که چگونه می توان کیفیت این محتوا را به شکلی نظام مند و دقیق ارزیابی کرد تا از خطرات ناشی از انتشار اطلاعات نادرست جلوگیری به عمل آید.

بیان شکاف پژوهشی:

بیشتر پژوهش های پیشین در حوزه ارزیابی مدل های زبانی، تمرکز خود را بر روی معیارهای صرفا کمی و مبتنی بر هم پوشانی کلمات (نظیر NNN-grams) قرار داده اند. این معیارها اغلب قادر به درک معنای عمیق، صحت فکت های علمی و لحن مناسب در متون طولانی نیستند. همچنین در ادبیات پژوهشی داخل کشور (نمایه شده در پایگاه هایی نظیر CIVILICA)، فقدان چارچوبی که هم زمان ارزیابی های خودکار مبتنی بر یادگیری عمیق و ارزیابی های انسانی را تلفیق کند، به شدت احساس می شود.

هدف تحقیق:

هدف اصلی این مقاله، ارائه و پیاده سازی یک چارچوب جامع برای ارزیابی کیفیت محتوای تولید شده توسط مدل های زبانی بزرگ است. اهداف فرعی شامل سنجش میزان دقت فکتولوژیک (Factuality)، انسجام معنایی (Semantic Coherence) و بررسی تفاوت کیفیت خروجی ها در حوزه های موضوعی مختلف می باشد.

۲. مرور ادبیات و پیشینه پژوهش

در این بخش، به بررسی پژوهش های کلیدی که در سال های اخیر در زمینه ارزیابی عملکرد و کیفیت خروجی مدل های زبانی بزرگ انجام شده اند، پرداخته می شود.

۱. (Brown et al., 2020): در این پژوهش بنیادین که همزمان با معرفی GPT-3 منتشر شد، توانایی های یادگیری در لحظه (Few-shot learning) مدل های زبانی بررسی شد. نتایج نشان داد که افزایش پارامترهای مدل به طور مستقیم با افزایش کیفیت متن تولیدی ارتباط دارد، اما مشکل تولید اطلاعات نادرست همچنان پابرجاست.

۲. (Bender et al., 2021): در مقاله مشهور “طوطی های تصادفی”، نویسندگان خطرات ناشی از بزرگ تر شدن بی رویه مدل های زبانی را بررسی کردند. آن ها استدلال کردند که این مدل ها صرفا الگوهای زبانی را تقلید می کنند و فاقد درک معنایی هستند که این امر می تواند منجر به بازتولید سوگیری ها و کاهش کیفیت محتوای تخصصی شود.

۳. (Ji et al., 2023): این پژوهش به صورت جامع به بررسی پدیده توهم (Hallucination) در تولید زبان طبیعی پرداخت. محققان دریافتند که توهم می تواند به دو دسته توهم درونی (تناقض متن با ورودی کاربر) و توهم بیرونی (تناقض متن با واقعیات جهان) تقسیم شود.

۴. (Liu et al., 2023): در این مطالعه، اثربخشی معیارهای ارزیابی خودکار ارزیابی شد. نویسندگان نشان دادند که معیارهای سنتی مانند ROUGE و BLEU همبستگی ضعیفی با قضاوت انسانی در متون طولانی و خلاقانه دارند و استفاده از معیارهای مبتنی بر شبکه های عصبی مانند BERTScore پیشنهاد شد.

۵. (Touvron et al., 2023): در معرفی مدل LLaMA، پژوهشگران نشان دادند که آموزش با داده های باکیفیت تر می تواند کیفیت خروجی را حتی در مدل هایی با تعداد پارامتر کمتر، به شکل قابل توجهی ارتقا دهد و میزان اتکاپذیری متن را بالا ببرد.

مقایسه نتایج تحقیقات قبلی و جایگاه پژوهش حاضر:

تحقیقات پیشین نشان می دهند که ارزیابی کیفیت مدل های زبانی نیازمند گذر از معیارهای سنتی و حرکت به سمت معیارهای معنایی و ترکیبی است. پژوهش حاضر با الهام از این مطالعات، جایگاه خود را به عنوان یک پل ارتباطی بین ارزیابی های فنی (ماشینی) و کیفی (انسانی) تعریف می کند و با ارائه یک چارچوب هیبریدی، تلاش دارد تا نقص های موجود در رویکردهای تک بعدی را برطرف سازد.

۳. روش تحقیق

نوع تحقیق:

این پژوهش از نظر هدف، یک تحقیق کاربردی است زیرا نتایج آن می تواند مستقیما توسط توسعه دهندگان، پژوهشگران و کاربران نهایی برای انتخاب و بهینه سازی مدل های زبانی مورد استفاده قرار گیرد. از نظر روش شناسی، این تحقیق توصیفی-تحلیلی و از نوع پیمایشی (در بخش ارزیابی انسانی) و تجربی (در بخش ارزیابی ماشینی) است.

روش گردآوری داده ها:

برای گردآوری داده ها، یک پایگاه داده استاندارد شامل ۱۵۰ پرامپت (Prompt) در سه دسته طراحی شد:

۱. پرسش های علمی و تخصصی (پزشکی، فیزیک، مهندسی)

۲. تولید محتوای عمومی و خبری

۳. استدلال منطقی و ریاضی

این پرامپت ها به سه مدل زبانی مطرح (به صورت بی نام و تحت عناوین Model A, Model B, Model C) تغذیه شدند و خروجی های آن ها برای تحلیل ذخیره گردید.

معرفی مدل یا چارچوب پیشنهادی:

چارچوب پیشنهادی این پژوهش، “مدل ارزیابی سه وجهی یکپارچه” (Tri-faceted Integrated Evaluation Model) نام دارد. این چارچوب شامل سه بعد اصلی است:

• بعد اول: ارزیابی خودکار لغوی و معنایی. استفاده از معیار ROUGE برای بررسی هم پوشانی و معیار BERTScore که شباهت کسینوسی (Cosine Similarity) میان جاسازی های (Embeddings) متن تولید شده و متن مرجع را محاسبه می کند:

BERTScore=∑xi∈xmax⁡yj∈ywi(xi⊤yj) \text{BERTScore} = \sum_{x_i \in x} \max_{y_j \in y} w_i (x_i^\top y_j) BERTScore=xi​∈x∑​yj​∈ymax​wi​(xi⊤​yj​)

• بعد دوم: ارزیابی فکتولوژیک (Factuality). استفاده از ابزارهای استخراج روابط دانش (Knowledge Graph Extraction) برای بررسی صحت گزاره های مطرح شده در متن با پایگاه های داده معتبر (مانند Wikidata).
• بعد سوم: ارزیابی انسانی (Human Evaluation). استفاده از ۳ داور متخصص برای هر خروجی، جهت نمره دهی به سه متغیر: روانی متن (Fluency)، میزان ارتباط (Relevance) و سودمندی (Usefulness) بر اساس مقیاس ۵ درجه ای لیکرت.

۴. یافته ها و تحلیل

داده های جمع آوری شده با استفاده از نرم افزارهای آماری و کدهای پایتون مورد تجزیه و تحلیل قرار گرفتند.

تحلیل علمی نتایج:

۱. کیفیت در حوزه های موضوعی: نتایج نشان داد که تمامی مدل ها در تولید محتوای عمومی و خبری بالاترین امتیاز (میانگین نمره ۴.۲ از ۵ در ارزیابی انسانی و BERTScore معادل 0.89) را کسب کردند. با این حال، در پاسخ به پرسش های علمی تخصصی، افت شدیدی در دقت فکتولوژیک مشاهده شد. حدود 34% از پاسخ های علمی دارای حداقل یک خطای فکتولوژیک یا توهم مصنوعی بودند.

۲. روانی متن در برابر دقت: یکی از یافته های جالب توجه این بود که مدل ها حتی زمانی که اطلاعات کاملا نادرستی ارائه می دادند، امتیاز بسیار بالایی در روانی متن (Fluency) دریافت کردند (میانگین ۴.۶ از ۵). این موضوع تایید می کند که انسجام ظاهری متن می تواند کاربران را در تشخیص صحت اطلاعات گمراه کند.

۳. استدلال منطقی: در پرسش های ریاضی و استدلال چندمرحله ای، خروجی مدل ها دارای نوسان بود. مدل هایی که با تکنیک Chain-of-Thought (زنجیره افکار) پرامپت شده بودند، تا 40% دقت بالاتری نسبت به پرامپت های استاندارد از خود نشان دادند.

توضیح کاربرد مدل پیشنهادی:

مدل سه وجهی پیشنهادی در این پژوهش با موفقیت توانست بین متون منسجم حاوی توهم و متون منسجم دقیق تمایز قائل شود. کاربرد اصلی این چارچوب در سیستم های اعتبارسنجی خودکار (Automated Fact-checkers) در تحریریه های خبری، پلتفرم های تولید محتوای آموزشی و دستیارهای پژوهشی آکادمیک می باشد.

۵. بحث

تفسیر نتایج:

نتایج به دست آمده نشان می دهد که معماری فعلی مدل های زبانی بزرگ، آن ها را به پیش بینی کننده های فوق العاده ای برای کلمات بعدی (Next-token prediction) تبدیل کرده است؛ همین امر دلیل روانی و انسجام بالای متون تولیدی است. با این حال، فقدان یک مکانیسم درونی برای “درک واقعیت” (Grounding in reality) باعث می شود تا در مواجهه با پرسش های تخصصی یا داده های خارج از توزیع آموزشی (Out-of-distribution)، مدل به جای اعلام عدم دانش، اقدام به تولید پاسخ های ساختگی کند.

مقایسه با مطالعات پیشین:

یافته های این تحقیق با نتایج (Ji et al., 2023) در زمینه گستردگی توهم مصنوعی همسو است. با این تفاوت که در پژوهش حاضر، مشخص شد که میزان توهم وابستگی مستقیمی با نوع پرامپت و پیچیدگی حوزه تخصصی دارد. همچنین، ناکارآمدی معیارهای مبتنی بر NNN-gram که در مطالعه (Liu et al., 2023) به آن اشاره شده بود، در این پژوهش نیز به وضوح مشاهده شد؛ چرا که این معیارها قادر به جریمه کردن مدل برای تولید فکت های نادرستی که از نظر واژگانی مشابه متن مرجع هستند، نبودند.

۶. نتیجه گیری و پیشنهادها

جمع بندی یافته ها:

پژوهش حاضر با هدف ارزیابی چندبعدی کیفیت محتوای تولید شده توسط مدل های زبانی بزرگ انجام شد. بر اساس یافته ها، LLMها ابزارهایی قدرتمند با پتانسیل بالا برای تسهیل فرآیند تولید محتوا هستند و در ایجاد متون روان، منسجم و مرتبط عملکرد بی نظیری دارند. با این وجود، پاشنه آشیل این سیستم ها، مسئله اتکاپذیری و دقت علمی است. اتکای صرف به این مدل ها بدون نظارت انسانی در حوزه های حساس، مخاطرات بالایی به همراه دارد.

کاربردهای عملی:

نتایج این پژوهش می تواند برای سیاست گذاران حوزه فناوری، سردبیران مجلات علمی، و توسعه دهندگان سیستم های هوش مصنوعی مفید واقع شود. از چارچوب ارزیابی پیشنهادی می توان به عنوان یک فیلتر کنترل کیفیت پیش از انتشار محتوای تولید شده توسط ماشین استفاده کرد.

پیشنهاد برای پژوهش های آینده:

۱. توسعه معیارهای ارزیابی خودکار (Metrics) که بتوانند با استفاده از پایگاه های دانش محلی (Local Knowledge Bases) دقت محتوا را در لحظه بسنجند.

۲. بررسی تاثیر تکنیک های RAG (Retrieval-Augmented Generation) بر کاهش میزان توهم مصنوعی در زبان فارسی.

۳. پژوهش بر روی روش های بهینه سازی مدل های زبانی به منظور کاهش سوگیری های فرهنگی و زبانی موجود در داده های آموزشی.

۷. منابع

1. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610-623.
2. Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
3. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., … & Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 1-38.
4. Liu, Y., Iter, D., Xu, Y., Wang, S., Xu, R., & Zhu, C. (2023). G-EVAL: NLG Evaluation using GPT-4 with Better Human Alignment. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2511-2522.
5. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., … & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730-27744.
6. Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., … & Lample, G. (2023). Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971.
7. Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2019). GLUE: A multi-task benchmark and analysis platform for natural language understanding. International Conference on Learning Representations.
8. Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., … & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35, 24824-24837.
9. Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2019). BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
10. Zhao, W. X., Zhou, K., Li, J., Tang, T., Wang, X., Hou, Y., … & Wen, J. R. (2023). A survey of large language models. arXiv preprint arXiv:2303.18223.