Comparison of the performances between ChatGPT and Gemini in answering questions on viral hepatitis

مقاله علمی در مجله Nature : مقایسه عملکرد بین ChatGPT و Gemini در پاسخ به سوالات مربوط به هپاتیت ویروسی
🔬🔬🔬🔬🔬📱💻📊📊📊📊🧑‍💻💻📱📊💻
یک مطالعه علمی جدید عملکرد دو مدل هوش مصنوعی، ChatGPT و Gemini، را در پاسخ به پرسش های مرتبط با هپاتیت ویروسی ارزیابی کرده است. این پژوهش شامل ۱۷۶ پرسش از سه دسته مختلف بود: پرسش های عمومی تعیین شده توسط CDC، توصیه های مستند از راهنماهای بین المللی، و پرسش های رایج در رسانه های اجتماعی.

بررسی ها نشان داد که میانگین امتیازات این دو مدل مشابه بوده (۳.۵۵ در مقابل ۳.۵۷) و نرخ پاسخ های کاملا صحیح نیز تفاوت معناداری نداشت (۷۱٪ در مقابل ۷۸.۴٪). تحلیل های فرعی نیز نشان داد که میزان دقت پاسخ ها در پرسش های CDC و رسانه های اجتماعی بالا بود، اما در سوالات مرتبط با راهنماهای بالینی میزان دقت پایین تر ارزیابی شد.

این پژوهش همچنین قابلیت تکرارپذیری پاسخ های داده شده توسط هر مدل را بررسی کرد و مشخص شد که نرخ تطابق پاسخ ها بیش از ۹۱٪ است. علاوه بر این، محققان با استفاده از ضریب کاپا، میزان توافق میان ارزیاب های انسانی را برای هر دو مدل «قابل توجه» گزارش کردند. یافته ها نشان می دهد که ChatGPT و Gemini اطلاعات کافی درباره پرسش های عمومی و رسانه های اجتماعی ارائه می دهند، اما در زمینه توصیه های تخصصی پزشکی هنوز جای بهبود وجود دارد.
Doi 

https://doi.org/10.1038/s41598-024-83575-1