معماری ها، چالش ها و چارچوب های ارزیابی برای سیستم های چندعاملی مبتنی بر مدل های زبانی بزرگ در مهندسی نرم افزار

پیشرفت مدل های زبانی بزرگ (LLMها) در سال های اخیر، امکان استفاده از عامل های هوشمند برای انجام بخشی از فعالیت های پیچیده مهندسی نرم افزار را فراهم کرده است. در این میان، سیستم های چندعاملی مبتنی بر مدل های زبانی بزرگ با تقسیم یک مسئله به وظایف تخصصی و واگذاری آن ها به عامل های مختلف، رویکردی متفاوت نسبت به استفاده از یک عامل منفرد ارائه می کنند. چارچوب هایی مانند MetaGPT، ChatDev و AgentVerse نمونه هایی از تلاش های انجام شده در این زمینه هستند. با این حال، افزایش تعداد عامل ها لزوما به بهبود عملکرد منجر نمی شود و مسائلی مانند هماهنگ سازی، هزینه محاسباتی، مدیریت زمینه، انتشار خطا، امنیت و ارزیابی عملکرد همچنان از چالش های اصلی این حوزه محسوب می شوند.این مقاله از نوع مروری تحلیلی است و با بررسی مطالعات مرتبط، معماری های اصلی سیستم های چندعاملی مبتنی بر مدل های زبانی بزرگ در مهندسی نرم افزار را بررسی می کند. سپس مهم ترین چالش های فنی و عملیاتی این سیستم ها مورد تحلیل قرار می گیرد و در ادامه، یک چارچوب چندبعدی برای ارزیابی آن ها پیشنهاد می شود. این چارچوب علاوه بر موفقیت در انجام وظیفه، معیارهایی مانند هزینه، زمان اجرا، میزان ارتباط میان عامل ها، قابلیت بازیابی از خطا، کیفیت کد و ارزیابی انسانی را در نظر می گیرد. همچنین، نقش benchmarkهایی مانند SWE-bench و AgentBench در مقایسه سیستم ها بررسی می شود. بررسی انجام شده نشان می دهد که ارزیابی سیستم های چندعاملی نباید تنها بر خروجی نهایی متمرکز باشد، بلکه کیفیت فرایند همکاری، قابلیت اطمینان، هزینه و کیفیت خروجی نرم افزاری نیز باید هم زمان مورد توجه قرار گیرد.

کلیدواژه ها:

مدل های زبانی بزرگ ، سیستم های چندعاملی ، عامل های هوشمند ، مهندسی نرم افزار ، همکاری عامل ها ، ارزیابی عامل ها ، SWE-bench