کاربرد مدلهای زبانی بزرگ در تضمین یکپارچگی و صحت داده ها: مطالعه مروری

در عصر انفجار داده ها کیفیت داده ها به عاملی تعیین کننده در اثربخشی سیستم های هوشمند و فرآیندهای تصمیم گیری تبدیل شده است. یکپارچگی و صحت داده دو رکن اساسی کیفیت داده محسوب می شوند. روش های سنتی تضمین این ویژگی ها غالبا مبتنی بر قوانین صلب، پرهزینه و غیر مقیاس پذیر هستند. ظهور مدل های زبانی بزرگ با قابلیت های فهم عمیق زمینه، استدلال و تولید زبان طبیعی پارادایم نوینی در حوزه مدیریت داده ها را امکان پذیر کرده است. این مقاله با روش مروری، سیستماتیک به بررسی کاربردهای این مدل ها در حوزه تضمین یکپارچگی و صحت داده ها می پردازد. یافته ها نشان می دهند مدل های زبانی بزرگ در وظایفی مانند پاکسازی و استانداردسازی داده های متنی، اعتبارسنجی معنایی، کشف ناهنجاری، تکمیل داده های مفقود و مستندسازی خودکار داده ها کاربرد موثری دارند. با این حال چالش هایی جدی از قبیل «توهم» مدل، تداوم سوگیری های موجود در داده های آموزشی، هزینه محاسباتی بالا و نیاز به طراحی دقیق راهنمای وظیفه استفاده عملی از آن ها را با محدودیت مواجه ساخته است. جمع بندی نهایی حاکی از آن است که این مدل ها در نقش «همکار هوشمند تحلیلگران داده» می توانند به شدت کارایی را افزایش دهند اما جایگزینی کامل برای قضاوت و نظارت انسانی نیستند. آینده این حوزه وابسته به توسعه مدل های ویژه دامنه، روش های کاهش توهم و تلفیق دانش نمادین است.

کلیدواژه ها:

مدل های زبانی بزرگ ، یکپارچگی داده ، صحت داده ، پاکسازی داده ، اعتبارسنجی داده ، توهم