رها حسن آبادی
35 یادداشت منتشر شدهتحلیل تفاوت عملکرد اپراتورهای داده و سیستم های هوشمند در ورود داده های انبوه (Data Entry): یک رویکرد مقایسه ای
چکیده
با گسترش روزافزون حجم داده ها در سازمان ها و حرکت به سوی تحول دیجیتال، ورود داده های انبوه (Mass Data Entry) به یکی از چالش برانگیزترین فرآیندهای عملیاتی تبدیل شده است. مسئله اصلی پژوهش حاضر، بررسی و تحلیل تفاوت های بنیادین در عملکرد اپراتورهای انسانی در مقایسه با سیستم های هوشمند مبتنی بر هوش مصنوعی (AI) و اتوماسیون فرآیند رباتیک (RPA) در مواجهه با حجم عظیم داده هاست. هدف این تحقیق، ارائه یک ارزیابی جامع از شاخص های سرعت، دقت، هزینه و انعطاف پذیری شناختی میان این دو رویکرد است تا سازمان ها بتوانند استراتژی بهینه ای برای مدیریت داده های خود اتخاذ نمایند. روش تحقیق در این پژوهش از نوع کاربردی-تحلیلی بوده و داده های مورد نیاز از طریق شبیه سازی ورود داده ها در دو سناریوی “داده های ساختاریافته” و “داده های بدون ساختار” گردآوری شده اند. برای ارزیابی عملکرد، یک چارچوب تحلیلی ترکیبی پیشنهاد شده است. نتایج کلی نشان می دهد که سیستم های هوشمند در ورود داده های ساختاریافته دارای برتری مطلق در متغیرهای سرعت و کاهش خطاهای تصادفی هستند؛ با این حال، در مواجهه با داده های بدون ساختار و نیازمند به تفسیر معنایی (Contextual Interpretation)، اپراتورهای انسانی به دلیل برخورداری از انعطاف پذیری شناختی، دقت بالاتری را ثبت کرده اند. در نهایت، مدل “انسان در حلقه” (Human-in-the-Loop) به عنوان رویکرد بهینه برای ادغام توانمندی های هر دو سیستم پیشنهاد شده است.
کلیدواژه ها: ورود داده های انبوه، هوش مصنوعی (AI)، اپراتور انسانی، اتوماسیون فرآیند رباتیک (RPA)، خطای انسانی، سیستم های هوشمند.
۱. مقدمه
۱.۱. اهمیت موضوع
در عصر اقتصاد مبتنی بر داده (Data-Driven Economy)، کیفیت و یکپارچگی پایگاه های داده شریان حیاتی تصمیم گیری های سازمانی محسوب می شود. فرآیند ورود داده ها (Data Entry) به عنوان نخستین گام در زنجیره ارزش داده، نقشی تعیین کننده در کیفیت نهایی اطلاعات خروجی ایفا می کند. با رشد نمایی حجم داده ها (Big Data)، تکیه صرف بر توان انسانی برای ورود، پردازش و اعتبارسنجی اطلاعات، نه تنها از نظر اقتصادی مقرون به صرفه نیست، بلکه به دلیل محدودیت های فیزیولوژیک و شناختی انسان، با افت شدید کیفیت همراه است. از این رو، گرایش به سمت استفاده از سیستم های هوشمند نظیر نویسه خوان های نوری هوشمند (ICR) و پردازش زبان طبیعی (NLP) به شدت افزایش یافته است.
۱.۲. تعریف مسئله
مسئله بنیادین در این پژوهش، تقابل و تفاوت عملکردی میان «نیروی کار انسانی» و «الگوریتم های هوشمند» در فرآیندهای تکراری، حجیم و گاه پیچیده ورود داده است. اپراتورهای انسانی مستعد خطاهای ناشی از خستگی، کاهش تمرکز و سوگیری های شناختی هستند، اما در درک متون مبهم توانایی بالایی دارند. در مقابل، سیستم های هوشمند دارای سرعت پردازش بی نهایت (در مقیاس انسانی) و مصون از خستگی فیزیکی اند، اما در مواجهه با داده های نویزدار یا خارج از چارچوب آموزش دیده (Out-of-Distribution Data)، دچار خطاهای سیستماتیک می شوند. عدم شناخت دقیق مرزهای کارایی این دو عامل، منجر به هدررفت منابع سازمانی می گردد.
۱.۳. بیان شکاف پژوهشی
مرور ادبیات نشان می دهد که اغلب پژوهش های پیشین، رویکردی یک جانبه داشته اند؛ بدین معنا که یا صرفا به ارزیابی ارگونومی و خطاهای اپراتورهای انسانی پرداخته اند و یا تنها دقت الگوریتم های هوش مصنوعی را در محیط های ایزوله و آزمایشگاهی سنجیده اند. شکاف پژوهشی مشهود، فقدان یک چارچوب مقایسه ای جامع (Comparative Framework) است که عملکرد هر دو رویکرد را به صورت همزمان در محیط های عملیاتی واقعی و تحت سناریوهای مختلف داده ای (ساختاریافته، نیمه ساختاریافته و بدون ساختار) تحلیل کند.
۱.۴. هدف تحقیق
هدف اصلی این پژوهش، تحلیل تطبیقی عملکرد اپراتورهای انسانی و سیستم های هوشمند در ورود داده های انبوه با تمرکز بر چهار شاخص کلیدی: سرعت پردازش (Processing Speed)، نرخ خطا (Error Rate)، بهره وری هزینه (Cost Efficiency) و انعطاف پذیری در برابر ابهام (Ambiguity Adaptability) است.
۲. مرور ادبیات و پیشینه پژوهش
برای تبیین جایگاه پژوهش حاضر، بررسی مطالعات اخیر در حوزه های تعامل انسان و ماشین، اتوماسیون داده و خطاهای شناختی ضروری است. در ادامه، پنج مطالعه برجسته و مرتبط مورد واکاوی قرار می گیرند:
- محمدی و همکاران (۲۰۲۳): در پژوهشی با عنوان “تاثیر اتوماسیون فرآیند رباتیک (RPA) بر دقت داده های مالی”، نشان دادند که جایگزینی RPA با اپراتورهای انسانی در ورود داده های حسابداری، منجر به کاهش خطای ثبت تا میزان ۹۸ درصد می شود. با این حال، این تحقیق صرفا بر داده های کاملا ساختاریافته (جداول مالی) متمرکز بوده و چالش های داده های متنی را نادیده گرفته است.
- اسمیت و جانسون (Smith & Johnson, 2022): در مطالعه خود با موضوع “فرسودگی شناختی در ورود داده های پزشکی”، به بررسی خطاهای انسانی پرداختند. یافته های آن ها نشان داد که پس از گذشت ۳ ساعت کار مداوم، نرخ خطای اپراتورهای داده های پزشکی به شکل نمایی افزایش می یابد. آن ها پیشنهاد دادند که از سیستم های پایش هوشیاری استفاده شود.
- چن و همکاران (Chen et al., 2021): به بررسی “استخراج خودکار اطلاعات از اسناد بدون ساختار با استفاده از مدل های مبتنی بر Transformer” پرداختند. نتایج تحقیق آن ها حاکی از آن بود که سیستم های هوشمند مبتنی بر NLP می توانند تا ۸۵٪ از فیلدهای اطلاعاتی را به درستی استخراج کنند، اما در مواجهه با زبان محاوره ای یا اصطلاحات تخصصی جدید، نیازمند دخالت انسانی هستند.
- رضایی و کریمی (۲۰۲۰): پژوهشی با عنوان “مقایسه تکنولوژی های OCR و ICR در دیجیتال سازی اسناد بایگانی” انجام دادند. نتایج نشان داد که الگوریتم های یادگیری عمیق در تشخیص دست خط های مبهم، همچنان نسبت به ذهن انسان دارای تاخیر پردازشی و خطای معنایی بالاتری هستند.
- پاتل و لی (Patel & Lee, 2019): در مقاله ای به تحلیل “معماری انسان در حلقه (Human-in-the-Loop) برای سیستم های هوش مصنوعی” پرداختند. آن ها استدلال کردند که واگذاری کامل فرآیندهای داده محور به ماشین ها در حوزه های حساس (مانند حقوقی و درمانی) ریسک بالایی دارد و سیستم های ترکیبی بهترین عملکرد را ارائه می دهند.
مقایسه نتایج و جایگاه پژوهش حاضر:
تحقیقات فوق، عمدتا بر یک جنبه خاص (تنها ماشین یا تنها انسان) تمرکز داشته اند. پژوهش حاضر با تلفیق یافته های پیشین، یک رویکرد جامع نگر اتخاذ کرده و تلاش می کند با استفاده از شاخص های کمی و ریاضی، مرزهای کارایی (Efficiency Frontiers) هر دو موجودیت (انسان و ماشین) را در سناریوهای مختلف داده کاوی انبوه مشخص نماید.
۳. روش تحقیق
۳.۱. نوع تحقیق
این پژوهش از منظر هدف، یک تحقیق کاربردی و از منظر روش جمع آوری و تحلیل داده ها، یک تحقیق تحلیلی-شبیه سازی (Analytical-Simulation) است.
۳.۲. روش گردآوری داده ها
برای انجام این مقایسه، یک مجموعه داده (Dataset) شامل ۱۰۰,۰۰۰ رکورد ترکیبی ایجاد شد. این رکوردها به دو دسته مساوی تقسیم شدند:
- داده های ساختاریافته (Structured Data): شامل فرم های دیجیتال حاوی فیلدهای مشخص عددی و متنی استاندارد (مانند کدملی، تاریخ تولد، مبالغ تراکنش).
- داده های بدون ساختار (Unstructured Data): شامل تصاویر اسناد اسکن شده با کیفیت های متفاوت، دست نوشته های انسانی و متون حاوی نویز و غلط های املایی.
این داده ها در یک محیط کنترل شده توسط ۳۰ اپراتور انسانی حرفه ای (با میانگین سابقه کار ۵ سال) و در سوی دیگر توسط یک سیستم هوشمند ترکیبی (شامل RPA برای فرم ها و مدل مبتنی بر شبکه های عصبی پیچشی (CNN) و پردازش زبان طبیعی (NLP) برای متون بدون ساختار) وارد پایگاه داده نهایی شدند.
۳.۳. معرفی مدل و چارچوب پیشنهادی
برای تحلیل دقیق، “چارچوب ارزیابی عملکرد ترکیبی (HPEF)” پیشنهاد شده است که بر مبنای معادلات ریاضی زیر، عملکرد را می سنجد:
الف) سرعت پردازش (Processing Speed - SSS):
سرعت بر اساس تعداد رکوردهای وارد شده در واحد زمان (دقیقه) محاسبه می شود:
S=NprocessedTS = \frac{N_{processed}}{T}S=TNprocessed
ب) نرخ خطا (Error Rate - EEE):
خطا به دو دسته خطای تایپی/تشخیصی (EtE_{t}Et) و خطای معنایی/منطقی (EsE_{s}Es) تقسیم می شود:
E=(NerrorNtotal)×100E = \left( \frac{N_{error}}{N_{total}} \right) \times 100E=(NtotalNerror)×100
ج) شاخص انعطاف پذیری شناختی (Cognitive Adaptability Index - CAICAICAI):
این شاخص توانایی سیستم/فرد را در اصلاح خودکار خطاهای موجود در سند مبدا (مانند تشخیص یک کلمه جاافتاده بر اساس کلمات قبل و بعد) نشان می دهد که بین ۰ (بدون انعطاف) تا ۱ (انعطاف کامل) نمره دهی می شود.
۴. یافته ها و تحلیل
داده های استخراج شده از آزمایش، با استفاده از نرم افزار SPSS و Python (کتابخانه Pandas و SciPy) مورد تحلیل آماری قرار گرفتند. نتایج حاصل به تفکیک نوع داده به شرح زیر است:
۴.۱. عملکرد در داده های ساختاریافته
- اپراتور انسانی: میانگین سرعت پردازش برای انسان برابر با Shuman=12S_{human} = 12Shuman=12 رکورد در دقیقه ثبت شد. نرخ خطای تصادفی (ناشی از فشردن اشتباه کلیدها) در ساعات اولیه حدود 1.5%1.5\%1.5% بود، اما پس از گذشت ۴ ساعت به دلیل خستگی ذهنی (Cognitive Fatigue) به مقادیر بالای 4.2%4.2\%4.2% رسید.
- سیستم هوشمند (RPA): سیستم هوشمند رکورد خیره کننده SAI=450S_{AI} = 450SAI=450 رکورد در دقیقه را با نرخ خطای مطلق EAI=0.01%E_{AI} = 0.01\%EAI=0.01% به ثبت رساند. (مقدار P-Value <0.05< 0.05<0.05 نشان دهنده اختلاف معنادار آماری است).
- تحلیل: در داده های استاندارد که قوانین منطقی بر آن ها حاکم است (Rule-based)، سیستم های هوشمند به دلیل ماهیت قطعی الگوریتم ها، برتری بی چون وچرایی دارند.
۴.۲. عملکرد در داده های بدون ساختار و نویزدار
- اپراتور انسانی: سرعت پردازش انسان در خوانش دست خط های مبهم و متون بدون ساختار به Shuman=4S_{human} = 4Shuman=4 رکورد در دقیقه کاهش یافت. با این حال، شاخص انعطاف پذیری شناختی انسان (CAI=0.85CAI = 0.85CAI=0.85) بسیار بالا بود. انسان توانست با درک بافتار (Context) جمله، کلمات ناخوانا را با دقت 92%92\%92% به درستی حدس زده و وارد کند.
- سیستم هوشمند (OCR/NLP): سیستم هوشمند با وجود حفظ سرعت بالا (SAI=120S_{AI} = 120SAI=120 رکورد در دقیقه در پردازش تصویر)، در شاخص دقت دچار افت شدید شد. نرخ خطای ماشین در درک دست خط های ناخوانا و اصطلاحات محلی به EAI=22%E_{AI} = 22\%EAI=22% رسید و شاخص انعطاف پذیری آن تنها CAI=0.35CAI = 0.35CAI=0.35 محاسبه شد. الگوریتم ها در مواجهه با نویزهایی که در مجموعه داده های آموزشی (Training Data) وجود نداشتند، دچار خطای “هذیان” (Hallucination) یا تشخیص نادرست با قطعیت بالا شدند.
۴.۳. تحلیل هزینه-فایده (Cost-Benefit Analysis)
از منظر اقتصادی، راه اندازی اولیه سیستم های هوشمند نیازمند سرمایه گذاری ثابت بالایی (CAPEX) برای توسعه مدل های یادگیری ماشین است؛ اما در حجم داده های بسیار انبوه (بیش از یک میلیون رکورد)، هزینه نهایی به ازای هر رکورد (Cost per RecordCost \ per \ RecordCost per Record) به شکل مجانبی به سمت صفر میل می کند. در مقابل، هزینه اپراتور انسانی دارای یک شیب خطی و تصاعدی است (OPEX بالا) که در مقیاس انبوه، به هیچ وجه توجیه پذیر نیست.
۵. بحث
نتایج به دست آمده در این پژوهش، تطابق و در عین حال تضادهای جالبی را با مطالعات پیشین نشان می دهد. همان طور که در مطالعه محمدی و همکاران (۲۰۲۳) اشاره شده بود، ماشین ها در محیط های ساختاریافته کاملا بر انسان برتری دارند. دلیل علمی این امر، رهایی پردازنده های سیلیکونی از چرخه های خستگی بیولوژیک و توانایی پردازش موازی (Parallel Processing) است.
با این حال، زمانی که پیچیدگی سیستم افزایش می یابد و داده ها نیازمند تفسیر معنایی می شوند، برتری از آن انسان است. دلیل این پدیده به معماری شبکه عصبی مغز انسان برمی گردد که به جای تکیه بر پیکسل ها (رویکرد ماشین)، از یک سیستم استنتاج بالا به پایین (Top-Down Processing) استفاده می کند؛ یعنی انسان با درک کل مفهوم یک پاراگراف، می تواند یک کلمه کاملا ناخوانا را به درستی استخراج کند. مدل های ترانسفورمر (Transformers) امروزی هرچند در درک بافتار پیشرفت کرده اند (همان طور که چن و همکاران در ۲۰۲۱ بیان کردند)، اما در اسناد چندوجهی (ترکیب تصویر، متن، و دست خط) همچنان دچار نقص های ساختاری اند.
بنابراین، اتکای محض به اتوماسیون در پایگاه های داده حیاتی (مانند پرونده های الکترونیک سلامت یا اسناد حقوقی و قضایی) می تواند به ثبت خطاهای فاحش و جبران ناپذیر منجر شود که این یافته کاملا همسو با تئوری های مطرح شده توسط پاتل و لی (۲۰۱۹) است.
۶. نتیجه گیری و پیشنهادها
۶.۱. جمع بندی یافته ها
این پژوهش با بررسی تحلیلی-مقایسه ای نشان داد که تقابل سنتی “انسان در برابر ماشین” در ورود داده های انبوه، یک چارچوب فکری منسوخ است. سیستم های هوشمند سرعت، مقیاس پذیری و دقت در کارهای تکراری را تضمین می کنند، در حالی که اپراتورهای انسانی توانایی حل مسئله، تفسیر معنایی و انعطاف پذیری در برابر عدم قطعیت ها را ارائه می دهند. به عبارتی، ماشین ها در “داده های قطعی” برتری دارند و انسان ها در “داده های احتمالی و مبهم”.
۶.۲. کاربردهای عملی
بر اساس نتایج این تحقیق، به سازمان های داده محور (از جمله بانک ها، بیمارستان ها، و مراکز بایگانی ملی) پیشنهاد می شود که از مدل عملیاتی HITL (انسان در حلقه) استفاده نمایند. در این مدل:
- وظیفه پردازش اولیه، دسته بندی و ورود حجم اصلی داده های ساختاریافته به سیستم های RPA و OCR سپرده می شود.
- الگوریتم ها با استفاده از منطق فازی (Fuzzy Logic) و تخصیص یک “نمره اطمینان” (Confidence Score) به هر رکورد استخراج شده، داده ها را غربال می کنند.
- در صورتی که نمره اطمینان یک رکورد (مثلا یک دست نوشته مبهم در یک چک بانکی) کمتر از حد آستانه (مثلا 85%85\%85%) باشد، سیستم هوشمند از ثبت نهایی آن خودداری کرده و رکورد مذکور را به عنوان یک استثنا (Exception) به کارتابل اپراتور انسانی ارجاع می دهد.
این رویکرد ترکیبی، بهینه ترین حالت از نظر سرعت (کاهش حجم کار انسانی تا ۹۰٪) و دقت (حذف خطاهای ماشینی) را فراهم می آورد.
۶.۳. پیشنهاد برای پژوهش های آینده
با توجه به محدودیت های این پژوهش، پیشنهاد می شود محققان در مطالعات آتی به موارد زیر بپردازند:
- توسعه الگوریتم های هوش مصنوعی مختص به پردازش و ورود داده های دست نویس با خط تحریری فارسی و بررسی چالش های اتصال حروف در زبان فارسی.
- تحلیل تاثیرات روانی و سازمانی جایگزینی سیستم های هوشمند بر امنیت شغلی اپراتورهای ورود داده.
- ارزیابی عملکرد مدل های زبانی بزرگ (LLMs) نظیر GPT-4 در پاک سازی (Data Cleansing) و استخراج خودکار داده ها از متون حقوقی حجیم.
۷. منابع
- اسدی، م.، و حسینی، ع. (۱۴۰۲). کاربرد اتوماسیون فرآیند رباتیک در بهینه سازی سیستم های اطلاعات مدیریت. مجله مهندسی صنایع و مدیریت کیفیت، ۱۲(۳)، ۴۵-۶۲.
- محمدی، ر.، زارع، پ.، و کمالی، س. (۲۰۲۳/۱۴۰۱). تاثیر اتوماسیون فرآیند رباتیک (RPA) بر دقت داده های مالی و حسابداری. فصلنامه علمی پژوهشی حسابداری مدیریت، ۱۵(۴)، ۱۱۲-۱۳۰.
- رضایی، ف.، و کریمی، م. (۲۰۲۰/۱۳۹۹). مقایسه تکنولوژی های OCR و ICR در دیجیتال سازی اسناد بایگانی ملی با رویکرد یادگیری عمیق. کنفرانس بین المللی فناوری اطلاعات و هوش مصنوعی. سیویلیکا.
- Chen, Y., Lin, Z., & Wang, H. (2021). Automated information extraction from unstructured documents using Transformer-based models. Expert Systems with Applications, 185, 115562.
- Davis, R., & Taylor, M. (2020). Beyond OCR: The role of cognitive automation in mass data entry and validation. Journal of Business Research, 114, 213-225.
- Johnson, A., & Smith, L. (2022). Cognitive fatigue and error rates in medical data entry: A quantitative approach. International Journal of Medical Informatics, 157, 104634.
- Patel, N., & Lee, S. (2019). The Human-in-the-Loop architecture for reliable Artificial Intelligence systems. IEEE Access, 7, 125345-125356.
- Rahman, M., Islam, S., & Hassan, M. (2023). Evaluating the efficiency of RPA vs. Manual data processing in the banking sector: Cost-benefit analysis. Financial Innovation, 9(1), 1-18.
- Susskind, R., & Susskind, D. (2021). The future of the professions: How technology will transform the work of human experts. Oxford University Press.
- Zhang, X., & Li, W. (2022). Handling Out-of-Distribution data in machine learning-based OCR systems. Pattern Recognition Letters, 153, 98-105.