یک روش هوش مصنوعی قابل توضیح در معماری کلان داده

اگرچه هوش مصنوعی به بخشی از زندگی واقعی همه تبدیل شده است، اما بحران اعتماد علیه چنین سیستم هایی در حال وقوع است و بنابراین نیاز به توضیح پیش بینی های جعبه سیاه، به ویژه در حوزه های نظامی، پزشکی و مالی را افزایش می دهد. تکنیک های مدرن هوش مصنوعی قابل توضیح (XAI) بر مجموعه داده های معیار تمرکز دارند، اما کاربرد شناختی چنین راه حل هایی در محیط های کلان داده هنوز به دلیل محدودیت های حافظه یا محاسبات مشخص نیست. در این مقاله، ما یک روش XAI مستقل از مدل، به نام تبدیل فضایی به کمک خوشه برای توضیح محلی (CASTLE) را گسترش می دهیم تا بتوانیم با مجموعه داده های با حجم بالا کار کنیم. CASTLE قصد دارد رفتار جعبه سیاه مدل های پیش بینی را با ترکیب اطلاعات محلی (یعنی بر اساس نمونه ورودی) و جهانی (یعنی بر اساس کل دامنه عمل مدل) توضیح دهد. به طور خاص، توضیح محلی، توضیحی مبتنی بر قانون برای پیش بینی یک نمونه هدف و همچنین دستورالعمل هایی برای به روزرسانی احتمال کلاس پیش بینی شده ارائه می دهد. افزونه ما از فناوری های مدرن کلان داده (مثلا آپاچی اسپارک) برای مدیریت حجم، تنوع و سرعت بالای مجموعه داده های عظیم استفاده می کند. ما این چارچوب را روی پنج مجموعه داده، از نظر کارایی زمانی، کیفیت توضیح و اهمیت مدل، ارزیابی کرده ایم. نتایج ما نشان می دهد که رویکرد پیشنهادی، توضیحات باکیفیت مرتبط با CASTLE را حفظ می کند و در عین حال به طور موثر مجموعه داده های بزرگ را مدیریت می کند. نکته مهم این است که این رویکرد، وابستگی زیرخطی، به جای نمایی، به اندازه مجموعه داده ها دارد و آن را به یک راه حل مقیاس پذیر برای مجموعه داده های عظیم یا در هر سناریوی کلان داده تبدیل می کند.

کلیدواژه ها:

هوش مصنوعی ، معماری ، کلان داده.