ارایه راهکاری جهت مهندسی کیفیت داده های غیرساخت یافته حجیم با استفاده از جمع سپاری

کیفیت داده ها یکی از مباحث بسیار مهم در حوزه مهندسی نرم افزار می باشد. در سال های اخیر راهکارهای مختلفی جهت پاکسازی و ارتقاء کیفیت داده ها ارایه شده است. بسیاری از این راهکارها از روش های کاملا اتوماتیک و مبتنی بر الگوریتم به منظور شناسایی و تصحیح مشکلات کیفیت داده ای استفاده می کنند. این راهکارها در حوزه پاکسازی داده های ساخت یافته، عملکرد مناسبی دارند ولی بخش قابل توجهی از داده های دنیای امروز را داده های غیرساخت یافته و نیمه ساخت یافته تشکیل می دهند که روش های یادشده، عمدتا به دلیل مشکلات پیچیدگی الگوریتم و عدم امکان پیاده سازی بسیاری از قواعد کیفیت داده ای، عملا کارایی خود را در این حوزه ها از دست می دهند. در این مقاله جهت شناسایی و تصحیح مشکلات کیفیت داده ای، یک رویکرد مبتنی بر جمع سپاری ارایه شده است که با استفاده از قابلیت های هوش انسانی قادر است در حوزه های داده ای نیمه ساخت یافته و غیرساخت یافته هم عملکرد مطلوبی داشته باشد و با توجه به نیازمندی های کاربر و بهره گیری از مفاهیم حوزه مهندسی کیفیت، امکان ارتقاء سطح کیفی داده ها را با در نظر گرفتن محدودیت های مهندسی موجود فراهم کند.

کلیدواژه ها:

جمع سپاری ، مهندسی کیفیت داده ها ، پاکسازی داده ها ، هوش انسانی ، داده های غیرساخت یافته ، داده های حجیم ، الگوریتم