مروری بر الگوریتمها و ساختمان دادههای کارآمد برای پردازش و مدیریت جریان دادههای اینترنت اشیا

پذیرش گسترده دستگاههای اینترنت اشیا (IoT) به افزایش بی سابقه ای در حجم و سرعت جریانهای داده ای منجر شده که نیازمند پردازش بلادرنگ هستند. پردازش کارآمد این جریان پیوسته داده برای استخراج بینشهای به موقع و امکان تصمیمگیری هوشمند در کاربردهای متنوعی مانند خانههای هوشمند، اتوماسیون صنعتی و حمل ونقل هوشمند بسیار حیاتی است. با این حال، پردازش حجم عظیمی از دادهها چالشهای قابل توجهی را ایجاد میکند، به ویژه برای دستگاههای IoT با منابع محدود و گرههای لبهای که معمولا قدرت محاسباتی، حافظه و انرژی محدودی دارند. این محدودیتها نیازمند رویکردهای جدیدی برای ایجاد تعادل بین کارایی محاسباتی و دقت قابل قبول به منظور حفظ عملکرد و بهره وری انرژی سیستم هستند. این مقاله مروری تحلیل جامع و مقایسهای از جدیدترین دستاوردها در زمینه پردازش و مدیریت کارآمد جریانهای داده IOT را ارائه میدهد. ما به بررسی پارادایمهای معماری، مختلف از جمله رایانش لبهای (edge computing) و سیستمهای پردازش جریان توزیع شده که برای مدیریت جریانهای داده با توان عملیاتی بالا و تاخیر کم طراحی شده، اند میپردازیم. ما به الگوریتمهای کارآمد مانند تکنیکهای یادگیری ماشین و یادگیری عمیق که برای تحلیل، بلادرنگ، پیش بینی و تشخیص ناهنجاری در دادههای جریانی بهینه شده اند، عمیقتر می شویم. علاوه بر این، نقش روشهای محاسبات تقریبی (approximate computing) و ساختارهای داده تخصصی مانند فیلترهای بلوم (Bloom filters) و طرحها (sketches) را در بهینه سازی استفاده از منابع و مدیریت مجموعه دادههای بزرگ با مصرف حافظه کمتر بررسی میکنیم. این مقاله همچنین به چالشهای کلیدی موجود در این حوزه از جمله حریم خصوصی، داده، امنیت، مقیاس پذیری و تحمل خطا میپردازد و مسیرهای تحقیقاتی امیدبخش آینده را به سمت سیستمهای پردازش جریان داده IoT مقیاس پذیرتر با بهره وری انرژی بالاتر و هوشمندتر ترسیم میکند.

کلیدواژه ها:

الگوریتمها ، ساختمان دادهها ، پردازش دادههای جریانی ، اینترنت اشیا ، رایانش لبهای ، یادگیری ماشین ، یادگیری عمیق ، تکنیکهای یادگیری ، تحلیل دادههای جریانی ، فیلترهای بلوم ، ساختارهای داده ، مدیریت مجموعه دادهها ، حریم خصوصی ، امنیت ، مقیاس پذیری ، تحمل خطا ، سیستمهای پردازش جریان داده