الگوریتمی برای پردازش سریع جریان کلان داده

جریان داده یک توالی نامحدود و حجیم از عناصر دادهای است که به صورت متوالی با سرعت زیاد تولید می شود. به دلیلتوالی نامحدود جریان کلان داده و سرعت تولید آن، امکان ذخیره سازی تمام داده های جریان وجود ندارد. چالش مهم در جریانداده نرخ تولید است. داده ها با سرعت زیاد و به صورت بلادرنگ تولید می شوند. در بسیاری از کاربردها نیاز است به محض ورودداده به درخواست کاربر پاسخ داده شود و ممکن است در برخی موارد نتوانیم به اندازه کافی صبر کنیم تا یک گزارش در سیستمبرای مدت طولانی پردازش شود.در این تحقیق بر آن شدیم برای حل مشکل پردازش سریع جریان کلان داده از درخت B+Tree استفاده نماییم. این الگوریتمدر شرایط عادی، هنگام ورود داده ها با سرعت خوبی عمل می کند ولی با ورود جریان کلان داده، سرعت اجرای آن کاهش می یابد.برای حل این مشکل یک الگوریتم جدید، به نام جنگل B+Tree پیشنهاد می کنیم. این الگوریتم، با حفظ حالت سرعت ساختارذخیره سازی، از افزایش بی رویه عمق درخت جلوگیری خواهد کرد، چنانچه عمق درخت به بدترین حالت خود نزدیک شود درآن صورت درخت و ساختار آن را بایگانی میکنیم و درخت جدیدی را برای ادامه روند تولید مینماییم. این روش هم به سرعتایجاد ساختار ذخیره سازی کمک میکند و هم با حفظ حالت ساختار ذخیره سازی و با تفکیک درختها به صورت جنگلی ازدرختان با عمق بهینه، باعث بالا رفتن سرعت پردازش خواهد شد.

کلیدواژه ها:

جریان داده ، کلان داده ، داده های بزرگ ، پردازش سریع