نرم افزارها و تکنولوژیهای مدیریت دادههای بزرگ در محیط محاسبات ابری

با توجه به افزایش و گسترش روزافزون اطلاعاتی مثل دادههای ایستگاههای هواشناسی، سامانههای امواج رادیویی،مبادلات شبکه های اجتماعی آنلاین، متون و اسناد اینترنتی، نمایههای جستوجوهای اینترنتی، دادههای نجوم،پروندههای پزشکی بیماران، اطلاعات سامانههای خرید از فروشگاهها، پژوهشهای زمینشناسی و غیره، دادههایی در مقیاس بزرگ بوجود آمدهاند. دادههای متنوعی که باید پردازش شوند به شکل چشمگیری در حال افزایش هستند. درواقعBig Dataواژهای است برای مجموعهای از ستدادههای بسیار بزرگ و پیچیده، که استفاده از ابزارهای مدیریت پایگاه دادههای دردست و یا برنامههای کاربردی سنتی پردازش داده، برای پردازش آنها کار بسیار دشواری دارند. ، چالشها شامل استخراج، گزینش، ذخیره سازی، جستجو، اشتراک، انتقال، آنالیز و بصری سازی است. در سال 2112محدودیت اندازه ستدادهها با زمان پردازش معقول بر اگزابایت، میلیون ترابایت قرار داشت.جدیدا دادههای بزرگ توجه زیادی را از سوی مکانهای آکادمیک، صنعتی و نیز دولتی دریافت کرده است. این مقاله چندین تکنیک پردازشدادههای بزرگ را توضیح می دهد. اول، از دیدگاه مدیریت دادههای بزرگ، سیستم فابل توزیع شده، دادههای غیر ساختیافته و نیمه ساختیافته، پلت فرم ابری کد باز، نرم افزارهای کلیدی و بهینه سازی و همچنین در ادامه چارچوب کاری پردازش موازیMapReduceسپس روش کارکردHadoopDB و Hadoop ،MapReduceرا بیان میکنیمسرانجام مسیرهای تحقیقاتی آینده را بر پردازش دادههای بزرگ در محیط رایانش ابری بررسی میکنیم. در واقع هدف این مقاله معرفی فعالیتها، نرمافزارها و تکنولوژیهای نوین در برخورد با دادههای بزرگ است با امید به اینکه زمینه ساز به وجو آمدن ایدههای تازه در مخاطبان باشد

کلیدواژه ها:

دادههای بزرگ ، رایانش ابری ، مدیریت داده ، محاسبات توزیع شده ، HadoopDB ، Hadoop ، MapReduce