استفاده از سیستم فایل توزیع شده هدوپ و ساختار بلاک بندی داده در حجیم داده

اطلاعاتی که توسط کاربران در خدمات آنلاین و ماشین در جمع آوری رویدادها در حالا تولید هست دیگر قابل تصور نیست از این رو وقتی داده حجیم می شود دیگر ساختار خطی و مجتمع کارا نمی باشد. یک راه حل آن است که ساختاری را ایجاد کرد تا داده تولید شده بر روی آنها توزیع گردد. سیستم فایل توزیع شده هدوپ برای نگهداری مجموعه داده انبوه طراحی شده به طوری که یک کلاستر بزرگ هدوپ می تواند هزاران سرور داوطلب و انباره داده متصل به آنها داشته باشد. در هدوپ داده بین فضای ذخیره سازی سرورها توزیع می شود و عملیات پردازش بر روی آنها و در کنار اطلاعات درخواستی امکان پذیر است. به همین دلیل هست که این حجم از داده هنوز اقتصادی باقی خواهد ماند. در این مقاله ما ساختار سیستم فایل توزیع شده هدوپ را بررسی خواهیم کرد. نحوه بلاک بندی داده، ایجاد، حذف، آدرس دهی و جای دهی آن ها بحث می شود و روند و ساختار ارتباط بین نود ها و سرورهای عامل بازنگری می گردد و در نهایت کاربرد این ساختار برای حجیم داده بیان می گردد.

کلیدواژه ها:

سیستم فایل توزیع شده ، داده های انبوه ، پردازش موازی ، هدوپ ، حجیم داده ، بلاک