معماری سیستمهای فایل توزیع شده GFS و HDFS برای پردازش کلان داده

کلان داده مجموعههای خیلی بزرگ از داده است که نگهداری و استفاده از این مجموعهها نیازمند طراحی زیرساخت قوی و داشتن تکنیکهای مناسب برای دسترسی به دادهها و پردازشها آنها در زمان مناسب است. سیستمهای فایل توزیع شده، کاربردهایی برپایه مشتری هستند که فایلهای ذخیره شده را از طریق سرورهای مرکزی در اختیار آنها قرار میدهند. استفاده از یک سیستم فایل مناسب جهت نگهداری و انجام پردازش های مورد نیاز کلان داده یک انتخاب کلیدی است. دو گزینه اساسی برای انتخاب سیستمفایل مناسب وجود دارد. از یک سو GFS سیستم فایل توزیع شده گوگل، یک محصول اختصاصی و ویژه جهت پاسخ به نیازهای کلان داده است و از سوی دیگر، HDFS سیستم فایل توزیع شده هادوپ، یک سیستم ذخیره فایل کدباز که توسط یاهو جهت ذخیره مطمین مقادیر زیاد داده ارایه شده است. در اینجا، خصوصیات و معماری دو سیستم فایل را بررسی میکنیم و سپس بر اساس لیستی از ویژگی های کلیدی، برخورد دو سیستم را با کلان داده مطالعه می نماییم

کلیدواژه ها:

کلان داده ، سیستم فایل توزیع شده گوگل ، سیستم فایل توزیع شده هادوپ ، GFS ، HDFS