ارائه یک روش جدید برای ذخیره سازی و دسترسی به داده ها در پایگاه داده های بزرگ توزیع شده مبتنی بر ipfs و etl

انبار داده از داده های زیادی تشکیل شده است که این داده ها از منابع مختلف جمع آوری شده اند و قسمتهای مختلفی دارند که استفاده از آنها در سازمانها و مراکز داده نیاز به مدیریت بالایی دارد که بالاترین استفاده را از آن برد، بروز بودن داده ها که از منابع مختلف جمع آوری شده اند مهم میباشد. برای انجام این فرآیند ابزارهای مخصوصی پیاده سازی شده اند به نام ETL وجود دارد طی فرآیند ETL داده ها از منابع اطلاعاتی مورد نیاز موجود در سازمان یا خارج از آن مانند، پایگاه های داده، فایلهای متنی، سیستمهای قدیمی و صفحات گسترده استخراج شده و تبدیل به اطلاعاتی سازگار با فرمت معین میشوند و سپس در یک مخزن اطلاعاتی که در اغلب اوقات یک DWH است، قرار داده میشوند. برای انجام ETL نیاز به تخصصهای مختلفی چون تجزیه و تحلیل تجاری، طراحی پایگاه داده و برنامه نویسی و ipfs وجود دارد. سازماندهی کل فرآیند را به عنوان یک گردش کار1 در نظر میگیریم. گردش کار ETL را میتوان یک گراف بدون دور که یک تصویر از جریان داده ها از مبدا تا انبار داده را مشخص می سازد را نام برد. ما در این مقاله برای بخش etl در انبار داده یک الگوریتم جدید بر اساس الگوریتم های زمان بندی وipfs2 مطرح کرده ایم که میتواند با موازی سازی و بخش بندی جریان کار باعث افزایش سرعت و کاهش مصرف حافظه شد و نتایج شبیه سازی نشان از پیشرفت روش پیشنهادی دارد

کلیدواژه ها:

انبار داده ، زمان بندی ، ETL ، جریان داده