آبگیر داده: رویکردی نوین جهت مدیریت و تحلیل بی‌درنگ داده‌های حجیم

سال انتشار: 1397
نوع سند: مقاله ژورنالی
زبان: فارسی
مشاهده: 339

فایل این مقاله در 22 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

JR_JME-16-55_011

تاریخ نمایه سازی: 21 اسفند 1399

چکیده مقاله:

با افزایش سرعت تولید داده‌ها، نیاز به پردازش، ذخیره‌سازی و تحلیل داده‌های حجیم روزبه‌روز در حال افزایش است. به‌تازگی دریاچه داده برای داده‌های ناساختیافته (با خصوصیت BASE) مطرح شده است. اما وجود داده‌های حساس ساخت‌یافته (با خصوصیت ACID) و داده‌های با حساسیت کمتر غیرساخت­یافته در داده‌های حجیم از طرفی باعث بروز مشکلاتی جدید در مدیریت داده‌های حجیم با استفاده از این روش‏ها شده است. در این مقاله راه‌حلی ارائه خواهد شد که قادر خواهد بود داده‌های ساخت‌یافته و ناساخت­یافته با خصوصیات متفاوت را به‌صورت هم‌زمان ذخیره‌سازی و به پرس‌وجوهای کاربر به‌صورت بلادرنگ پاسخ دهد. روش مذکور پس از بررسی انبار داده و دریاچه داده، مشخص کردن نقاط قوت و ضعف و درنهایت با تلفیق این دو روش مطرح شده است. به‌عنوان یکی از نتایج مهم این تحقیق پس از مقایسه انبار داده و دریاچه داده خواهیم دید، دریاچه داده جایگزینی برای انبار داده نبوده و انبار داده کاربرد‌های خاص خود را مخصوصاً در داده‌های مالی دارد، زیرا از نظریه ACID پیروی کرده و دریاچه داده نیازمندی‌های نظریه BASE را رفع می‌کند. ایده مطرح شده در این مقاله با عنوان آبگیر داده، دارای سه مزیت اصلی است: 1- استفاده هم‌زمان از انبار داده و دریاچه داده جهت پاسخگویی بلادرنگ به انواع نیاز‌های داده‏ای سازمان با بهره‌گیری از مزایای آن‌ها 2- تفکیک داده‌های جدید از قدیمی جهت رسیدن به بی‌درنگی 3- ایجاد توازی و درنتیجه عدم هم‌زمانی بارگذاری داده و پردازش پرس‌وجو جهت کاهش هزینه زمانی.

نویسندگان

سامان کشوری

دانشگاه جامع امام حسین (ع)

حسن نادری

دانشگاه علم و صنعت ایران

مجید غیوری ثالث

دانشگاه جامع امام حسین (ع)

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :
  • [1] We Are Social, "Digital in 2016 report"[Online], Available:http://wearesocial.com/uk/special-reports/digital-in-2016. Company ...
  • [2] Tay L. (2013), "Inside eBay’s 90PB data warehouse"[Online], Available: ...
  • [3] کشوری، س.، نقوی، م.، کشوری، س.، (1394). "معرفی، بررسی ...
  • [4] Abhinay B. Angadi, Akshata B. Angadi, Karuna C. Gull. ...
  • [5] Brewer, E. A., (2000) Towards Robust Distributed Systems, Portland, ...
  • [6] Jacobsohn, M., Delurey, M. (2014) HOW THE DATA LAKE ...
  • [7] Ali-ud-din Khan, M., Fahim Uddin, M. Gupta N. (2014) ...
  • [8] Fowler, M. (2015) "DataLake"[Online], Available: http://martinfowler.com/bliki/DataLake.html, [Accessed: 07 August ...
  • [9] Langseth, J. (2004) Real-Time Data Warehousing: Challenges and Solutions, ...
  • [10] Santos, R., Bernardino, J. (2008) ‘Real-time data warehouse loading ...
  • [11] Jain, T., Rajasree, S., Saluja, S. (2012) ‘Refreshing datawarehouse ...
  • [12] Zuters, J. (2011) ‘Near real-time data warehousing with multi-stage ...
  • [13] Nguyen, M., Tjoav, A. (2003) ‘Zero-latency data warehousing for ...
  • [14] Golab, L., Johnson, T. (2014), Data stream warehousing, IEEE ...
  • [15] Zhu, Y., an, L., Liu, S. (2008) ‘Data updating ...
  • [16] Obali, M., Erdem, Z., Görür, A. K. (2013), A ...
  • [17] Vassiliadis, P., Simitsis, A. (2008) ‘Near real time ETL’, ...
  • [18] Ferreira, N., Furtado, P. (2013), Real-time data warehouse: a ...
  • [19] Fang, H. (2015), managing data lakes in big data ...
  • [20] Hai, R., Geisler,S., Quix, C. (2016) Constance: An Intelligent ...
  • [21] Walker, C., Alrehamy, H. (2015), Personal Data Lake with ...
  • [22] Xie, Ch., Su Ch., Littley, C., ET. al., (2015) ...
  • [23] Kong, Ch., China, Sh., Gao, M., ET. AL. (2015), ...
  • [24] Chandra, D. G. (2015), BASE analysis of NoSQL database, ...
  • [25] Brewer, E. (2012), "CAP twelve years later: How the ...
  • [26] Elsa Estrada-Guzman, R. M., Gómez, L. (2015), "NoSQL method ...
  • [27] کشوری, س.، صابری، ح.، کشوری، س.، (۱۳۹۴)، "نقش نظریه ...
  • [28] Gilbert, S., Lynch, N. (2012) Perspectives on the CAP ...
  • [29] Prasad, S., Nunifar Sha, M.S., (2013) "NextGen data persistence ...
  • [30] Rifaie, M., Kianmehr, K., Alhajj, R., Ridley M. J. ...
  • [31] Kimball, R., Ross, M. (2013). The Data Warehouse Toolkit: ...
  • [32] W. H. Inmon, K. Krishnan, (2011). Building the Unstructured ...
  • [33] CAMPBELL, CH. (2015), Top Five Differences between Data Lakes ...
  • [34] Refaat, M. (2007), Data Preparation for Data Mining Using ...
  • [35] Goth, G. (2016), The Data Lake Concept Is Maturing, ...
  • [36] Apache Software Foundation, (2015) Apache Atlas,Available: http://atlas.incubator.apache.org, [Accessed: 16 ...
  • [37] Ahn, A. (2015), APACHE ATLAS PROJECT PROPOSED FOR HADOOP ...
  • [38] Gorelik, A., Chen, J., Claude, O., ET. al., (2016), ...
  • [39] Oracle (2012) Oracle, Best Practices for Real-time Data Warehousing, ...
  • [40] Anandan, S., Bogoevici, M., Renfro, G., ET. Al. (2015) ...
  • [41] Qiao, L., Li, Y., Takiar S., ET. Al. (2015), ...
  • [42] Waas, F., Wrembel, R., Freudenreich, T., ET. Al. (2013) ...
  • [43] کشوری، س. جوادزاده، م.ع. نقوی، م. (1396)، "ارزیابی و ...
  • نمایش کامل مراجع