بهبود زمان پاسخ پردازش پرس و جوها در هایو (HIVE) بر اساس روش های مبتنی بر هزینه

با ظهور وب 2 در کاربردهای جدید تحت وب، نقش کاربران تغییر یافت و به این ترتیب انقلابی در تولید و به کارگیری محتوای دیجیتال اتفاق افتاد. این موضوع منجر به تولید و نگهداری توده انبوهی از داده در سمت سرورها شد. این تغییر، نیازمند روش های جدید برای ذخیره سازی حجم بالای داده ها و پشتیبانی از پرس و جوهای کارا و موثر بر روی آن می باشد. در زمینه داده های حجیم، که با حجم بی سابقه ای از داده ها، شتاب زیاد در سرعت تولید داده و انواع مختلف ساختارهای داده روبه رو شده ایم، پشتیبانی از تحلیل داده ها در مقیاس بزرگ یک کار چالش برانگیز است. از جمله تحقیقاتی که در این حوزه انجام شده است، تولید نرم افزار هایو به عنوان یک نرم افزار انبار داده در بستر هدوپ می باشد. HiveQL زبان پرس و جوی sql-like است که زبان پرس و جوی هایو می باشد. برای اعمال بهینه سازی بهتر و بهبود کارایی سیستم هایو و کاهش زمان پاسخ اجرای پرس و جو درهایو باید الگوریتم های پردازش پرس و جو را در هایو برای اجرای موثر آنها تغییر دهیم و علاوه بر بهینه سازی مبتنی بر قاعده، بهینه سازی مبتنی بر هزینه را در سیستم اعمال کنیم. با اعمال این نوع از بهینه سازی از بین نقشه های اجرایی ممکن بهترین نقشه با توجه به بهینه سازی مذکور برای اجرا انتخاب می شود و در نتیجه کارایی بالاتر و زمان پاسخ کمتر را در سیستم هایو خواهیم داشت. یکی از چالش های پردازش پرس و جوهای داده های حجیم بهبود کارایی و کاهش زمان پاسخ است. از این رو تحقیق حاضر با استفاده از تکنیک های بهبود پردازش داده، به بهبود کارایی و کاهش زمان پاسخ پردازش پرس و جو در سیستم هایو می پردازد. در نتیجه در این تز جهت انتخاب و استفاده ایندکس بهینه پیشنهاد می شود که انتخاب ایندکس بهینه بعنوان یک پیش پردازش برای جدول مورد نظر انجام شود و از نتیجه آن برای اجرای پرس و جو استفاده شود.

کلیدواژه ها:

هایو ، هدوپ ، مپ ، ردیوس ، زمان پاسخ در اجرای پرس و جو