ارزیابی روش‎ های تشخیص و بازسازی مقادیر پرت و گمشده در سری داده های هیدرولوژیکی حوزه آبخیز زرینه رود، دریاچه ارومیه

چکیده مبسوط مقدمه و هدف: اندازه گیری های جریان رودخانه و داده های آن در مدیریت منابع آب، کنترل سیل، حفاظت و احیای رودخانه، بازسازی جریان اهمیت بسزایی دارند. اکثر طرح های کنترل سیل و دبی طراحی در پروژه های مدیریت و احیای رودخانه توسط تحلیل های هیدرولوژیکی و هیدرولیکی مبتنی بر دبی مشاهداتی حوزه تخمین زده می شوند. پایه مطالعات هیدرولوژیکی به داده های آماری مشاهداتی وابسته است و این داده ها در اغلب موارد دارای خطاهای متعدد هستند. داده پرت داده ای است که از نرم طبیعی فاصله گرفته است و باعث بروز خطا در محاسبات می شود. روش های تشخیص داده های پرت شامل روش های نظارت‎ شده، نیمه نظارت‎ شده و نظارت‎ نشده هستند و برخی روش های مبتنی بر توزیع، مبتنی بر خوشه بندی و مبتنی بر چگالی را شامل می شوند. به‎ دلیل خطای محاسباتی، مقادیر صحیح خاص، گزارش اشتباه و یا خطای نمونه‎برداری و همچنین به دلیل خطاهای انسانی و ابزاری ممکن است مواردی مانند ثبت نشدن آمار، ثبت آمار غلط، خرابی یا ازبین رفتن دستگاه‎های اندازه گیری یا تشخیص داده های پرت و حذف آن‎ها با عنوان داده‎های گم شده پیش آید. بنابراین، تخمین و برآورد این داده‎ها برای استفاده در مدل‎ها ضروری است و به منظور کاهش بروز خطا باید پیش از به کارگیری آن‎ها پیش‎ پردازش صورت گیرد. عملیات پیش ‎پردازش، سری داده‎ را برای محاسبات از جمله کلاسه‎بندی، پیش‎بینی و تخمین آماده می‎کند و شامل حذف داده های گم‎شده، حذف داده‎های پرت، بازسازی مقادیر گم‎شده، و نرمال‎سازی داده‎ها است. مواد و روش‎ها: در این تحقیق، به‎ منظور تشخیص داده های پرت و بازسازی داده های گمشده و ناقص سری زمانی داده‎های هیدرولوژی، داده های دبی ماهانه شش ایستگاه هیدرومتری و داده های اقلیمی ۱۶ ایستگاه باران سنجی در حوزه زرینه‎رود در نرم‎افزار R برنامه نویسی و مورد بررسی قرار گرفتند. حوزه آبخیز زرینه‎رود بزرگترین حوضه آبخیز دریاچه ارومیه است. به‎ منظور آزمون نرمال بودن داده ها از آزمون شاپیرو-ویلک و کولموگروف-اسمیرنف استفاده گردید که مطابق نتایج به‎ دست آمده داده های مورد استفاده دارای توزیع نرمال نبودند و پس از نرمال سازی داده ها محاسبات داده های پرت به روش های نمودار جعبه ای، z-score، هیستوگرام، مربع کای، میانگین و انحراف معیار و روش میانه انجام شد و داده هایی که از بالاترین مقدار مشخص ‎شده بیشتر بودند حذف گردیدند. به منظور نسبت دهی و جایگذاری مقادیر گمشده از الگوریتم‎های KNN، رگرسیون لاسو و رگرسیون خطی بیزین استفاده گردید. روش رگرسیون لاسو یک روش منظم‎سازی است که هدف آن کاهش پیچیدگی مدل و جلوگیری از بیش ­برازشی است. رگرسیون خطی بیزین نوعی تحلیل آماری است که ترکیبی از روش های رگرسیون خطی و بیزین را استفاده می کند. الگوریتم KNN یکی از روش‎های مبتنی بر نمونه است که با مدل‎های ناپارامتری و طبقه‎بندی یادگیری نظارت‎ شده ارتباط دارد. برای ارزیابی دقت الگوریتم‎های نسبت‎دهی داده‎های گمشده از روش Cross Validation استفاده گردید و در ادامه، جهت محاسبه دقت روش های تخمین از دو معیار RMSE و R۲ استفاده شد. یافته‎ها: نتایج آماری حاصل نشان می دهند که مقادیر p-value در هر شش ایستگاه مورد مطالعه کمتر از ۰/۰۵ بودند. به منظور ارزیابی صحت و دقت روش KNN از اعتبارسنجی متقابل استفاده گردید. مقادیر RMSE کمتر و نزدیک به صفر و R۲ بالاتر از ۰/۷ در تمامی ایستگاه ها نشان دادند که روش KNN یک روش مطمئن و دقیق در نسبت دهی و جایگذاری مقادیر گمشده بود و در مقایسه با روش رگرسیون لاسو و رگرسیون خطی بیزین نتایج بسیار دقیق‎تر و مطمئن‎تری را ارائه داد و موجب اختلال در روند سری داده نشد. مقادیر پرت ایستگاه‎های جان آقا و دره پنبه‎دان در ادامه و در نرمال سازی حذف گردیدند. چولگی و وجود داده پرت در روش هیستوگرام به ویژه ایستگاه‎های جان‎آقا، ساریقمیش و پل آدینان بابی‎نظمی همراه بودند و توزیع ناهمگن و غیر نرمال داشتند که پس از نرمالسازی، داده‎های پرت مشخص و حذف شدند. میزان p-value در هر دو آزمون شاپیرو-ویلک و کولموگروف-اسمیرنف مقادیری بسیار کمتر از ۰/۰۵ را نشان داد و گواه این مطلب است که داده‎ها در محدوده نرمال قرار دارند و نرمال‎سازی داده ها و حذف مقادیر پرت با دقت بالایی انجام شده است و درنتیجه محاسبه مقادیر پرت و شناسایی آن ها معنی دار است. آزمون روزنر برای هر سری داده مقدار حد بالا را در دو تست متوالی ارائه داده است و همان مقدار و مقادیر بالاتر از آن را به عنوان داده پرت در نظر می گیرد. نتایج مطابقت تابع چگالی احتمال مقادیر مشاهده ای و نسبت دهی شده به‎ روش KNN نشان از تطابق قابل قبول دو تابع چگالی احتمال داشتند و این روش در نسبت دهی مقادیر حداکثر، متوسط و حداقل نسبت به دو روش دیگر در ایستگاه‎ های مورد مطالعه موفق عمل کرد. نتیجه‎گیری: با توجه به نتایج به‎ دست آمده از نمودار جعبه ای، داده‎هایی که خارج از ساقه قرار گیرند را به عنوان داده پرت معرفی می‎کند و بر همین اساس در نمودارهای جعبه‎ای تعداد داده‎های پرت در مقایسه با سایر روش‎ها به مقدار زیادی تشخیص داده می شود که به ‎نظر می رسد روش مناسبی برای تشخیص داده پرت در داده های هیدرولوژیکی نباشد. روش KNN در تعیین داده‎های گمشده با استفاده از داده‎های مشاهداتی متناظر، در بین دو روش دیگر بسیار موثر عمل نمود. در این مطالعه، سری داده ها نرمال‎سازی و سپس مقادیر داده های پرت در آن‎ها محاسبه گردید و برای تعیین مقادیر محاسبه نشده و  گمشده از روش KNN استفاده شد. در داده های دارای روند تغییرات کمتر، KNN بسیار دقیق عمل می‎نماید و یکی از دقیق‎ترین و مطمئن‎ترین روش های نسبت‎دهی و جایگذاری داده های گمشده است. به منظور اعتباریابی روش KNN، رگرسیون لاسو و رگرسیون بیزین از روش اعتبارسنجی متقابل یا Cross Validation استفاده شد. با توجه به نتایج به دست آمده، الگوریتم KNN ضریب تبیین بالاتر از ۰/۷ و مقادیر RMSE نزدیک به صفر را نشان داد. روش KNN کارایی مطلوبی را در تخمین مقادیر  گمشده در جریان‎های پیوسته و ناپیوسته نسبت به دو روش دیگر ارائه می‎دهد. این اثربخشی به توانایی KNN در دستیابی به مقدار بهینه نزدیک ترین همسایه برمی‎گردد که آن‎را برای پیش‎بینی دقیق در شرایطی که جریان به حداقل رسیده باشد هم مناسب می‎سازد. دقت KNN به‎دلیل سادگی محاسبات و نیز اثر بالای آن در محاسبه و نسبت‎دهی داده‎های گمشده و گمشده است که در عین حال ساختار سری داده را نیز حفظ می کند.

کلیدواژه ها:

Bayesian linear regression ، K Nearest Neighbor ، Lasso regression ، Shapiro-Wilk test ، Zarrineh-roud basin ، حوضه زرینه رود ، رگرسیون لاسو ، رگرسیون خطی بیزین ، شاپیرو-ویلک ، نزدیکترین همسایه