برآوردگرهای ناپارامتری آنتروپی مبتنی بر رگرسیون خطی ساده

آنتروپی یکی از مهم ترین معیارهای اندازه گیری عدم قطعیت در نظریه اطلاعات و آمار است. در بسیاری از مسائل عملی، تابع چگالی احتمال توزیع داده ها ناشناخته است و تنها نمونه هایی از داده در اختیار پژوهشگر قرار دارد. در چنین شرایطی استفاده از روش های ناپارامتری برای برآورد آنتروپی اهمیت زیادی پیدا می کند. در این مقاله روشی برای برآورد آنتروپی دیفرانسیل ارائه می شود که مبتنی بر تقریب محلی جرم احتمال و استفاده از رگرسیون خطی ساده است. در روش پیشنهادی ابتدا با استفاده از بسط مرتبه دوم جرم احتمال در همسایگی یک نقطه، رابطه ای میان فاصله نمونه ها از آن نقطه و مقدار جرم احتمال برقرار می شود. سپس با استفاده از رگرسیون خطی ساده مقدار تابع چگالی احتمال و مشتق دوم آن در نقطه مورد نظر برآورد می شود. با استفاده از این مقادیر چند برآوردگر برای آنتروپی معرفی می شود. نتایج بررسی های عددی نشان می دهد که برآوردگرهای پیشنهادی از دقت مناسبی برخوردار بوده و می توانند در مسائل مختلف آماری و مهندسی مورد استفاده قرار گیرند.

کلیدواژه ها:

آنتروپی دیفرانسیل ، برآورد ناپارامتری ، رگرسیون خطی ساده ، تخمین چگالی ، نظریه اطلاعات