برآورد بیزی معیار واگرایی کولبک – لیبلر در توزیع های نرمال

هدف: در تحلیل ها و مدل سازی های آماری، ارزیابی شباهت یا تفاوت بین دو توزیع احتمالی اهمیت زیادی دارد. یکی از پرکاربردترین معیارها برای این منظور، واگرایی کولبک-لیبلر است که فاصله اطلاعاتی بین دو توزیع را اندازه گیری می کند. هدف این مطالعه، تحلیل واگرایی KL بین دو توزیع نرمال با واریانس برابر و مقایسه عملکرد روش های مختلف برآورد این معیار است.روش شناسی پژوهش: در این پژوهش ابتدا مقدار دقیق واگرایی کولبک–لیبلر بین دو توزیع نرمال با واریانس برابر به صورت تحلیلی به دست می آید، سپس سه روش مختلف برای برآورد این معیار پیشنهاد می شود؛ برآورد حداکثر درست نمایی، برآورد بیزی و برآورد شریونده عملکرد هر یک از این برآوردگرها از طریق شبیه سازی مونت کارلو و با استفاده از معیار میانگین مربعات خطا ارزیابی می شود.یافته‎ها: نتایج شبیه سازی نشان می دهد که برآوردگر بیزی نسبت به MLE دقت بالاتری در برآورد دارد. علاوه بر این، برآوردگر شریونده بهترین عملکرد را دارد و کمترین مقدار MSE را در میان سه روش به دست می آورد. این یافته نشان می دهد که بهره گیری از اطلاعات پیشین یا تکنیک های جریمه گذاری می تواند به طور قابل توجهی کیفیت برآورد را بهبود بخشد.اصالت/ارزش افزوده علمی: این مطالعه با ارائه مقایسه ای جامع بین تکنیک های کلاسیک و نوین برای برآورد واگرایی KL در زمینه توزیع های نرمال با واریانس برابر، به ادبیات علمی کمک می کند. نوآوری پژوهش در به کارگیری روش شریونده و عملکرد برتر آن است که به صورت کمی از طریق شبیه سازی تایید شده است. این یافته ها کاربردهای عملی در حوزه هایی مانند یادگیری ماشین، پردازش سیگنال و نظریه اطلاعات دارند.

کلیدواژه ها:

واگرایی کولبک-لیبلر ، توزیع نرمال ، برآورد بیزی ، برآورد انقباضی ، میانگین توان دوم خطا