یک تعمیم دو پارامتری آنتروپی رنی و میانگین جدید طول کدواژه مرتبط با آن

درتمام سطوح جامعه سیستم هایی معرفی شده اند که با انتقال، ذخیره سازی و پردازش اطلاعات سروکار دارند. در حقیقت جامعه ای که ما در آن زندگی می کنیم جامعه اطلاعاتی نامیده می شود. بنابراین منطقی بنظر می رسد که بخواهیم بدانیم اطلاع را چگونه می توان تعریف و اندازه گیری نمود. برای اولین بار کلود شانون (۱۹۴۸ ) در مقاله معروفش تحت عنوان " نظریه ریاضی ارتباطات" مفاهیم اطلاع و احتمال را با یکدیگر پیوند داد و یک مدل ریاضی مبتنی بر احتمال برای ارزیابی میزان اطلاع نهفته در توزیع احتمال یک متغیر تصادفی ارائه داد.

در نظریه ارتباطات تا قبل از ۱۹۴۸ چنین تصور می شد که افزایش نرخ ارسال اطلاعات در یک کانال ارتباطی، احتمال بروز خطا را افزایش می دهد. اما شانون ثابت نمود که تا وقتی نرخ ارسال اطلاعات از ظرفیت کانال ارتباطی کمتر باشد این ادعا درست نیست.

به دلیل اهمیت این عرصه مطالعاتی، تا کنون تعمیم های متعددی برای آنتروپی شانون توسط پژوهشگران ارائه شده است. هر کدام از این تعمیم ها دارای خواصی هستند که آنها را به کاربردهای وسیعی در زمینه های مختلف هدایت می کند. آنتروپی رنی به عنوان یک تعمیم تک پارامتری برای آنتروپی شانون توسط آلفرد رنی در سال۱۹۶۱ معرفی شد. این اندازه اطلاع تعمیم یافته خواص مشابهی با آنتروپی شانون دارد.

در مقاله حاضر ابتدا آنتروپی شانون و رنی و برخی ویژگی های مهم آن ها را مرور می کنیم. سپس یک تعمیم دو پارامتری برای آنتروپی رنی با میانگین جدید طول کدواژه مربوطه، که توسط بهات و دیگران (۲۰۲۳) مطرح شده، و همچنین ویژگیهای مهم آن را مورد بررسی قرار می دهیم. به ویژه برای مقادیری از پارامترها کارایی کد هافمن، نسبت به این آنتروپی تعمیم یافته و میانگین جدید طول کدواژه نظیر آن، را مورد ارزیابی قرار می دهیم.

کلیدواژه ها:

آنتروپی شانون ، آنتروپی رنی ، میانگین طول کدواژه ، نامساوی کرافت ، کد هافمن.