ارائه یک روش وزن دهی برای کاهش ابعاد توضیح پذیر بردارهای کلمه

مدلهای معنایی، توزیعی معنای کلمات را به صورت بردار بازنمایی می کنند. بردارهای حاصل از روشهای مبتنی بر شمارش دارای ابعاد زیادی هستند و معمولا از روشهای کاهش ابعاد برای کاستن ابعاد بردار کلمه استفاده می شود. در این پژوهش یک روش وزن دهی برای کاهش ابعاد بردارهای توزیعی کلمات در مدلهای پردازش زبان طبیعی پیشنهاد داده ایم. هدف اصلی این تحقیق، کاهش پیچیدگی محاسباتی بردارهای کلمات بدون از دست دادن اطلاعات معنایی آنها با کمترین میزان کاهش دقت است. برای یافتن وزنهای مورد نیاز برای کاهش ابعاد از مدل word۲vec استفاده می کنیم. در این پژوهش ما با ۰.۹۲ درصد افت ضریب همبستگی اسپیرمن شباهت بردارهای کلمه توانستیم ابعاد بردارهای کلمه را از ۵۰۰۰ به ۱۰۰۰ کاهش دهیم.

کلیدواژه ها:

بردار کلمه ، تعبیه کلمه ، وزن دهی ، کاهش ابعاد بردار ، پایه هوش مصنوعی ، توضیح پذیر