خلاصه سازی خودکار متن با استفاده از تکنولوژی داده های عظیم

امروزه رشد روز افزون داده ها واقعیتی است که بسیاری از حوزه ها را درگیر چالشی برای پردازش این حجم داده ها نموده است. برای مدیریت این داده ها، تکنولوژی داده های عظیم پدید آمدهاست و روز به روز با توجه به انواع و چالشهای داده های پرحجم موجود به قابلیت های این تکنولوژی افزوده میشود. یکی از مهمترین نوع داده های موجود در وب داده های متنی و بدون ساختار هستند. روزانه کاربران وب حجم زیادی از این داده ها را از طریق شبکه های اجتماعی، وبسایتهای تجاری ، خبری و ... منتشر میکنند. خلاصه سازی متون همواره یکی از زمینه های پرطرفدار در پردازش زبان میباشد و کاربردها و منافع زیادی را برای کاربران و صاحبان وبسایتها به همراه دارد. در این مقاله، یک روش برای خلاصه سازی حجم عظیم داده های متنی با تکیه بر تکنولوژی داده های عظیم پیشنهاد میشود.

کلیدواژه ها:

خلاصه سازی خودکار متن ، تکنولوژی داده های عظیم ، هدوپ ، اسپارک