استفاده از تکنولوژی داده های عظیم در نظرکاوی

نظرات، نقش مهم و تعیین کننده ای در فرآیند تصمیم گیری چه برای مشتریان و چه برای سازمان های تجاری ایفا می کنند. از این رو، وجود سیستم های خودکار نظرکاوی برای داده های نظری موجود در وب، ضروری به نظر می رسد. از طرفی، با حجم بالا و رشد روزافزون داده های نظری روی وب، فرآیند نظرکاوی می تواند با چالشی بزرگ روبه رو شود؛ چرا که پردازش و تحلیل این حجم عظیم از داده ها با تکنولوژی های متداول، ممکن است عملی نباشد. در صورتی که سیستم های کاوش نظرات به تکنولوژی های داده های عظیم مجهز شوند، بدون نگرانی از مدیریت، ذخیره سازی و مدیریت حجم روزافزون داده های نظری، می توانند به کار خود ادامه دهند. با آنکه در سال های اخیر تحقیقات زیادی در حوزه تحلیل حسی نظرات انجام شده است، اما تلاش های کمی در حوزه کاوش داده های نظری در حیطه زبان فارسی در مقیاس بالا انجام گرفته است. از این رو، در این تحقیق، دو روش نظرکاوی برای داده های زبان فارسی با استفاده از یک لغت نامه حسی زبان فارسی در بستر تکنولوژی داده های عظیم ارائه شده است. برای ذخیره سازی و پردازش داده های نظری از چارچوب متداول و کارای هدوپ و مدل برنامه نویسی نگاشت_کاهش (MapReduce) استفاده شده است. نتایج به دست آمده از آزمایش ها حاکی از آن است که چارچوب پیشنهادی برای نظرکاوی به شکلی کارا عمل کرده و نه تنها برای حجم های بالا بلکه در حجم های حدود ۲۰ مگابایت شاهد افزایش ۱۰۰ برابری در کارامدی هستیم. این ضریب، در حجم های بالاتر به شکل محسوس تری افزایش می یابد.

کلیدواژه ها:

نظرکاوی ، داده های عظیم ، هدوپ ، مدل برنامه نویسی نگاشت_کاهش ، پردازش زبان طبیعی ، بازیابی اطلاعات