یادگیری عمیق در پردازش زبان طبیعی تمرکز روی ترجمه ماشینی

پردازش زبان طبیعی یکی از حوزه های پیشرو در هوش مصنوعی است که امکان درک تحلیل داده ها و تولید زبان انسانی را برای سیستم های رایانه ای فراهم می سازد. طی سال های اخیر ظهور یادگیری عمیق و به ویژه معماری ترنسفورمر موجب جهش چشمگیر در کیفیت ترجمه ماشینی شده است [۱] به گونه ای که این روش ها خیلی سریع تر و بهتر از روش های سنتی عمل می کنند تا جایی که جایگزین این روش شده اند. این پژوهش با هدف بررسی جامع مبانی نظری پیشینه تحقیق، مدل ها و الگوریتم ها، شاخص معیارهای ارزیابی و چالش های کنونی سامانه های ترجمه ماشینی مبتنی بر یادگیری عمیق انجام شده است. تحلیل ها نشان می دهد که ترنسفورمرها با توانایی مدل سازی وابستگی های طولانی مدت و پردازش موازی جایگزین رویکردهای سنتی نظیر مدل های آماری و شبکه های عصبی بازگشتی شده اند [۲]. به بیان ساده تر ترنسفورمرها در یادگیری عمیق به تبدیل یک توالی یا دنباله ورودی به یک دنباله خروجی خلاصه می شوند. مدل ترنسفورمر، یک شبکه عصبی است که از محتوای داده های ترتیبی یاد گرفته و مطابق آن عمل می کند. این مقاله پاسخی منسجم به پرسش های بنیادین درباره مسیر گذشته، حال و آینده ترجمه ماشینی ارائه می کند. با این وجود، علیرغم پیشرفت های چشمگیر همچنان چالش های متعددی نیز در این مسیر وجود دارد. از جمله چالش های مهمی که در این زمینه می توان به آن اشاره کرد نیاز به حجم بسیار زیاد داده برای آموزش مدل است. طبیعتا برای این حجم زیاد نیاز به حافظه های زیادی نیز داریم. از طرف دیگر با مصرف محاسباتی زیادی روبه رو هستیم.

کلیدواژه ها:

پردازش زبان طبیعی ، یادگیری عمیق ، ترنسفورمر ، مدل های آماری ، شبکه عصبی بازگشتی