مروری بر معماری و دسته بندی های مکانیزم توجه و کاربردهای آن در یادگیری ماشین ویادگیری عمیق

مکانیزم توجه به یکی از مهمترین مفاهیم در زمینه یادگیری عمیق تبدیل شده است. این مکانیزم از سیستم های بیولوژیکی انسانکه تمایل دارند هنگام پردازش بر روی قسمت های متمایز تمرکز کنند الهام گرفته است. با توسعه شبکه های عصبی عمیق مکانیزمتوجه به طور گسترده در حوزه های کاربردی مختلف استفاده شده است. هدف این مقاله ارائه یک نمای کلی از وضعیت موجود مدلهای توجه ارائه شده در سال های اخیر برای درک کلی بهتر مکانیسم های توجه می باشد. یک مدل یکپارچه از مکانیزم توجه ارائهمی شود که برای اکثر ساختارهای توجه مناسب است. هر مرحله از توجه مکانیزم پیاده سازی شده در مدل به تفصیل شرح دادهشده است. علاوه بر این، مدل های توجه موجود طبقه بندی شده و مدل سازی بر اساس چهار معیار: تعداد نمایش، تعداد دنباله،تعداد سطح انتزاع و تعداد موقعیت ها ارائه می گردند. علاوه بر این، مکانیسم توجه و برخی از کاربردهای معمول آن در یادگیریعمیق و روندهای بالقوه آینده آن را ارائه می نماییم.

کلیدواژه ها:

مکانیزم توجه ، یادگیری عمیق ، یادگیری ماشین ، ترنسفورمر