مروری بر معماری و دسته بندی های مکانیزم توجه و کاربردهای آن در یادگیری ماشین ویادگیری عمیق

  • سال انتشار: 1403
  • محل انتشار: سومین کنفرانس بین المللی مهندسی برق، کامپیوتر، مکانیک و تکنولوژی های نوین مرتبط با هوش مصنوعی
  • کد COI اختصاصی: ENGTEC03_008
  • زبان مقاله: فارسی
  • تعداد مشاهده: 598
دانلود فایل این مقاله

نویسندگان

مهسا دژم خوی

دانشگاه محقق اردبیلی، دانشکده علوم پایه، گروه ریاضیات و کاربردها

دانیال میری زاده

دانشگاه محقق اردبیلی، دانشکده علوم پایه، گروه علوم کامپیوتر

محمد ضارب نیا

دانشگاه محقق اردبیلی، دانشکده علوم پایه، گروه ریاضیات و کاربردها

یوسف علیخانی

دانشگاه محقق اردبیلی، دانشکده علوم پایه، گروه علوم کامپیوتر

زهرا علیپور

دانشگاه محقق اردبیلی، دانشکده علوم پایه، گروه علوم کامپیوتر

حسن حاجی زاده

دانشگاه محقق اردبیلی، دانشکده علوم پایه، گروه علوم کامپیوتر

چکیده

مکانیزم توجه به یکی از مهمترین مفاهیم در زمینه یادگیری عمیق تبدیل شده است. این مکانیزم از سیستم های بیولوژیکی انسانکه تمایل دارند هنگام پردازش بر روی قسمت های متمایز تمرکز کنند الهام گرفته است. با توسعه شبکه های عصبی عمیق مکانیزمتوجه به طور گسترده در حوزه های کاربردی مختلف استفاده شده است. هدف این مقاله ارائه یک نمای کلی از وضعیت موجود مدلهای توجه ارائه شده در سال های اخیر برای درک کلی بهتر مکانیسم های توجه می باشد. یک مدل یکپارچه از مکانیزم توجه ارائهمی شود که برای اکثر ساختارهای توجه مناسب است. هر مرحله از توجه مکانیزم پیاده سازی شده در مدل به تفصیل شرح دادهشده است. علاوه بر این، مدل های توجه موجود طبقه بندی شده و مدل سازی بر اساس چهار معیار: تعداد نمایش، تعداد دنباله،تعداد سطح انتزاع و تعداد موقعیت ها ارائه می گردند. علاوه بر این، مکانیسم توجه و برخی از کاربردهای معمول آن در یادگیریعمیق و روندهای بالقوه آینده آن را ارائه می نماییم.

کلیدواژه ها

مکانیزم توجه، یادگیری عمیق، یادگیری ماشین، ترنسفورمر

مقالات مرتبط جدید

اطلاعات بیشتر در مورد COI

COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.

کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.