Automatic Post-editing of Hierarchical Attention Networks for Improved Context-aware Neural Machine Translation

سال انتشار: 1402
نوع سند: مقاله ژورنالی
زبان: انگلیسی
مشاهده: 128

فایل این مقاله در 9 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

JR_JADM-11-1_008

تاریخ نمایه سازی: 20 فروردین 1402

چکیده مقاله:

Most of the existing neural machine translation (NMT) methods translate sentences without considering the context. It is shown that exploiting inter and intra-sentential context can improve the NMT models and yield to better overall translation quality. However, providing document-level data is costly, so properly exploiting contextual data from monolingual corpora would help translation quality. In this paper, we proposed a new method for context-aware neural machine translation (CA-NMT) using a combination of hierarchical attention networks (HAN) and automatic post-editing (APE) techniques to fix discourse phenomena when there is lack of context. HAN is used when we have a few document-level data, and APE can be trained on vast monolingual document-level data to improve results further. Experimental results show that combining HAN and APE can complement each other to mitigate contextual translation errors and further improve CA-NMT by achieving reasonable improvement over HAN (i.e., BLEU score of ۲۲.۹۱ on En-De news-commentary dataset).

کلیدواژه ها:

Context-Aware Neural Machine Translation ، Document-Level Neural Machine Translation ، Neural Machine Translation

نویسندگان

M. M. Jaziriyan

Human-Computer Interaction Lab., Faculty of Electrical and Computer Engineering Tarbiat Modares University, Tehran, Iran.

F. Ghaderi

Human-Computer Interaction Lab., Faculty of Electrical and Computer Engineering Tarbiat Modares University, Tehran, Iran.

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :
  • A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, ...
  • J. Devlin, M.-W. Chang, K. Lee and K. Toutanova, "BERT: ...
  • A. Radford and K. Narasimhan, "Improving Language Understanding by Generative ...
  • M. Lewis, Y. Liu, N. Goyal, M. Ghazvininejad, A. Mohamed, ...
  • L. Xue, N. Constant, A. Roberts, M. Kale, R. Al-Rfou, ...
  • Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, ...
  • J. Tiedemann and Y. Scherrer, "Neural Machine Translation with Extended ...
  • L. Wang, Z. Tu, A. Way, and Q. Liu, "Exploiting ...
  • L. Miculicich, D. Ram, N. Pappas and J. Henderson, "Document-Level ...
  • M. Freitag, I. Caswell and S. Roy, "APE at Scale ...
  • E. Voita, R. Sennrich, and I. Titov, "Context-Aware Monolingual Repair ...
  • K. Cho, B. van Merriënboer, C. Gulcehre, D. Bahdanau, F. ...
  • I. Sutskever, O. Vinyals, and Q. V. Le, "Sequence to ...
  • D. Bahdanau, K. Cho and Y. Bengio, "Neural machine translation ...
  • J. Gehring, M. Auli, D. Grangier, D. Yarats, and Y. ...
  • Z. Tu, Y. Liu, S. Shi, and T. Zhang, "Learning ...
  • R. Chatterjee, M. Weller, M. Negri, and M. Turchi, "Exploring ...
  • M. Negri, M. Turchi, R. Chatterjee, and N. Bertoldi, "ESCAPE: ...
  • S. Maruf, A. F. T. Martins, and G. Haffari, "Selective ...
  • R. Sennrich, B. Haddow, and A. Birch, "Improving Neural Machine ...
  • M. Post, "A Call for Clarity in Reporting BLEU Scores," ...
  • S. Banerjee and A. Lavie, "METEOR: An Automatic Metric for ...
  • M. Snover, B. Dorr, R. Schwartz, L. Micciulla, and R. ...
  • E. Voita, R. Sennrich, and I. Titov, "When a Good ...
  • E. Voita, P. Serdyukov, R. Sennrich, and I. Titov, "Context-Aware ...
  • S. Maruf and G. Haffari, "Document Context Neural Machine Translation ...
  • M.-T. Luong, H. Pham, and C. D. Manning, "Effective Approaches ...
  • M. Kavehzadeh, M. M. Abdollah-Pour, S. Momtazi, "A Transformer-based Approach ...
  • نمایش کامل مراجع