پیش بینی سری های زمانی به کمک مدل های ترانسفورمر

مقاله حاضر به بررسی کاربرد مدل های ترانسفورمر در پیش بینی سری های زمانی می پردازد و نشان می دهد که این مدل ها به دلیل مکانیزم خود توجه و توانایی ثبت وابستگی های بلندمدت برتری قابل توجهی نسبت به مدل های سنتی دارند. در حالی که ترانسفورمرها در ابتدا برای پردازش زبان طبیعی طراحی شده بودند امروزه برای مدیریت چالش های رایج در داده های سری های زمانی از جمله غیرایستایی، نوسانات و نویز بهینه سازی شده اند. ساختار رمزگذار-رمزگشا و مکانیزم خود توجه چندسری این مدل ها امکان ثبت همزمان وابستگی های کوتاه مدت و بلندمدت را فراهم کرده و از انباشت خطا در پیش بینی های بلندمدت جلوگیری می کند. علاوه بر این ترکیب تکنیک هایی نظیر هموارسازی نمایی، مقداردهی اولیه پایدار و تجزیه داده ها به روند و فصل، دقت پیش بینی این مدل ها را بهبود داده است. بررسی های انجام شده در مقاله نشان می دهد که ترانسفورمرها در حوزه هایی همچون پیش بینی قیمت GPU، تقاضای گردشگری، بازارهای مالی، بار الکتریکی و داده های آب و هوایی عملکرد بهتری نسبت به مدل های سنتی مانند RNN و CNN داشته اند، چراکه قابلیت پردازش موازی و استخراج وابستگی های بلندمدت را دارا هستند. در نهایت مقاله به این نتیجه می رسد که تحقیقات آتی می توانند بر بررسی معماری های ترکیبی، ترکیب مکانیزم خود توجه با سایر مدل های یادگیری عمیق و بهبود تفسیرپذیری و مقیاس پذیری این مدل ها متمرکز شوند.

کلیدواژه ها:

سری زمانی ، پیش بینی ، ترانسفورمر ، یادگیری ماشینی