Fungsi carian sedang dalam pembinaan.
Fungsi carian sedang dalam pembinaan.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Time Series Forecasting Based on Convolution Transformer Ramalan Siri Masa Berdasarkan Pengubah Konvolusi

Na WANG, Xianglian ZHAO

  • pandangan teks lengkap

    4

  • Petikan Ini

Ringkasan:

Untuk banyak bidang dalam kehidupan sebenar, ramalan siri masa adalah penting. Kajian terbaru menunjukkan Transformer mempunyai kelebihan tertentu apabila menangani masalah sedemikian, terutamanya apabila menangani masalah input masa jujukan panjang dan ramalan masa jujukan panjang. Untuk meningkatkan kecekapan dan kestabilan tempatan Transformer, kajian ini menggabungkan Transformer dan CNN dengan struktur yang berbeza. Walau bagaimanapun, model rangkaian ramalan siri masa sebelumnya berdasarkan Transformer tidak boleh menggunakan sepenuhnya CNN dan ia tidak digunakan dalam gabungan yang lebih baik daripada kedua-duanya. Sebagai tindak balas kepada masalah ini dalam ramalan siri masa, kami mencadangkan algoritma ramalan siri masa berdasarkan Transformer konvolusi. (1) Mekanisme perhatian ES: Menggabungkan perhatian luaran dengan mekanisme perhatian diri tradisional melalui rangkaian dua cawangan, kos pengiraan mekanisme perhatian diri dikurangkan, dan ketepatan ramalan yang lebih tinggi diperolehi. (2) Blok dipertingkatkan kekerapan: Blok Dipertingkatkan Frekuensi ditambah di hadapan modul ESAttention, yang boleh menangkap struktur penting dalam siri masa melalui pemetaan domain frekuensi. (3) Konvolusi diluaskan sebab: Modul mekanisme perhatian diri disambungkan dengan menggantikan lapisan lilitan piawai tradisional dengan lapisan lilitan diluaskan sebab, supaya ia memperoleh medan penerimaan pertumbuhan secara eksponen tanpa meningkatkan penggunaan pengiraan. (4) Gabungan ciri berbilang lapisan: Output modul mekanisme perhatian kendiri yang berbeza diekstrak, dan lapisan konvolusi digunakan untuk melaraskan saiz peta ciri untuk gabungan. Maklumat ciri yang lebih halus diperolehi pada kos pengiraan yang boleh diabaikan. Eksperimen pada set data dunia sebenar menunjukkan bahawa struktur model ramalan rangkaian siri masa yang dicadangkan dalam kertas kerja ini boleh meningkatkan prestasi ramalan masa nyata model Transformer terkini yang terkini, dan kos pengiraan dan ingatan jauh lebih rendah. Berbanding dengan algoritma sebelumnya, algoritma yang dicadangkan telah mencapai peningkatan prestasi yang lebih baik dalam kedua-dua keberkesanan dan ketepatan ramalan.

Jawatankuasa
IEICE TRANSACTIONS on Information Vol.E106-D No.5 pp.976-985
Tarikh penerbitan
2023/05/01
Diumumkan
2023/02/15
ISSN dalam talian
1745-1361
DOI
10.1587/transinf.2022EDP7136
Jenis Manuskrip
PAPER
kategori
Asas Sistem Maklumat

Pengarang

Na WANG
  Nanjing University of Aeronautics and Astronautics,Nanjing Audit University Jinshen College
Xianglian ZHAO
  Nanjing University of Aeronautics and Astronautics

Kata kunci

Contents [show]