Fungsi carian sedang dalam pembinaan.
Fungsi carian sedang dalam pembinaan.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Hierarchical Latent Alignment for Non-Autoregressive Generation under High Compression Ratio Penjajaran Terpendam Hierarki untuk Penjanaan Bukan Autoregresif di bawah Nisbah Mampatan Tinggi

Wang XU, Yongliang MA, Kehai CHEN, Ming ZHOU, Muyun YANG, Tiejun ZHAO

  • pandangan teks lengkap

    0

  • Petikan Ini

Ringkasan:

Penjanaan bukan autoregresif telah menarik lebih banyak perhatian kerana kelajuan penyahkodannya yang pantas. Objektif penjajaran terpendam, seperti CTC, direka bentuk untuk menangkap penjajaran monotonik antara token yang diramalkan dan token keluaran, yang telah digunakan untuk terjemahan mesin dan ringkasan ayat. Walau bagaimanapun, eksperimen awal kami mendedahkan bahawa CTC berprestasi buruk pada ringkasan abstrak dokumen, di mana nisbah mampatan tinggi antara input dan output terlibat. Untuk menangani isu ini, kami menjalankan analisis teori dan mencadangkan Penjajaran Terpendam Hierarki (HLA). Idea asas ialah proses penjajaran dua langkah: kami mula-mula menyelaraskan ayat dalam input dan output, dan seterusnya memperoleh penjajaran tahap token menggunakan CTC berdasarkan ayat sejajar. Kami menilai keberkesanan pendekatan cadangan kami pada dua set data yang digunakan secara meluas XSUM dan CNNDM. Keputusan menunjukkan bahawa kaedah yang dicadangkan kami mempamerkan kebolehskalaan yang luar biasa walaupun ketika berurusan dengan nisbah mampatan yang tinggi.

Jawatankuasa
IEICE TRANSACTIONS on Information Vol.E107-D No.3 pp.411-419
Tarikh penerbitan
2024/03/01
Diumumkan
2023/12/01
ISSN dalam talian
1745-1361
DOI
10.1587/transinf.2023EDP7111
Jenis Manuskrip
PAPER
kategori
Pemprosesan Bahasa Asli

Pengarang

Wang XU
  Harbin Institute of Technology
Yongliang MA
  Beijing Langboat Technology Co., Ltd.
Kehai CHEN
  Harbin Institute of Technology
Ming ZHOU
  Beijing Langboat Technology Co., Ltd.
Muyun YANG
  Harbin Institute of Technology
Tiejun ZHAO
  Harbin Institute of Technology

Kata kunci

Contents [show]