Fungsi carian sedang dalam pembinaan.
Fungsi carian sedang dalam pembinaan.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Multilayer Perceptron Training Accelerator Using Systolic Array Pemecut Latihan Perceptron Berbilang Lapisan Menggunakan Tatasusunan Sistolik

Takeshi SENOO, Akira JINGUJI, Ryosuke KURAMOCHI, Hiroki NAKAHARA

  • pandangan teks lengkap

    0

  • Petikan Ini

Ringkasan:

Multilayer perceptron (MLP) ialah model rangkaian saraf asas yang digunakan dalam aplikasi industri praktikal, seperti sistem pengesanan pencerobohan rangkaian (NID). Ia juga digunakan sebagai blok binaan dalam model yang lebih baharu, seperti gMLP. Pada masa ini, terdapat permintaan untuk latihan pantas dalam NID dan kawasan lain. Walau bagaimanapun, dalam latihan dengan banyak GPU, masalah penggunaan kuasa dan masa latihan yang panjang timbul. Kebanyakan model rangkaian saraf dalam (DNN) dan MLP terkini dilatih menggunakan algoritma perambatan belakang yang menghantar kecerunan ralat dari lapisan keluaran ke lapisan input supaya dalam pengiraan berjujukan, input seterusnya tidak dapat diproses sehingga pemberat semua lapisan dikemas kini dari lapisan terakhir. Ini dikenali sebagai penguncian ke belakang. Dalam kajian ini, mekanisme kemas kini parameter berat dicadangkan dengan kelewatan masa yang boleh menampung kelewatan kemas kini berat untuk membolehkan pengiraan ke hadapan dan ke belakang serentak. Untuk tujuan ini, struktur tatasusunan sistolik satu dimensi telah direka pada kad Xilinx U50 Alveo FPGA di mana setiap lapisan MLP ditugaskan kepada elemen pemprosesan (PE). Algoritma perambatan belakang kelewatan masa melaksanakan semua lapisan secara selari dan memindahkan data antara lapisan dalam saluran paip. Berbanding dengan CPU Intel Core i9 dan GPU NVIDIA RTX 3090, ia adalah 3 kali lebih pantas daripada CPU dan 2.5 kali lebih pantas daripada GPU. Kelajuan pemprosesan setiap penggunaan kuasa adalah 11.5 kali lebih baik daripada CPU dan 21.4 kali lebih baik daripada GPU. Daripada keputusan ini, disimpulkan bahawa pemecut latihan pada FPGA boleh mencapai kelajuan tinggi dan kecekapan tenaga.

Jawatankuasa
IEICE TRANSACTIONS on Information Vol.E105-D No.12 pp.2048-2056
Tarikh penerbitan
2022/12/01
Diumumkan
2022/07/21
ISSN dalam talian
1745-1361
DOI
10.1587/transinf.2022PAP0003
Jenis Manuskrip
Special Section PAPER (Special Section on Forefront Computing)
kategori

Pengarang

Takeshi SENOO
  Tokyo Institute of Technology
Akira JINGUJI
  Tokyo Institute of Technology
Ryosuke KURAMOCHI
  Tokyo Institute of Technology
Hiroki NAKAHARA
  Tokyo Institute of Technology

Kata kunci

Contents [show]