Fungsi carian sedang dalam pembinaan.
Fungsi carian sedang dalam pembinaan.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Layerweaver+: A QoS-Aware Layer-Wise DNN Scheduler for Multi-Tenant Neural Processing Units Layerweaver+: Penjadual DNN Bijak Lapisan QoS untuk Unit Pemprosesan Neural Berbilang Penyewa

Young H. OH, Yunho JIN, Tae Jun HAM, Jae W. LEE

  • pandangan teks lengkap

    0

  • Petikan Ini

Ringkasan:

Banyak penyedia perkhidmatan awan menggunakan pemecut perkakasan khusus, dipanggil unit pemprosesan saraf (NPU), untuk mempercepatkan rangkaian saraf dalam (DNN). Penjadual NPU bertanggungjawab untuk menjadualkan permintaan pengguna yang masuk dan dikehendaki memenuhi dua matlamat pengoptimuman yang sering bercanggah: memaksimumkan pemprosesan sistem dan memenuhi kekangan kualiti perkhidmatan (QoS) (cth, tarikh akhir) permintaan individu. Kami mencadangkan Penenun lapisan+, penjadual DNN dari segi lapisan kos rendah untuk NPU, yang menyediakan kedua-dua pemprosesan sistem yang tinggi dan pelanggaran QoS yang minimum. Untuk senario penyajian berdasarkan penanda aras inferens MLPerf standard industri, Penenun lapisan+ meningkatkan daya pemprosesan sistem dengan ketara sehingga 266.7% berbanding penjadual garis dasar yang menyajikan satu DNN pada satu masa.

Jawatankuasa
IEICE TRANSACTIONS on Information Vol.E105-D No.2 pp.427-431
Tarikh penerbitan
2022/02/01
Diumumkan
2021/11/11
ISSN dalam talian
1745-1361
DOI
10.1587/transinf.2021EDL8084
Jenis Manuskrip
LETTER
kategori
Asas Sistem Maklumat

Pengarang

Young H. OH
  Sungkyunkwan University
Yunho JIN
  Seoul National University
Tae Jun HAM
  Seoul National University
Jae W. LEE
  Seoul National University

Kata kunci

Contents [show]