Fungsi carian sedang dalam pembinaan.
Fungsi carian sedang dalam pembinaan.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

A Novel Multi-Knowledge Distillation Approach Pendekatan Penyulingan Pelbagai Ilmu Novel

Lianqiang LI, Kangbo SUN, Jie ZHU

  • pandangan teks lengkap

    0

  • Petikan Ini

Ringkasan:

Pendekatan penyulingan pengetahuan boleh memindahkan maklumat daripada rangkaian besar (rangkaian guru) ke rangkaian kecil (rangkaian pelajar) untuk memampatkan dan mempercepatkan rangkaian neural dalam. Kertas kerja ini mencadangkan pendekatan penyulingan pengetahuan baru yang dipanggil penyulingan pelbagai pengetahuan (MKD). MKD terdiri daripada dua peringkat. Pada peringkat pertama, ia menggunakan pengekod auto untuk mempelajari perwakilan padat dan tepat bagi peta ciri (FM) daripada rangkaian guru dan rangkaian pelajar, perwakilan ini boleh dianggap sebagai penting bagi FM, iaitu, EFM. Pada peringkat kedua, MKD menggunakan pelbagai jenis pengetahuan, iaitu, magnitud EFM sampel individu dan hubungan persamaan antara EFM beberapa sampel untuk meningkatkan keupayaan generalisasi rangkaian pelajar. Berbanding dengan pendekatan sebelumnya yang menggunakan FM atau ciri buatan tangan daripada FM, EFM yang dipelajari daripada pengekod auto boleh dipindahkan dengan lebih cekap dan boleh dipercayai. Tambahan pula, maklumat kaya yang disediakan oleh pelbagai jenis pengetahuan menjamin rangkaian pelajar untuk meniru rangkaian guru sedekat mungkin. Keputusan eksperimen juga menunjukkan bahawa MKD lebih unggul daripada yang tercanggih.

Jawatankuasa
IEICE TRANSACTIONS on Information Vol.E104-D No.1 pp.216-219
Tarikh penerbitan
2021/01/01
Diumumkan
2020/10/19
ISSN dalam talian
1745-1361
DOI
10.1587/transinf.2020EDL8080
Jenis Manuskrip
LETTER
kategori
Kecerdasan Buatan, Perlombongan Data

Pengarang

Lianqiang LI
  Shanghai Jiao Tong University (SJTU)
Kangbo SUN
  Shanghai Jiao Tong University (SJTU)
Jie ZHU
  Shanghai Jiao Tong University (SJTU)

Kata kunci

Contents [show]