Fungsi carian sedang dalam pembinaan.
Fungsi carian sedang dalam pembinaan.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Construction of Spontaneous Emotion Corpus from Indonesian TV Talk Shows and Its Application on Multimodal Emotion Recognition Pembinaan Korpus Emosi Spontan daripada Rancangan Bual Bicara TV Indonesia dan Aplikasinya dalam Pengecaman Emosi Pelbagai Modal

Nurul LUBIS, Dessi LESTARI, Sakriani SAKTI, Ayu PURWARIANTI, Satoshi NAKAMURA

  • pandangan teks lengkap

    0

  • Petikan Ini

Ringkasan:

Apabila interaksi antara manusia dan komputer terus berkembang kepada bentuk yang paling semula jadi, ia menjadi semakin mendesak untuk memasukkan emosi dalam persamaan. Kertas kerja ini menerangkan satu langkah ke arah memperluaskan penyelidikan mengenai pengecaman emosi kepada bahasa Indonesia. Bidang ini terus berkembang, namun penerokaan subjek dalam bahasa Indonesia masih kurang. Secara khususnya, kertas kerja ini mengetengahkan dua sumbangan: (1) pembinaan pangkalan data audio-visual emosi pertama dalam bahasa Indonesia, dan (2) pengecam emosi multimodal pertama dalam bahasa Indonesia, dibina daripada korpus yang disebutkan di atas. Dalam membina korpus, kami menyasarkan kepada emosi semula jadi yang sepadan dengan kejadian kehidupan sebenar. Walau bagaimanapun, pengumpulan korpora emosi adalah intensif buruh dan mahal. Untuk mengurangkan kos, kami mengumpul data emosi daripada rakaman program televisyen, menghapuskan keperluan penyediaan rakaman yang rumit dan peserta yang berpengalaman. Khususnya, kami memilih rancangan bual bicara televisyen kerana kandungan perbualannya yang semula jadi, menghasilkan kejadian emosi yang spontan. Untuk merangkumi pelbagai emosi, kami mengumpulkan tiga episod dalam genre yang berbeza: politik, kemanusiaan dan hiburan. Dalam kertas ini, kami melaporkan titik analisis data dan anotasi. Pemerolehan korpus emosi berfungsi sebagai asas dalam penyelidikan lanjut tentang emosi. Selepas itu, dalam percubaan, kami menggunakan algoritma mesin vektor sokongan (SVM) untuk memodelkan emosi dalam data yang dikumpul. Kami melakukan pengecaman emosi multimodal menggunakan ramalan tiga modaliti: akustik, semantik dan visual. Jika dibandingkan dengan keputusan unimodal, dalam kombinasi ciri multimodal, kami mencapai ketepatan yang sama untuk rangsangan pada 92.6%, dan peningkatan yang ketara untuk tugas pengelasan valens pada 93.8%. Kami berharap dapat meneruskan kerja ini dan bergerak ke arah kuantifikasi emosi yang lebih halus dan lebih tepat.

Jawatankuasa
IEICE TRANSACTIONS on Information Vol.E101-D No.8 pp.2092-2100
Tarikh penerbitan
2018/08/01
Diumumkan
2018/05/10
ISSN dalam talian
1745-1361
DOI
10.1587/transinf.2017EDP7362
Jenis Manuskrip
PAPER
kategori
Pertuturan dan Pendengaran

Pengarang

Nurul LUBIS
  Nara Institute of Science and Technology
Dessi LESTARI
  Institut Teknologi Bandung
Sakriani SAKTI
  Nara Institute of Science and Technology,RIKEN, Center for Advanced Intelligence Project AIP
Ayu PURWARIANTI
  Institut Teknologi Bandung
Satoshi NAKAMURA
  Nara Institute of Science and Technology,RIKEN, Center for Advanced Intelligence Project AIP

Kata kunci

Contents [show]