ニュース / News

NII情報

「大阪大学 マルチモーダル対話コーパス(Hazumi)」を更新

国立情報学研究所 情報学研究データリポジトリ(IDR)では,2020年8月に提供を開始しました「大阪大学 マルチモーダル対話コーパス(Hazumi)」につきまして,追加収録データの提供を開始しました。

本コーパスは,大阪大学産業科学研究所の駒谷教授を中心として構築された,対話エージェントと人との対話の様子を収めたもので,Wizard-of-Oz方式により別室から操作する対話エージェントと実験参加者との雑談の様子を,1名あたり15分程度,ビデオと Microsoft Kinect を用いて収録しています。

今回,これまでの2017年12月,2019年2月収録開始分に加え,新たに2019年11月収録開始分のデータが追加されました。

  • Hazumi1712(2017年12月収録データ)  

    事前に興味の有無を尋ねたいくつかの話題の中から,興味あり3話題,興味なし3話題(話題の例:スポーツ,ドラマ,芸能人,ゲーム,電車など)を取り上げて対話したもので,実験参加者は20代~50代の男女29名です。

  • Hazumi1902(2019年2月収録データ)  

    実験参加者が対話を楽しんでいる時間が長くなるように話題を調整しながら対話を行ったもので,実験参加者は20代~70代の男女30名です。

  • Hazumi1911(2019年11月収録開始データ)※今回追加  

    対話の進め方はHazumi1902と同様で,実験参加者は20代~70代の男女30名です。Hazumi1911ではリストバンド型生体センサにより生体信号データ(皮膚電位や心拍など)も収録しています。

IDRからは,ビデオで収録した映像データと,Microsoft Kinect で取得した音声データ,深度画像データ,姿勢データを提供します。データサイズは計約180GBです。(データは今後も追加される予定です)

また,この対話データに対して,交換(システム-ユーザ発話対)ごとに付与した様々なアノテーションを含むELAN用ファイル(eafファイル)や,生体信号データ,機械学習用csvファイル,事前と事後に実施したアンケートの結果等が提供者のgithubサイトより公開されています。

データの内容や利用条件,申請方法等の詳細については以下をご覧ください。

情報学研究データリポジトリ マルチモーダル対話コーパス(Hazumi)


IDRでは,「研究者等提供データセット受入要項」に基づき,大学等の研究者が作成したデータセットの受入を行っています。本データセットはこの受入要項に基づき受入・提供を行うものです。データセット受入の詳細に関しては下記をご覧ください。

大学等研究者提供データセット受入

また、その他提供中のデータセットについては次のウェブサイトをご覧ください。

国立情報学研究所 情報学研究データリポジトリ

4717

注目コンテンツ / SPECIAL