9-c. マルチモーダル音声認識評価環境 (CENSREC-1-AV)
2026/03/16 更新
概要
データDOI
https://doi.org/10.32130/src.CENSREC-1-AV
提供機関, プロジェクト
(社)情報処理学会 音声言語情報処理研究会 雑音下音声認識評価ワーキンググループ
コーパスの内容
音声と口唇動画像を用いたバイモーダル音声認識用データ
- 発話内容はCENSREC-1に準拠（連続数字1～7桁の読み上げ）
- 音声とともにカラー映像と近赤外線映像を収録し，ムービーを時系列画像に分解して口唇付近のみ切り出した画像データを含む
- 学習データ
- オフィス環境で収録したクリーン音声・画像データ
- テストデータ
- 学習データと同じ環境の音声・画像データ
- 同梱スクリプトにより生成される音声・画像データ
- 音声 :
- 乗用車走行雑音を重畳（雑音2種類，SNR6種類）
- 画像 :
- 走行中の乗用車内を明度値のガンマ補正によりシミュレート
上記音声・画像データを対象とした音声認識実験を評価するための評価ツール
話者数, 発声回数
- 学習データ :
- 42名（男性22名，女性20名），計3,234発話
- テストデータ :
- 51名（男性25名，女性26名），計1,963発話
音声・画像ファイルフォーマット
- 音声 :
- WAV形式（16kHz・16bit・Mono）
- 画像 :
- Windows BMP形式（横81ピクセル×縦55ピクセル，口唇付近のみ）
カラー画像-24bitRGB／近赤外線画像-8bitグレースケール
利用範囲
研究・開発目的に限る
配布価格
無償
サンプル音声・画像
音声 : CENSREC-1と同様の連続数字1～7桁の読み上げ音声データ
画像 : 音声とともに収録した口唇画像データ
画像データの一例（上:カラー画像，下:近赤外線画像）
更新情報
- 提供を開始しました。（2011/06/29）
- オンラインでの配布を開始しました。（2019/03/18）
お申し込み
本コーパスの申込み方法は次の通りです。ご利用に際しては，利用誓約書の内容に同意いただく必要がございます。また提供の条件等について，こちら（全コーパス共通）を事前に必ずご確認ください。
- フォームに機関名，責任者，使用目的等の必要事項を入力してください。（※全項目必須入力）
注： ご入力いただいた情報は本コーパスに関する連絡や利用報告の依頼の他，利用統計や事務局からの各種ご案内のために利用します。- 以下の「音声コーパスの利用に関する誓約書」および「IDRデータセット提供サービス規約」の内容をご確認の上，「仮申請」ボタンをクリックしてください。
- 入力内容およびご本人確認のため，「責任者メールアドレス」宛てに確認メールをお送りいたしますので，メールの案内に従い申請確定の処理をお願いします。
- 申請内容についてIDR事務局にて審査させていただきます（数日かかることがありますがご了承ください）。入力内容の修正を求めることや，ご希望に添えないことがあることをご承知おきください。
- 審査が完了しましたら，「責任者メールアドレス」宛てにコーパスへのアクセス情報をご連絡いたします。
音声コーパスの利用に関する誓約書
大学共同利用機関法人 情報・システム研究機構 殿
私は、大学共同利用機関法人 情報・システム研究機構（以下「甲」という。）の研究機関である国立情報学研究所より、このたび提供を受けた次に示す音声コーパス（以下「本コーパス」という。）の利用に際し、下記の事項を遵守することを誓約いたします。
音声コーパスの名称 :
(社)情報処理学会 音声言語情報処理研究会 雑音下音声認識評価ワーキンググループ
マルチモーダル音声認識評価環境 (CENSREC-1-AV)音声コーパスの内容 :
- 複数の話者により読み上げられた連続数字の音声データを、(社)情報処理学会 音声言語情報処理研究会 雑音下音声認識評価ワーキンググループ（以下「WG」という。）が映像とともに収録・加工したデータおよびそのテキスト情報からなるデータ群
- 上記音声データを対象とした音声認識実験を評価するためにWGによって準備された評価ツール群
- 上記データ群および評価ツール群について述べたドキュメント類
代表著作権者 : 北岡 教英
記
- 本コーパスの利用者の範囲は、利用者欄に記載した者、または利用者の所属する課または研究室に限定します。
- 本コーパスは、研究・開発目的にのみ利用します。
- 本コーパスのデータを製品に組込む場合には、事前に甲および代表著作権者の了解をとります。
- 本コーパス及びその複製物、または改変物を第三者に提供しません。
- 本コーパスを利用して得られた研究成果（報告書、出版物、派生ソフトウェア等）を公表する場合には、音声資料として上記「音声コーパスの名称」を明記し、甲の要請に応じてその写しを提供します。
- 前項の研究成果の公表を含む全ての開示に、発声者個人を識別できる情報を含むことはしません。
- 本コーパスが、第三者の知的財産権その他の財産権を侵害しないものであることを保証するものではなく、また本コーパスの利用によって生じた損害等についても、利用者において一切解決し、甲および本コーパスの著作権者に対して責任を問わないことを承諾します。
- 利用者の所属する課または研究室に変更が生じた場合は、遅滞なくこれを甲に報告し、甲の要請があれば改めて誓約書を提出します。
- 本コーパスを利用した研究活動に関する報告書を甲の要請に応じて提出します。
- 甲または代表著作権者から本コーパスの利用中止の要請を受けた場合、利用者自ら利用を中止した場合または利用者において本誓約書に違反する行為があった場合、本コーパスの利用は終了し、利用者は、本コーパスのデータを消去し、甲に対し消去した旨を通知します。
- 本誓約書の内容について変更が生じた場合、変更を含めた当該誓約書の遵守に努めます。
- 本誓約書に記載のない事項が生じた場合は、甲と誠意をもって協議し、問題の解決に努めます。
※「IDRデータセット提供サービス規約」も必ず事前にご確認ください。
* 全項目必須入力