研究 / Research

コミュニケーションの現場から、言語の常識を突破する

私たちのおしゃべり、なんでうまくいってるんだろう？──日常会話は文法的には誤りだらけでも、話し手が伝えたい情報を、相手はちゃんと受け取っています。声や身ぶりなどを含めたインタラクションを読み解いて、日本語や日本手話の構造を理解したいと考えています。

「言語学の忘れもの」に注目すると⋯⋯

私はもともと言語学が専門なのですが、言語学は伝統的に文法重視であり、研究対象もこれまでテキスト（書き言葉）が中心でした。しかし話し言葉では、イントネーションなど音声も意味を担っており、私たちはさらに視線の方向や身体の向きなどのいろんな手段（モダリティ）を使って、コミュニケーションをとっています。
このように「マルチモーダル（多手段）」な私たちの言語活動を理解するために、私は比較言語学の手法を活用して、手話と音声言語を比較するというアプローチをとります。2 つを比べて手の動き、口の動きにどんな違いがあるかなどを、1 つ1 つ見ていくわけです。ちなみに手話は人工的に作られたのではなく、ふつうの音声言語と同じ自然言語なんですよ。ただ音声言語では言語資源（コーパス）が豊富で、すでにコンピュータによる言語処理が発達しているのに対して、日常のインタクションをこまかく書き起こして、データを蓄積していく方法は未だまったく確立されていない点が、大きな課題です。
そもそも書き言葉がない手話には、文字として記録する方法がありません。たとえば手話にも方言にあたるものがたくさんあるのですが、今、データ化して遺していかなければ失われていく一方です。それに、マルチモーダルなデータによって手話も音声言語と同じ「言語」であることが示せれば、人々の手話への誤解を解き、認識を刷新する道も拓けてきます。

マルチモーダルのコーパス構築へ向けて

そこで今、いろんなところへ行ってデータを集めています。たとえば6 人グループの対話では2組または3 組に分裂したり、再び結合したりといった会話構造の変化が見られたり、次に誰が喋るかという「話者交代」にも一定のルールがあることがわかっています。また複数のモダリティがどのように統合されているのかを見るのにぴったりなのが「たこ焼きパーティ」。視覚で焦げ具合をチェックしながら、聴覚で会話するというように、2 つのアクティビティがいかに重なり合っているのかが、興味深いところです。
会話がいかに始まり、いかに終わるのかというルールも、実はまだ明確になっていない問題です。しかしながらこの課題、メディアのデザインの中に組み込まれていることがありますから、テレビ会議や人型ロボットなどの次世代メディアが登場した時こそ、まさにチャンス！ 長期的な展望に立って、いろんな機会に積極的に出向いてデータをとっています。

PDFをダウンロード

「生きたことば」をつかまえる－コミュニケーションの現場から言語の常識を突破する

リンク

• 野菜チャレンジ2019 - 坊農研究室 - 国立情報学研究所
• [NII研究紹介動画]コミュニケーションの現場から、言語の常識を突破する
• [NII SEEDS] ロボットは井戸端会議に入れるか-日常会話から人間を知る方法の提案-
• [NII SEEDS] 手話の多様な広がりを記録・分析する