昨今の機械学習システムは表面的なパターンの学習・記憶が非常に得意なため、評価内容・信頼性の担保が非常に困難です。そこで、言葉の理解を評価するうえで説明性の高いタスクデザイン・データセットの構築に取り組んでいます。
研究背景・目的
自然言語処理という、人間の言葉をコンピュータで処理する技術の研究をしています。この分野の大きな目標の一つは、人間のように文章を理解するシステムを作ることです。一時期の人工知能ブームでは人間の知能を超えるようなシステムが現れるのではないかと話題になりましたが、実際はそのような領域はまだ限定的です。システムの性能に誤解があると、社会で応用するときに大きな問題が起こるかもしれないため、研究・開発にあたっては誇張のない正確な性能を確認する必要があります。そのためには言葉の理解をどのような観点で評価し、どのように信頼性のある評価結果を得るか、ということを考えなければなりません。
研究内容
言語理解システムを対象として、正答するためにどのような理解が要求されているのかが正確に説明できるような文章読解データセットの構築をめざしています。既存の評価データでは、システムが文章を正確に理解しないでも正答できてしまうような質問が多数存在し、仮に性能がよくても人間らしい高度な理解を示しているか疑わしいような例が多数ありました。昨今の機械学習システムは人間が気づかないような表面的なパターンを学習・記憶するのが非常に得意なため、評価内容と信頼性を担保するのが非常に困難です。言葉の理解を評価するうえで説明性の高いタスクデザイン・データセットの構築に、中心的に取り組んでいます（図）。
図）読解問題の例と研究目標
産業応用の可能性
言語理解という複雑な過程について説明性・信頼性の高いタスクを設計するというアプローチは、直接的にはファクトチェッキングや質問応答システム、さらには自然言語をインタフェースとするさまざまな技術（対話システム、機械翻訳、ロボティクスなど）の評価設計で重要です。知的エージェントを評価する枠組みとしてソフトウェアの単体テストのような方法論を与えることも狙いとしており、幅広い応用技術に貢献する可能性を持ちます。また、教育分野でオンライン化・効率化が望まれる現状の社会情勢では、文章読解力を含めたさまざまな学習項目について、学習者の成績に合わせたテスト・評価指標を自動的に設計することに貢献できると考えます。
