機械学習ソフトウェアの品質向上

研究背景・目的

ソフトウェア技術が社会基盤システムに浸透するとともに、不具合の影響が社会的な問題になってきました。今、「Society5.0」の実現技術として、サイバーフィジカルシステム（CPS）の研究が進められています。実世界の現れとしてのデータを活用することで超スマート社会を実現するものです。ここで必要となる技術、つまり膨大な量のデータから有用な情報を取り出す技術は、従来から機械学習として研究が進められてきました。その面白さは未知の結果を得ることですが、これは正解値が不明ということでもあります。正解が未知なので、不具合があるかないかを調べる検査が困難です。本研究は、機械学習ソフトウェア・システムのディペンダビリティを向上させる技術の確立を目的としています。

研究内容

ハードウェアや装置の主な不具合の原因は、物理的な劣化などの偶発的な故障とされます。ソフトウェアは物理的な実体がありません。開発過程で混入した欠陥に起因する決定論的な故障が原因です。機械学習はソフトウェア技術で実現されるので決定論的な故障に左右され、また、学習結果は膨大な量のデータからなるデータセットに依存します。データは実世界の現れであって、その変化を予測できません。入力データセットの偶発的な故障に影響されるともいえます。本研究では、適切な偏りを導入して効果的な検査を可能にする「データセット多様性」という考え方で、機械学習ソフトウェア・システムのディペンダビリティを調べる方法を研究しています（図）。

図）データセット多様性：手書き数字認識の適用例

産業応用の可能性

ソフトウェア・システムが安心して利用可能なことを保証する方法に、システム開発者から独立した第三者機関の評価制度があります。セキュリティ分野では、評価・認証の規格ISO/IEC 15408（JIS X 5070）が決められました。攻撃に対するシステムの耐性を確認し、安心して使えることを保証します。近い将来、機械学習利用ソフトウェア・システムに対して、同様な評価制度が規格化されるでしょう。評価作業では、データセットを工夫し、対象システムのディペンダビリティを調べます。本研究の成果は、機械学習ソフトウェアの開発者自身が行うディペンダビリティ向上の作業で利用できますし、また、第三者機関が行う評価手法の基礎技術としても利用可能です。