NIIについて / About NII

機械学習の本質を見極め、 攻撃や不具合に備える - NII Interview

ここ数年、AI(人工知能)を欺く攻撃手法が次々と報告されている。パンダの画像にノイズを加えて見せたら、テナガザルと誤認識したり、道路標識の落書きで「一時停止」を「速度制限」と間違えたりと、AIは意外に騙されやすいようだ。

今後、AIが私たちの生活に浸透すれば、その信頼性は命にもかかわる問題になる。だが、実はAIがなぜ間違えるのかはよくわからないという。どうしたらいいのだろう。

AIの手法の一つである機械学習の品質問題を研究する中島震教授に聞いた。

「プロダクト品質」、「サービス品質」、「プラットフォーム品質」でのアプローチ

中島 震 国立情報学研究所 情報社会相関研究系 教授/総合研究大学院大学 複合科学研究科 教授
聞き手:若江 雅子 氏 (読売新聞社 編集委員)

若江 最近、機械学習への攻撃手法の研究が次々と報告されていますね。

中島 2014年にトロント大学の研究グループが「アドバーサリアル・エグザンプル」(Adversarial Examples、敵対標本)と呼ばれる攻撃手法を発表して以降、さまざまな研究が報告されるようになりました。これは、学習済みの画像認識モデルにデータを与えて推論を行わせる時に、特殊なノイズを加えることで、誤認識させる手法です。有名なのが、このトロント大学のグループが2015年に発表した事例で、パンダの画像にノイズを加えると、人間にはパンダにしか見えないのに、推論プログラムはテナガザルと判断してしまいます。2017年にワシントン大学の研究者らが発表した交通標識のケースもよく知られています。「一時停止」の交通標識に黒い落書きをすると、「速度制限」の標識だと勘違いしてしまうのです。

若江 命にかかわる問題ですね。なぜそのようなことが起きるのでしょうか。

中島 この二つの研究は、機械学習の一つである深層ニューラルネットワークの学習アルゴリズムに問題があり、ある種のデータを与えた場合に誤認識が発生するものですが、実際には、誤認識の原因をうまく説明できないことが多いのです。

pic_niitoday_81_3-1.jpg

若江 なぜ分からないのですか。

中島 ものすごく簡単に言ってしまうと、機械学習の推論、つまり判断は、使っているアルゴリズムとデータに依存します。つまり、学習アルゴリズムが正しくても、おかしなデータで学習すれば、おかしな判断をするかもしれませんし、データが正しくても、アルゴリズムが間違っていておかしな判断をすることもあります。逆に、アルゴリズムが間違っていても、正しいと思われる結果が出ることさえあります。つまり、出てきた推論の判断結果だけみても、どこに問題があるか分からないことが多いのです。

若江 困りますね。どう対応したらいいのでしょうか。

中島 機械学習ソフトウエアの品質を考える上で、私は三つの視点からのアプローチが大切だと思っています。「プロダクト品質」、「サービス品質」、そして「プラットフォーム品質」です。プロダクト品質はバグのないプログラムをつくるなどの製造物の信頼性が、サービス品質は結果が期待を満たしているかという推論結果への信頼性が、それぞれ問われるものです。でも、機械学習の場合、さらにプラットフォーム品質が重要になると思うのです。

若江 プラットフォーム品質とは聞き慣れない言葉です。

中島 例えば、1から10までの手書きローマ数字を認識する学習プログラムをつくって、いろいろな数字を学ばせるとしましょう。きちんと学べば下手な手書きの字を入れても、正しい回答を出してくれそうなものですが、ここにローマ数字ではなく、漢数字を入れたら正しい結果は出てこないでしょう。そのとき、二つの考え方ができます。一つは、漢数字の認識を考えていなかったのが悪い、だから漢数字も対象に加えて学習しなおそうという考え方。もう一つは、ローマ数字を認識するプログラムに漢数字を入れたのだから、そんなデータを入れるのが悪い、だから使い方を制限しようという考え方です。機械学習では、このように実行結果から妥当性を判断し、学習の作業や学習に使用するデータを調整していく作業を継続していくことが必要で、この過程を支援するプラットフォームがきちんと機能するかどうかがプラットフォーム品質です。AIの信頼性を向上させるには、この三つの品質のうちどれが問題となっているのかを考えながらアプローチすることが大切です。

若江 それぞれの品質の信頼性を高めることで、AIの信頼性の問題は解決するのでしょうか。

中島 残念ながら、現状はそう簡単ではありません。機械学習の場合、使われながらデータが入力され、学んでいくわけですが、どんなデータが入力されるのか予測できないことも多いからです。

若江 あらかじめ利用可能な条件を設定しておけばいいのでは?

中島 機械学習の場合、利用可能な条件をなかなか明文化しにくいという問題があります。先ほどの道路標識の誤認識は、黒い落書きを入れると起きるものでしたが、落書きばかりではなく、雨水による汚れなど、いろいろなパターンがありそうですよね。だからといって、利用の条件として「道路標識のない場所で運転して」と言われたら使えないのと同じです。じゃあ、「道路標識に黒い落書きがある道では自動運転は使わない」という条件で使用し、雨水の汚れで誤認識が発生して事故になったら、誰の責任になるのでしょう。つくった人でしょうか、使用した人でしょうか。

若江 難しいですね。どうしたらいいのでしょうか。

中島 まずは使い方を分類しましょうというのが私の提案です。入ってくるデータが予測可能かどうか、推論結果の妥当性を人間でないと判断できないのか自動的な判断が可能なのか、不具合が起きた場合の深刻さはどのくらいか、という指標で三次元的に分類するのです。そして、ある程度、不具合が発生しても影響の小さい分野から使い始める。不具合が人間の命などに深刻な影響を与えるものは、あくまで人間の意思決定支援に使用をとどめるべきでしょう。例えば、レコメンデーションシステムは、広告に使うなら間違えても大きな問題はないかもしれませんが、医療に使う場合は命にかかわります。自動運転も完全にAIに任せるのはリスクが大き過ぎます。こうした分野でどのようにAIを使うのかは、テクノロジーの観点だけでは判断できません。社会受容性の視点から考えるべきで、それには、技術分野だけでなく社会科学の分野の人と一緒に考えていく必要があると思うのです。

若江 その結果、「便利でも使うべきではない」という判断もあり得るのでしょうか。

中島 アメリカの社会学者のチャールズ・ペローは『ノーマル・アクシデント~高危険度技術とともに生きる』という本の中で、1979年のスリーマイル島原子力発電所事故について、当たり前の些細な事象が積み重なった結果、破滅的な事故が起きたものだと分析し、適切にコントロールできない高度な技術は、たとえ技術的に可能だとしても、つくってはいけないと主張しました。AIにも同じことが言えるのではないかと思っています。そして、その可否は社会全体で考えるべきことです。

若江 最後に、先生が研究している第三者評価制度について教えて下さい。

中島 AIシステムを提供する人と使う人、双方の安心のために、第三者的な評価認証の機関が必要だと思っています。攻撃に対する耐性を確認したり、利用条件を明確化したり、不具合が起きた場合の責任を認定したりすることを想定しています。航空事故の情報を世界で共有していることに倣って、AIに関する事故情報の報告・共有の仕組みが技術発展に必要だと思っています。

(写真=佐藤祐介)

インタビュアーからのひとこと

一種のブームに沸く中で、AIが攻撃に弱く、品質保証も困難であるという点は見過ごされがちだ。人間の命にもかかわるAIの品質問題が未解決のままというのは怖い気がする。それだけに、「技術的につくることができても、つくってはいけない」ものがあり、その線引きに、テクノロジーと社会の対話が不可欠だという言葉が印象的だった。

pic_niitoday_81_3-2.jpg

若江 雅子
Masako Wakae
1988年 青山学院大学卒業、読売新聞社入社。社会部を経て2014年から編集委員。

関連リンク
PDFダウンロード

第81号/2018年9月発行

オープンアクセスへの道
これからの学術情報流通システムを考える

・機械学習の「不確かさ」にどう挑むか
・一本の論文で世界は変わる 国内外と連携し、課題に挑む
・機械学習の本質を見極め、攻撃や不具合に備える
・法的視点から機械学習の品質を考察する

PDFダウンロード

page3333

注目コンテンツ / SPECIAL