イベント / EVENT

2021年度 第2回 Q&A

第2回

AI製品の信頼性をどうやって評価する?
〜AIのすごさと製品としての難しさ〜

石川 冬樹

※回答が可能な質問のみ掲載しています。


大変勉強になりました。ありがとうございました。
そもそも、AIを活用して、決まったルール(規則)で 動くソフトウェアを開発することが間違いだと感じました。人間だって、たまには間違うし、ポカミスもします。
類似な仕組みで学習する限り、AIソフトウェアも 同じように、たまには間違えることは当たり前として ソフトを発注しないといけないのだと思いました。
要するに、人間には曖昧性を許し、ルールベースの仕組み で作れないシステムを人間と同じような仕組みでソフト 開発しておきながら、そのソフトには曖昧性を許さないと考える人が間違いだと思いましたが、 そういう議論はないのでしょうか?

 はい、AIの仕組み上保証できないことも多々ありますし、それだけ難しい問題をやらせているのだから、AIに対して厳密な評価を求めるのはおかしいという主張・議論はとてもよくあります。とはいえ不適切な挙動のリスクも考慮しなければならない立場も当然あるので、AIの特性を踏まえてバランスをどうするというか議論する必要があるのかと思います。

今回の講座、大変楽しみにしておりました。
ソフトウエアのアジャイル開発とAI製品開発の比較など、興味深かったです。
質問は、AI製品の信頼性を誰が評価するか、です。
セキュリティ分野の脆弱性診断であれば、セキュリティの専門会社が行うのが普通だろうと思います。
同様にAI製品の信頼性も、発注者と製作者とは別に、第3者的な立場で不備を検知するような事業者が将来必要とされるでしょうか。
少し具体的に考えてみますと、必要性は大きいながらも、現実的にはそれを事業にするのは難しいことも考えられます。
なぜなら、以下のような懸念点があるからです。
1.AI製品を評価するにはモデルの作成に使われていないデータを 第3者が入手する必要があり、それは困難なことが多いのではないか
2.将来的には、納品時に製作者が「説明可能性」を義務付けられ、第3者の評価は必要なくなる可能性があるのではないか
3.AI製品と一口に言っても、それが扱うドメイン毎に専門的な知識が必要であり、事業として成り立たないのではないか
AI製品の評価を誰が行うかについて、先生のお考えをお聞かせいただけましたら幸いです。

 ご指摘の通り、AIの評価を行う際には、ブラックボックスで検査してみればよいとい うより、評価データを共有してもらうか自分たちで集めることが必要ですし、 「しっかり作った」という過程でしか判断しかねる観点もあります。
一方で、第三者だからこそ、見落とされることに気づく可能性が上がるということも あります。
従来よりは「密に協働する」必要があるという前提ですが、社内の品質部門なのか、社外の協力会社なのかはさておき、第三者評価という形はありうると考えています。

AI同士で質をチェックし合うようなことはやっているのでしょうか。

 はい、「AI同士で質をチェックし合う」に近いような考え方はすでにあります。
例えば「本物らしい画像を作る」AIを作りたいとき、「本物と偽物を見分ける」AIとゲームのように競争しながら一緒に育っていくような仕組みもあります。
また、AIの品質検査のために、AI技術を用いて「問題を探し出す」ようなこともあります。厳密には「チェックし合う」というわけではないかもしれませんが、検査側のAIが不十分なことに気づきそちらも一緒に改善されていくこともあります。

shimin 2021-qa_2 page5197

注目コンテンツ / SPECIAL