Software-definedからData-definedへ

佐藤　なぜ、先端技術における法の問題に関心を持ってこられたのですか？

小塚　私が最初に研究したのはフランチャイズ契約で、法律的には、民法などに規定がない、「よくわからない」契約でした。それ以来ずっと、伝統的な考え方では容易に解決できないような取引形態の法的問題に興味を持ってきました。また、以前にITS（高度道路交通システム）に関する書籍（山下友信編『高度道路交通システム（ITS）と法』有斐閣、2005）を共同執筆した際に、「情報」をテーマに執筆する機会があり、以来、自動運転やAIについて考察するようになりました。

小塚 荘一郎氏（写真左）と佐藤一郎NII副所長（写真右）

佐藤　本日は、まさにそのAIを支える技術基盤である機械学習および深層学習の品質保証に関して、法的観点からお尋ねします。というのも、これらの技術は従来のソフトウエア開発とは要件が大きく異なるためです。

　機械学習を一言で説明すると、大量のデータから学習して得られた「学習済みモデル」に入力を与えることで出力を得る仕組みと言えます。つまり、従来のソフトウエアのようにプログラムに明示的に分類基準（条件）を定めるのではなく、大量の学習用データから分類基準（学習済みモデル）を自動的に学習する。このようにSoftware-defined から Data-defined へと移行したことで、得られる結果は統計に基づいたものになります。その際の品質保証を法的にどう捉えればいいのか、頭を悩ませています。

小塚　製造物責任（PL）法では、欠陥のある製品（製造物）を製造したメーカーなどが、製造物の欠陥から発生した損害を賠償する責任を負うとしています。この法は、「製造又は加工された動産（物）」を対象としているため、ソフトウエアそれ自体は直接の適用対象ではありませんが、物に組み込まれたソフトウエアは問題となります。そして、そのソフトウエアがデータに置き換えられたとしても、考え方は同じです。

　最終的に人が使う製品に欠陥があり、「通常有すべき安全性」がないのであれば、製造者に責任が生じます。したがって、AIが組み込まれたツールの「通常有すべき安全性」とは何かについて、まず議論する必要があるでしょう。

佐藤　機械学習が統計モデルに依拠している限り、原理的に安全性を100%担保することはできません。また、学習データは過去のものなので、過去に一度も起こったことのない未来の状況には適応できません。

小塚　もっとも、すでに世の中にある製造物でも、100%安全性を備えているとは限りません。そのため、例えばロケットであれば、打ち上げの際の不測の事態に備えて、複数のラインで中止できるような冗長性を持たせています。つまり、人に危害を加えないようなセーフティガードがあればいい。ハサミも、使い方によっては凶器になりますが、世の中から放逐しないのと同じです。むしろ、ユーザーに対して注意喚起しながらうまく使っていくほうが、社会にとって望ましいのではないでしょうか。

佐藤　心強いお言葉をいただきました。

ユーザーのリテラシー向上が不可欠

佐藤　もう一つ懸念しているのは、AIは例外的な状況にほとんど対応できない点です。学習データから外れた入力があった場合、一気に信頼性が落ちてしまう。そもそも、ユーザーはどういう学習データが与えられたのかを知りません。

小塚　まず、想定外の結果が出てしまったときに、ユーザーが容易にリアクションをとれるものなのかどうか。それが難しいのであれば、やはりなんらかの策を講じなければなりません。例えば、ユーザーをアシストするようなプロフェッショナル・ユーザーのような人が必要かもしれませんね。現状のままでは、技術の進歩にユーザーが追いついていけないのではないかという懸念があります。

佐藤　今は、BtoBが中心ですが、今後、一般消費者がAIを使うようになると、さまざまな問題が生じてくるように思います。

小塚　企業といえども、どれだけのリテラシーを有しているのでしょうか。例えば、スルガ銀行が勘定系システムの開発をめぐりIBMを訴えた裁判を見ても、双方に相当な認識のギャップがあったと感じます。ユーザーのAIリテラシーを高めるための取り組みが不可欠だと思います。

価値の源泉としてのデータをどう扱うか

佐藤　もう一つ、AIでは、システムが稼働した後に、ユーザーやクライアントが新たに学習データを追加していくことがあります。当然、開発者側は追加データについて関知できません。場合によっては、攻撃データを追加することで、誤作動を起こさせることも可能です。しかも、機械学習の学習済みモデルは統計的な数値の塊なので、人が外から読んでも意味を理解できない。かといって、新たにデータを追加させないのではAIの良さが発揮できないし、なんらかの約束事が必要だと思っています。

小塚　ただその場合は、どういう範囲のデータなら追加してもいいのかという条件を書き出す必要がありますが、それが技術的に可能なのかどうか。

佐藤　難しいですね。例えば自動運転向けのAIの場合、昼用のシステムなら、夜のデータは入れないでといった大雑把な制限しかできないでしょう。また、田舎道で学習した自動運転車は田舎道ではよくても、都会の道を走った場合は事故を起こしかねないという問題もあります。

小塚　そうなると、ますます開発者やユーザーの注意義務が重要になります。

佐藤　一方で、適切な学習データを蓄積したシステムほど価値が上がるということも考えられます。すなわち、中古品のほうが高く売れるわけです。また、学習済みモデルが流通した場合の知財も問題となります。

小塚　それは法律家としては考えさせられる課題です。リスクコントロールを、オリジナルの学習済みモデルを開発したメーカーではなく、中間の中古販売業者に委ねていいものかどうか。中古品の流通業者は、一般的にメーカーよりも規模、資力ともに小さいですから。もしかすると、骨董品販売の鑑定書に似た仕組みが必要かもしれません。ところで、学習済みモデル自体を流通させることは難しいのでしょうか。

佐藤　学習済みモデルの法的責任関係や権利関係が整理できないという問題があります。

小塚　利害関係者を集めて標準的な処理を決めるのも一つの手だと思います。ただ、そのようにしてしまうと競争がなくなりますから、そこで決めた標準が業界の慣行になるのがいいのかどうか悩ましいですね。いずれにしろ、リスクを放置したまま製品化すれば、注意義務を欠いたことになり、法的に追及されます。議論は不可欠です。 　

　一方で、ドイツやアメリカでは、何かあれば損害賠償を負うことを前提に、新しい技術を普及させてきた歴史があります。日本では、誰もリスクをとりたがらないために、不幸にして事故が起きると、事故の当事者が必要以上に社会的に責められる傾向にあります。無過失責任という考え方も、技術の普及にあたって検討してもいいかもしれません。

佐藤　本日はたいへん貴重なご意見をありがとうございました。

（取材・文＝田井中麻都佳　写真＝佐藤祐介）

関連リンク

• 佐藤 一郎 - 情報社会相関研究系 - 研究者紹介