（敬称略）

──生成AIは既に私たちの日常に入り込んできています。市民生活にどのような利益をもたらしていると思いますか

　当初は単純作業的な仕事をAIに取られるのではないかといわれていました。でも、実際はかなり創造的な作業にも貢献していますね。対話が可能で、プロンプトと呼ばれる指示文から映像や音声を作ることができる。デザインやコード（コンピューターのプログラム）の作成、スマートフォンにもかなりの部分で使われています。人間をサポートするような存在になっているのが現状かなと思います。

──人間社会にとってポジティブな技術の進歩であるととらえていますか。

　なかなか言いにくいところがあります。例えば今、ソーシャルメディアに出回るいろいろな言説が正しいかどうか、多くの人がAIに聞いて「ファクトチェック」するような状況になっています。XのGrokなどが典型です。問題は、AIの性質が理解されているのかどうかということです。生成AIは使う人の考え方によっては良いものにも悪いものにもなると思います。ナイフは料理には欠かせないけれど、間違った使い方をすれば人を傷つけることもできるのと同じです。

──リスクも大きいですね。個人に直接的な被害をもたらす場合と社会に悪影響を及ぼす場合の二つに分けて考えてみたいと思います。まず直接的なリスクとしてはどのようなものがありますか。

　私が最も深刻だと思っているのは性的なディープフェイクです。実在するこどもや女性などの画像を加工した画像や動画です。元々ディープフェイクはポルノ映像の顔の部分を有名人に置き換えるところから始まっていて、残念ながら需要が非常に大きい現状があります。例えばあるツールに私の上半身の写真と、「この人物が手に持った缶ビールを開けて飲み干す」というプロンプトを与えると、私がビールを飲む動画が生成されます。非常に自然な映像です。それがたった1枚の写真からできてしまう。商用ツールは公序良俗に反する映像は生成しない設計になっていますが、オープンソースのAIモデルはそうでないものもあるのです。

面白半分から深刻な事態へ
こどもへのリテラシーも重要

　日本国内にも相当広がっているところに危機感を覚えています。目立ち始めたのはここ数カ月でしょうか。特に問題なのは、中高生が対象になってしまっていることです。よくあるのが卒業アルバムの写真が使われるケースです。勝手に作られた画像や映像がソーシャルメディアで拡散される。しかもアルバムには氏名が載っている。見た人はフェイクだと分かったとしても、本人の精神的なダメージは計り知れません。

　そうした加工は誰もがアプリ化されたAIモデルで簡単にできてしまう。子どもでも扱うことができます。面白半分でやったことが取り返しのつかない結果をもたらしかねません。「やってはいけないこと」を学校などできちんと教える必要もあると思います。

　芸能人の合成された性的画像がフリーマーケットサイトで売られているケースもあります。買う方もAIで作ったものであることを分かったうえで消費しています。もちろん肖像権の侵害です。

　犯罪に使われることもあります。例えば、特殊詐欺の犯人が被害者とのやりとりの際、顔を合成してビデオ通話に出てくるようなケースです。犯罪者が身元を隠すために使っているわけです。フェイク音声で企業の幹部になりすまして現金をだまし取った詐欺もありました。

　さまざまな画像を「ジブリ風」のアニメに変換する生成AIの機能が話題になりましたが、そのようにして作成した画像をソーシャルメディアに投稿する行為が著作権侵害につながる可能性もあります。

──社会的なリスクとしてはどのようなことが考えられますか。

　前述したように、ソーシャルメディア上の言説にAIチャットボット（テキストや音声による問い合わせにAIが応答するプログラム）で「ファクトチェック」をかけると、最近は参照したリンクまで拾ってコメントしてくれます。リアルタイム性が高い機能です。ほとんどのユーザーが、そうやって情報が事実かどうかを確認するようになっています。しかし、この仕組みを国家などの組織が利用するとどうなるでしょうか。つまり、AIに拾ってもらえるような情報源を意図的に作って、自分たちに都合のいい言説を広めることができるわけです。ソーシャルメディアに偽のアカウントをたくさん作って流布したい情報を人気のある投稿のように見せかけて発信する。すると人間のユーザーが反応し、やがてインフルエンサーが反応し、そのことをニュース記事が取り上げる。そうした情報を拾ったAIのコメントを人々が判断基準にする。そうすると、誤った情報でも事実として受け止められ、選挙などの際の重要な意思決定がゆがめられてしまうことになります。生成AIの進展で言語の壁もあまり感じず、いまや拡散は世界規模です。私が最も危惧している社会的なリスクはその点です。

　学術論文も問題が深刻化しています。自律的に動く「AIエージェント」には提案から実験、論文執筆まで全部こなせるようなものが出てきています。そうして書かれた論文が査読を通過したケースもありました。査読自体をAIに代行させるとか、学位審査に使うとかいう動きもあります。AIに論文を高く評価させるために、人間には読めない秘密の命令文を仕込む「プロンプトインジェクション」が既に行われているという報道もありました。AIにいい判定をさせるような論文を書くという流れになっています。そもそも専門家とは、知識とは何なのかというところまで問われる状況になっています。

──多くのリスクをはらんだ情報環境の中でジャーナリズムの役割をどう考えますか。

　ソーシャルメディアでは無から有が生み出されるようなことが行われています。内容がリアルであろうがフェイクであろうが、視聴回数が伸びたりコメントがたくさんついたりすればいいという「アテンションエコノミー」の強い影響下にあります。その中で既存メディアが報じているニュースの価値が認められなくなっている感じがします。ソーシャルメディア上の言説と同じように「本当かどうか分からないよね」と見なされている。しかし、プロの記者は必ず1次情報に当たって事実確認をしてから発信します。当事者や情報源に取材し、裏付けを取るジャーナリズムは今後、ますます重要になってくると思います。ファクトチェック団体によるファクトチェックも貴重な取り組みだと思います。

──大量にフェイクを生み出す生成AIに人間が対抗するのは限界があります。それを技術的に解決するための研究をなさってきましたね。

　我々は生成AI作成のディープフェイクをAIで検出するモデルを2018年に世界で最初に作りました。元々顔画像や指紋など生体情報の流出を防ぐ研究をしており、いずれ蓄積された生体情報をもとにAIが生体情報を作り出すだろうと考えていました。

　顔のフェイク画像や映像には5つのタイプがあります。①生成 AIにプロンプトで指示して実在しない顔を最初から生成する②ターゲットとする実在の人物の髪や肌の色などを改変する③実際の人物映像の表情を操作する④実際の映像と違う音声やテキストを合成する⑤実際の人物の顔部分を入れ替える――です。

　2021年頃から、国内でも生成AIによるディープフェイクの問題が顕在化してきました。そこで我々は、これまでの研究成果で得た知見を活かし、生成AIによる顔のフェイク映像を自動検出するプログラム「シンセティックビジョン」を開発しました。「シンセティックビジョン」のライセンスは、既に複数の民間企業に提供しています。エンターテインメント業界、報道機関、プラットフォーマー、金融機関、法執行機関などさまざまな業界で応用が可能だと思います。

　画像をAIに利用されないよう、オリジナルの顔画像にあらかじめデータを埋め込んでおく「サイバーワクチン」も研究開発しています。ディープフェイクによって顔画像が加工されても、顔の周辺に埋め込まれたデータによって元の顔画像を復元することが可能です。これ以外にもAIによる解析や加工を直接的に防止する「サイバーワクチン」も研究開発しています。最近は白黒の写真や漫画を無断でAIによってカラー化する行為も横行していますが、これもサイバーワクチンを応用して防ぐことができます。

　前述した学術論文の問題についても、AIが書いた論文か人間が書いた論文かを自動的に分類できるAIモデルを試作しているところです。

「信頼できる情報源」が必須であり課題

──多くの報道機関がファクトチェックに力を入れるようになりました。しかし、真偽不明の情報が多すぎて追いつかないのも事実です。自動ファクトチェックのシステムも研究されていますが、実用化されればかなり有力なツールになる気がします。

　そのためには信頼できる情報源が必要です。では、信頼できる情報を誰がどのように認定し、メンテナンスするのか。そこが本質的な課題といえます。「信頼できる情報源リスト」に入れてもらうことを狙って、前述したようにソーシャルメディア上の工作をする勢力もいるので。

──そのほかにどのような課題がありますか。

　多様なフェイクの手法が出現していて、偽物か否かという単純な判定では済まなくなっています。例えば、顔映像の口元と音声の一部だけを改ざんするようなケースがよくあります。顔映像と音声それぞれに対して個々のモデルで判定する場合、改ざん領域が微小となるため、判定は困難です。画像は本物だけれども、それに違う意味づけをするようなケースもあります。例えば「自衛隊機に対して、中国軍機が異常接近した」という説明付きの動画が出回ったことがありますが、写真をよく見ると、無関係な航空祭の動画です。

　そのように顔映像＆音声、画像およびテキストといった情報が組み合わされた「マルチモーダル」なフェイクへの対応が必要になります。新しい形態が次々に出てくるので、対抗するAIも常にメンテナンスをしないといけません。

　日本ではフェイク情報への技術的対策の研究開発が不十分です。国産の大規模なデータセット、AIのモデルなどを整備しなければなりません。そして、共同研究や実証実験などを通じて研究者や技術者を育成し、国内の技術力を底上げする必要があると思います。

聞き手からのひとこと

性的なディープフェイクによる被害が相次いで報じられている。それを防ぐ有効な手立てはまだ見つからない。技術の進歩が私たちの生活を豊かにし、新たなコミュニケーションの可能性を開いたのは確かだが、あまりにも簡単に人を傷つけることができるようにもなった。そのことへの越前さんの危機感がひしひしと伝わってきた。ジャーナリズムの役割の重さを再認識させられる時間でもあった。（日下部 聡）

写真：杉崎恭一

---

アニメの改ざんを見抜く！

AIが生成した不正なアニメ画像の流通が問題となっている。そこで、生成AIによるアニメであるかどうかを判定する「AniXplore」モデルと、そのための200万枚超の大規模アニメ画像データセット「AnimeDL-2M」が開発＆公開された。AniXploreモデルでは、作品自体が人間の作画であるか、生成AIによる創作かを判別するだけでなく、改変箇所の特定（ローカライゼーション）も可能となっている（下図参照）。これらは越前研究室に所属する東京大学の大学院生による成果で、アニメ画像の不当な改変、権利侵害阻止への貢献に期待が寄せられている。

Chenyang Zhu, Xing Zhang, Yuyang Sun, Ching-Chun Chang, Isao Echizen"AnimeDL-2M: Million-Scale AI-Generated Anime Image Detection andLocalization in Diff usion Era," ACM Multimedia Workshop (DFF-2025), 2025.

（レポート：岸本）

記事へのご意見等はこちらへ

関連リンク

• 越前 功 - 情報社会相関研究系 - 研究者紹介