現在、ビデオ投稿サイトには顔の改ざんを行ったフェイクビデオが多数存在し、社会問題となりつつあります。私たちは、「DeepFake」や「Face2Face」のようなアプリで作られた、リアルなフェイクビデオを自動識別するディープラーニング技術を開発しました。
研究背景・目的
現在、機械学習とくに深層学習の進展により、非常に自然、そしてそっくりですが、真正でないメディアを生成することが可能になりつつあります。とりわけ、ある特定の人の顔をリアルに生成することが可能となっており、CG技術への応用等が期待される一方で、フェイクニュース等への悪用も懸念されています。実際、「DeepFake」のようにリアルなフェイクビデオを容易に生成するアプリも公開され、ビデオ投稿サイトには実際に顔の改ざんを行ったフェイクビデオが多数存在し、社会問題となりつつあります。
研究内容
私たちは、動画上の顔の改ざんを自動的に行う技術で生成された巧妙なフェイクビデオを自動識別するディープラーニング技術を新たに開発しました。本技術は、「DeepFake」や「Face2Face」のようにリアルなフェイクビデオを生成する技術に焦点を当てたものです。フェイクビデオを自動識別するネットワークは主に2段階で構成され、ビデオ内の顔画像から特徴を抽出するVGGモジュールと、抽出された特徴量間の整合性を判断するCapsule Networkで構成されます（図）。
図）提案システムの構成図
本システムの識別精度は非常に高く、評価実験では、「DeepFake」で99.23%、「Face2Face」で99%（圧縮なし）、81.20%（圧縮あり）の精度を達成しました（写真）。
自動判定結果の動画は、https://nii-yamagishilab.github.io/Capsule-Forensics/で見ることが可能です。
フェイクビデオの自動判定結果
産業応用の可能性
ウイルスソフトや悪意のあるサイトを検知するソフトのように、悪意をもって改ざんが行われたフェイクビデオを自動でフィルタリングするソフトとして、本技術を活用することが期待できます。
研究者の発明
❖"Capsule-Forensics: Using Capsule Networks to Detect Forged Images and Videos"
Huy H. Nguyen, Junichi Yamagishi, Isao Echizen
International Conference on Acoustics, Speech, and Signal Processing（ICASSP） 2019
https://arxiv.org/abs/1810.11215
❖"Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos"
Huy Nguyen, Fuming Fang, Junichi Yamagishi, Isao Echizen
The Tenth IEEE International Conference on Biometrics: Theory, Applications, and Systems （BTAS） 2019
https://arxiv.org/abs/1906.06876
