「点」と「線」で信号の構造を明らかにする

──「グラフ信号処理」を簡単にご説明ください。

オルテガ　グラフはノード（点）とエッジ（線または辺）で情報の構造を表現する方法です。わかりやすい例では、FacebookなどのSNS参加者をノード、参加者相互のつながりをエッジとしたグラフをイメージしてみるとよいでしょう。

　個々のノードは、性別や年収、好みの音楽、興味のある分野など、多様な属性をもっています。それらの情報はノード上の「信号」とみなせます。各ノードは、主に「友達関係」で結ばれますが、さらに、「同程度の年収」「好みの音楽」「興味分野」などが共通するノードと結ぶことも可能です。また属性の共通性や類似性の度合いにより、エッジにウエイト（重み付け）を与えることができます。SNSをマーケティングなどの目的で分析したい時には、目的に合わせてノードとエッジの構造とエッジウエイトを適切に設計することで、効率的・効果的に市場動向や顧客属性などを把握できるのです。

　気象センサーのネットワークでも同様です。地域にメッシュ状に配置された気象センサーは、隣り合うセンサー同士でネットワークを構成し、温度や湿度、降雨量などのデータを取得、計測値やセンサー間の距離などにより、各エッジに重み付けを行って、地域内の気象変化を把握します。このように、ノードとエッジからなるグラフを作成して、そこに発生する信号間の関係性を調べることでデータを効率的に分析しようというのが、グラフ信号処理の基本です。

ジーン　そして、グラフ信号処理の技法を画像処理に応用しようというのが私たちの共同研究です。従来の画像や映像の信号処理は、音声なら時間間隔で等分し、画像ならピクセルを等間隔でサンプリングし、映像なら加えて等間隔のフレームに分割して処理してきました。いわば均一に整った「レギュラー」な構造を前提にした処理です。一方、グラフ信号処理は、「イレギュラー」な構造をもった信号を対象にできる。必要に応じて適切なグラフを自由に作成し、信号間の関係性を解釈することで、従来にない効果が得られるのです。

臨場感のあるコミュニケーションに不可欠な圧縮・補間・ノイズ除去効果を改善

── 臨場感のあるコミュニケーション研究にグラフ信号処理はどう役立ちますか？

ジーン　臨場感のあるコミュニケーション研究は、例えば遠く離れた場所にいる人とテレビ会議をする場合、ディスプレイに対面している人が映像の中の人の肩越しに後ろを覗きこめば背後にあるものが見えるような、現実とほとんど差のない体験の実現を目指しています。これを発展させれば、例えばスポーツの映像観戦でも、観客席を自由に移動するようにして、自分が見たい角度から観戦できるようになるはずです。

　その実現には、多数のカメラで撮影した映像が必要で、見る人の「視線と視点」の変化を予測しながら必要な画像を即座に合成しなければなりません。データ量が膨大になるので、効率よい伝送や処理のためにデータ圧縮は不可欠ですし、データが抜け落ちた部分を自然に見えるように補う補間も大切です。また画像のノイズを排除する必要もある。グラフ信号処理は、「圧縮」「補間」「ノイズ除去」のいずれにも効果が期待できます。

　例えば、画像のカメラに近い被写体と背景を切り分けたいとき、類似度が高いノード（ピクセル）間のエッジは高いウエイトにし、大きな違いがあるノード間のエッジは低いウエイトにしてグラフを作成します。グラフフーリエ変換をすると、最低周波数の交流成分のプラス・マイナス記号により、前景と背景を効率的に切り分けることができます。

　画像圧縮にこの方法を応用すれば、1つのブロックに対して、前述した画像の構造を表すグラフを用いてフーリエ変換を定義すると、低周波数成分しかない表現が得られます。そのスパース（疎）な表現により、圧縮率を上げることができるのです。臨場感映像で映像合成に利用する奥行き画像で試したところ、30〜40％の高圧縮率を実証しました。

　また、画像の一部のデータが欠落した場合でも、周辺のピクセル間のエッジのウエイト変化に合わせて、スムーズに見えるようにデータを挿入して補間できる。ノイズ除去は、画像中の類似した部分の平均値をとってはめ込みますが、エッジウエイトを適切にとることにより、被写体をぼやかすことなく、ノイズだけを取り去ることができます。

画像・映像領域での「グラフ信号処理」の今後

──今後の抱負をお聞かせください。

オルテガ　グラフ信号処理の画像・映像への応用は研究段階ですが、特に圧縮については企業の注目度が高く、GoogleやMicrosoftも研究しており、まずは企業独自技術として3～4年後には利用が始まり、その後、標準化に向かうかもしれません。他の応用例も、いま続々と出てきている最中です。今後も新たな応用を発見していくのが楽しみですね。

ジーン　画像や映像処理にまつわる古くからの課題に対して、グラフ信号処理は新しい視点から解答をもたらしてくれるところが面白い。オルテガ教授と手を携えて研究を進めることで、臨場感のあるコミュニケーションの課題になっている圧縮や補間などすべてに応用できるようなすごくパワフルなツールとして、グラフ信号処理技術を活用できるようにしたいと思っています。

（取材・文＝土肥正弘）