研究 / Research
コンテンツ科学研究系
KODAMA Kazuya
コンテンツ科学研究系 准教授
研究紹介
視点・焦点を変えた映像を自在に作り出す
撮影してきたビデオを見て、ちょっと視点を変えたいとか、背景を少しぼかしたい、ということがあると思います。これを可能にする手法を開発するため、私は、複数台のカメラや特殊なカメラで、さまざまな光の情報を記録し、これらの情報から、被写体を撮影条件とは異なった自由な視点、焦点で見せる方法を研究しています。
画像のモデル化の難しさ
コンピューターグラフィックスの技術が最近は当たり前のように使われています。例えば、今のサッカーや野球のゲームはかなりリアルですね。こうしたゲームのように、あらかじめ作っておいたモデル(設計図)を基に、現実感のある画像を作るのは簡単です。しかし、モデルを現実の画像から自動的に作るのは容易ではありません。メガネ1つでも、縦横で数十万画素のカメラでいろいろな角度から撮る必要があります。さらに、現実の風景を撮影してその中にあるモノを認識させるとなると、とても大変です。例えば、影の部分が凸なのか凹なのかを判断するのは非常に難しく、ときには人間も錯覚するほどです。
凹凸の判断のような誤りがあると、正しいモデルは作れません。しかし、ロボットの目のように、何がどこに置いてあるかをはっきり認識させる必要がある場合は別ですが、単に見せるための映像を作るだけなら、むしろモデル化をしないほうが容易なのです。
モデルなしに新しい映像を生み出すには
私が開発している方法は、撮影された風景から特定のモノを区別して取り出すのではなく、撮影条件とは異なった視点から見た、あるいは焦点を変えた場合の見え方を再現するものです。このために必要なのは、フーリエ変換のような古典的な信号処理です。
何台かのカメラで同時に、または特殊なカメラで撮影したさまざまな光の情報に、フーリエ変換を拡張した3 次元高速フーリエ変換という処理を施せば、視点や焦点を変えた絵が作れます。
フーリエ変換というと研究しつくされているのではないかと感じるかもしれませんが、何をどのようにフーリエ変換するかといったその応用まで考えると、まだまだ新しい研究課題がたくさんあります。国際会議などで発表すると、数学好きな人に興味を持ってもらえるようで、この研究の奥の深さとやりがいを感じます。