研究 / Research

コンテンツ科学研究系

チョン ジーン
Cheung Gene
コンテンツ科学研究系 准教授
学位:2000年,博士(学術),University of California, Berkeley
専門分野:パターンメディア
研究内容:http://researchmap.jp/cheung/
研究室WEB Immersive Visual Communication

サイエンスライターによる研究紹介

インタラクティブで圧縮・転送にも優れたシステムを目指して

私の研究分野は信号処理。多数のビューからユーザが見たい動画を生成し、圧縮·転送する「フリービューポイントテレビ(free view point television, FTV)」などのシステムを、プロセス全体を見渡す視点から最適化し、設計·開発しています。各家庭でお馴染みのテレビも、これからきっとどんどん変わりますよ。

テレビは「インタラクティブ」へ

携帯できるデジタルツールの普及などにつれ、私たちが接するデータはどんどん動画へと切り替わっています。私が扱っているのは、動画の中でも多数のカメラで同時に撮影するマルチビューの動画です。送り手がカメラアングルを決めるのではなく、見る側がインタラクティブにセレクトしながら視聴できるテレビ──ちょうど映画の『マトリックス』のような多方向からの動画を楽しんだり、サッカーの試合ならボールの動きとは関わりなく自分が見たい選手を追いかけたり、チェロを演奏するヨーヨー·マの指先を観察したり──将来的にはそんなテレビの視聴が始まるのではないかと思います。

100 台ものカメラで視聴者が見たい動画を生成するFTV

次世代のテレビとして世界的な注目を集め、その規格化が着々と進められているものの1 つにFTV があります。現在のいわゆる3D テレビは右目用·左目用の2 台のカメラで撮影したものですが、FTV は相互にネットワークされた100 台という数のカメラを駆使し、数え切れないビューを表現できるシステムです。画像を解析してモデル化するのではなく、画像そのものを構成する点や面の相関関係を計算して動画を生成·圧縮するため、雨や霧などで映りの悪い画像にも強く、どんなシーンにも対応できます。また計算に時間がかからないため、生中継などリアルタイムで転送したい場合にもぴったりです。

コミュニケーションのための「もうひとつの現実」

ところが、FTV はデータ量がまさに膨大となるため、なるべく高画質のまま高圧縮率で、さらにさまざまなネットワークを通じてロスなく転送する必要があります。たとえば生中継やテレビ会議では、視聴者は100 ミリ秒の遅延でストレスを感じ始めます。このような場合には、動画に繰り返し現れる「冗長性」の部分を削除する一方、逆にある程度の冗長性を残してデータ損失を補完できるようなしくみを、プロセス全体を見渡す視点からデザインしていくわけです。
FTV で何を実現したいのか、たとえばコミュニケーションが目的である場合には、時にはリアルを超えた表現によって、新しい可能性も生まれてきます。TV 会議で自分の顔ではなく、リアルに表情が動くアバターの顔で登場するのもその一例。病気で寝たきりでもテニスのプレーを楽しむ感覚を味わったり、また大学における講義など教育の場にも、活用が広がり始めています。

PDFをダウンロード


取材・構成 池谷瑠絵

注目コンテンツ / SPECIAL