劇場の柱を透明化すれば、全席がS席の臨場感

──現在進められている映像と情報学の研究では、どのようなことを目指しているのでしょうか。

複数台のカメラや特殊なカメラを使ってさまざまな光の情報を記録し、それらの情報から、被写体を撮影条件とは異なった自由な視点や焦点で見せる方法を研究しています。この技術を使うと、壁や柱などで物理的に遮られている場所でも、障害物がまるで透明化したかのように、その後ろにある光景が見えるようになります。

──その研究によって、具体的にどのようなことができるようになりますか。

例えば、古い劇場やホール、ライブハウスなどは、建築物を補強するために客席にも柱があり、それによって舞台が見えにくい席が存在します。そういった席でも鑑賞料金が他と同じ金額に設定されていると、たまたまそのような席にあたって、ステージを鑑賞しなければならなくなった人は、不公平感が生じることもあると思います。

そういう劇場では、柱にディスプレイを設置し、舞台全体の映像を投影しているケースもあります が、それではせっかく現場へ見に行っているのに、臨場感が失われてしまいます。もし、柱の向こう側の光景をリアルタイムで立体的に見られれば、そのような席に座った人でも、劇場での臨場感を得られるのではないでしょうか。

私が進める研究では、多視点・多焦点の撮影技術と表示技術を組み合わせ、柱の向こう側を仮想的に透けて見るようにします。

ちなみに市販のポータブルゲーム機で、立体画像が見られるものがありますが、それは左眼右眼の2方向で固定された視点からしか立体的に見ることができません。しかし、私が研究している技術では、100人くらいの観客が自由に動き回りながら、誰もが縦横どの方向からでも3次元で舞台を鑑賞できることを目指しています。

──これまでそのような技術は存在しなかったのでしょうか。

例えば「カメラアレイ」という技術がありますが、実用化にはいくつかの課題があります。カメラアレイでは、映像撮影用のカメラを格子状に配列した装置を使い、被写体をさまざまな異なる角度（視点）から同時に撮影して、視差の付いた複数の映像を取得します。その映像をコンピュータに伝送して解析すれば、正面からの撮影だけでは写らない被写体の側面の状態や、3次元空間内での配置などを知ることができるでしょう。ただし、まずは情報処理するデータ量の問題があります。1秒あたり1台のカメラの映像だけでも数百メガバイトあるので、数十台、数百台のカメラの映像だと数十ギガバイトの大きさになり、コンピュータ上に情報を伝送、集約することすら非常に困難です。さらに、それらの情報をリアルタイムに処理してさまざまな方向への立体映像を作り上げるには、現状の高性能GPUを使って、何台、何十台も並列処理をさせる必要があります。

また、カメラアレイは非常に高額で周辺機器も含め数千万以上の費用がかかります。台数が多いため、頻繁にどこかのカメラが壊れるリスクもあり、立体映像が不安定なものになってしまうのが実際です。もし、壊れるたびに修理するとなると、また費用がかかります。ライブハウスの柱を透明化するのにそんなに多大なコストがかかるのだったらいっそのこと建物自体を改築した方が良いでしょう。

また、各自がゴーグルなどを装着し、柱の向こうの空間を重畳した映像を提示する技術もありますが、それだと舞台を鑑賞する観客に物理的に制限がかかり、公演内容に集中できないというデメリットがあります。

そこで、メガネなし立体ディスプレイが望ましい、となります。もちろん、水平だけでなく垂直の方向にも内容が変化する映像を見せるとなると処理が大変です。ある人が「この視点から映像を見たい」と言った時に、その人のために特定の視点だけを処理して見せるのはそれほど難しくないのですが、複数の観客が複数の視点からの映像を見たいとなると、やはり従来技術の延長だけでは装置の大型化が必要です。

──いずれも、文化芸術の現場で活用していくことは、あまり現実的ではなさそうですね。

はい、元々柱などの障害物を"透明化"する技術を研究しようと思ったきっかけは、私自身がライブハウスに音楽イベントを見に行った時に、大きな柱があってステージが見えづらい、と、演者も観客も困惑していたことです。その時に、既存の技術と、私が普段か ら研究していることを組み合わせれば、ユーザーが本当に求める技術を生み出すことができるのでは、と考えました。

「3Dテレビ」など、映像メディアに「立体感」を付与する「3次元画像」の技術はこれまでにも開発されてきましたが、それほど普及していないのが現状だと思います。なぜかというと、その技術を使うシーンにおいて、「3次元である意味」がそれほどなかったからだと思います。

一方、柱の"透明化"は、ニーズがある技術だと身をもって感じています。なので、私が進める研究では、できるだけ低コストで観客にも制約を与えず、実際に使ってもらえることを目指しているのです。音楽でも演劇でも、インディーズシーンなどでこれから羽ばたこうという人たちを支える施設に実際に使ってもらえるように、いずれは数十万円以下で利用可能となるような構成を想定しています。

「ミラーアレイ」で既存装置をコンパクト化

──これまでの課題を克服し、障害物の"透明化"を実現するために、どのような技術を用いているのでしょうか。

私は、大学の頃から光線情報処理や、焦点が異なる2枚の画像から、両方とも焦点が合っている画像を作るという研究をしていました。そこから多視点と多焦点が互いに変換可能であることを発見し、その効率化に必要な信号処理も分かってきたので、これを応用した体映像情報の補間や圧縮に取り組んでいます。

それらの研究と先ほど説明した「カメラアレイ」の技術を掛け合わせて、柱の"透明化"を図ります。まず前提として、高価で装置規模が大きいカメラアレイを使わずに、複数の視点からの映像を一度に撮影するには、「レンズアレイ」を使う手法があります。カメラは1台にして、レンズを格子状に並べて撮影するのです。そうすれば、簡単にコンピュータへ取り込めるので、処理がしやすくなります。ただ、レンズアレイの例として「ライトフィールドカメラ」というシステムがありますが、このシステムでは個々のレンズの口径が小さいので、取り込める光の量も少なくなります。そのため、静止画を撮って後から立体的に見ることはできても原理的に暗い画像になってしまうのです。まして、１枚１枚が短い時間で少ない光の量しか取り込めない動画を撮影しても、ノイズだらけでリアルタイムの立体映像としては活用できません。

そこで、私が設計、開発したのが、パラボラアンテナのように放物面に沿って鏡を格子状に並べた「ミラーアレイ」です。ミラーアレイならば、コストも抑えられ、動画撮影に十分な光量で多視点の映像が得られて、なおかつ1台のカメラで撮影できるので、データ伝送に無駄がない上、映像処理もゲームパソコンのGPUレベルのスペックで可能です。また、立体映像を表示するディスプレイも、開発段階では高性能なものや大掛かりな装置は必要ありません。輝度の高いタブレットPCの表面に無数の穴が空いているボードなどを被せるだけでも、見る方向に合わせた立体画像を計算して表示できます。その品質はデバイス技術の発展、低コスト化に応じて高めれば良いので、今は透明化を実現するリアルタイムの計算に注力しています。

──従来の3Dの立体映像を作り出す技術との違いはなんですか。

これまで3D映像といえば、立体的に前に飛び出すようなアトラクション的なものの制作に力が入れられていました。しかし、前述したとおりそういった映像の使い道は限定的です。私が研究しているのは、実際に見えている空間となじみの良い、奥行きを感じさせる立体映像技術になります。

博物館や文化遺産の見学にも広がる活用の可能性

──そうした技術は、舞台鑑賞の邪魔になる障害物を透明化する以外でも、活用の可能性がありそうです。

例えば、最近では舞台の背景をプロジェクションマッピングなどで表示するような演出も増えましたが、横から見たらすべて平面ですし、人が横切ると映像が遮られてしまうので、舞台での動きも制約されます。そこにこの技術を活用すれば、舞台の上でも奥行きが感じられる背景が作れるようになり、さらに表現の幅が広がるかもしれません。また、東京にいるアーティストと、大阪にいるアーティストの映像をコンサート会場で合成して、臨場感を損なわずにコラボレーションを楽しむこともできます。

他にも博物館や美術館でも、壁や柱の後ろなどから、自由な視点で展示物を見ることが可能です。貴重な美術品を地方でバーチャル展示させるようなイベントもできるかもしれません。会場で透明化された柱の中に壺などを仮想的に置けば、どの方向からも鑑賞できます。

──通常は観光客が入れない、文化遺産の奥を外から見学することもできるかもしれませんね。

そうですね、建物の前に置かれたディスプレイから、自由な角度で中が覗けるというのも良さそうです。現在、そのような施設の場合、中の映像を撮っておいてディスプレイで流している場合もありますが、透明化による閲覧が良いのは、コンテンツを作る必要がないことです。事前に撮影することなく、建物の中に専用のカメラを設置しておくだけで実現できますから。

安全・安心な社会の構築にも貢献

──文化芸術以外に、この技術が活用できる分野はありますか。

私が注目しているのは、安全対策の分野です。その中でも、今後重要になってくると思っている分野の１つが自動車です。今、自動車はさまざまなパーツが電子化されていますが、中にはバックミラーも、カメラの映像を表示する電子ミラーにするという話があります。しかし、電子ミラーは老眼の人だと焦点が合わないという課題があります。本物の鏡は、光線を反射しているので20メートル後ろにいる車は、鏡を通しても焦点は20メートル後ろのままですが、電子ミラーだと、近くにあるディスプレイに目のピントを合わせなければならず、老眼の人は焦点が合わず大変危険です。

──そこに、この立体映像が活用できるのですね。

像ではなく光線全体を超高速で再構成し、通信できるので、焦点の問題もクリアできます。このように、安全・安心な社会に役立てるという意味では、自動車だけでなく、街中の曲がり角などを"透明化"することによって対向車や通行人が見やすくなり、交通事故を減らすこともできるかもしれません。

──そういった場面で活用される映像は、それほど精細でなくても大丈夫そうですね。

そうだと思います。映像の品質が落ちても十分意味のある領域というのはあるので、最初は昔の電光掲示板のレベルで十分だと思います。たとえ解像度が低くても、実空間の中で見られなかったものが見えて、ちゃんと整合性が取れていればいいのです。

具体的な活用を可能とするには、"透明化"の技術はまだまだ課題が多いのですが、研究を進めてぜひ実現させたいですね。

取材・文 元田 光一　Photo 杉崎 恭一

関連リンク

• 児玉 和也 - コンテンツ科学研究系 - 研究者紹介

記事へのご意見等はこちらへ