リアルタイム3次元形状データを手軽に扱える時代がくる

杉本晃宏教授がRGB-Dカメラで取り込んだ画像データから3次元形状モデルを生成する研究を開始した１つのきっかけは、RGB-Dカメラが圧倒的に安価になったことだった。RGB-Dカメラとは、カラー画像（RGB）だけでなく、対象までの距離（D）を取得できるセンサーである。距離を測るセンサーとしては、最近まで高価なレンジファインダーが主流だった。数年前、その状況が変わった。2010年に米Microsoftがゲーム機用の周辺機器として発売した「Kinect」を筆頭に、民生用の安価なRGB-Dカメラが入手可能となってきたのだ。

　「そこにKinectがあったから、この研究をやりたくなった──といったら言いすぎかな。でも、安くてより多くの人が使える、そういう新しいものをやりたいと思いました」と杉本教授は話す。

　RGB-Dカメラは今後ますます安価になり小型化され、スマートフォンに搭載されるなどの形で普及が進むと予想されている。しかもプロセッサの高性能化や、画像処理のためのGPU（グラフィックプロセッサ）の活用も進む。そうなれば、従来のカメラのように2次元の動画像データだけでなく、3次元形状を実時間で取り込むことも可能となってくる。例えば、スマートフォンに搭載したRGB-Dカメラでデータを取り込んでリアルタイムに3D形状モデルを生成し、その場でソーシャルネットワークにポストするといった応用も視野に入ってくるのだ。

　実際、すでにKinectとノートPCのGPUの活用により3次元形状のリアルタイム処理を実現できている。近い将来は、スマートフォンでも同様の処理が可能となるはずだ。

3次元形状を、2次元データを使って操る

　杉本教授の研究で特に注目したい点は、3次元形状の表現手法を新たに考案したことだ。これによりメモリ消費量を劇的に減らすことができ、より大規模かつリアルタイムな3次元形状のモデル化が可能となった。メモリ消費が小さいことは、データを処理する上でも、通信で送る上でも有利である。

　3次元形状の表現で主流となっている手法は、3次元、つまり3つの座標軸で表現した空間を「ボクセル（voxel）」と呼ぶ最小単位で区切り、デジタル情報として扱うやり方だ。このやり方は無駄が多い。何も存在しない空間に対しても多くのボクセルを割り当てる必要があり、膨大なメモリを消費するからだ。

　一方、杉本教授の手法は、2次元の平面を使って3次元の空間を表現する。３次元の各点を平面上の点に対応させ、３次元の点が対応する平面上の点からどれだけ「ずれ」があるかの情報を画像としてもたせることで、3次元形状を表現するのである。膨大な数の3次元のボクセルを扱うのではなく、いくつかの2次元の平面のデータを扱えばよい。いわば、３次元を２次元のデータで操るのである。

　この手法により、メモリの消費量を劇的に減らすことができた。モデル化したい「もの」のサイズが大きな場合や、スケールアップ（拡大）をしたい場合、従来手法ではすぐにメモリを消費し尽くしてしまい、限られた範囲でしかモデル化できなかった。それが杉本教授の手法を使うことで、より大きなサイズ、大きな縮尺の「もの」の3次元形状をモデル化できるようになった。

　「どういう環境かにもよりますが、従来手法だと、5m四方の部屋をモデル化するのが精一杯でしたが、私たちの技術を使えば部屋の外側の空間もリアルタイムでモデル化できます」(杉本教授)しかも、2次元のデータで表現する手法は、画像処理の分野で長年研究されてきたさまざまなテクニックを応用できる。例えば、普及している画像圧縮技術を応用することも可能だ。

　杉本教授は、理論研究と応用研究を並列に進めるスタイルを採ってきた。

「理論と応用を全部やろう」と、研究テーマを設定

　杉本教授が長年取り組んでいる研究テーマとして「離散幾何」がある。デジタル化、つまり離散化に伴う誤差は、どんなに解像度が向上しても必ず存在する。その理論的な限界を知るための研究だ。デジタル画像が高解像度になってくると、デジタル画像の解像度には限界があることを忘れがちだが、「元の画素の精度を忘れて、復元する精度だけを追求しても意味がない」と杉本教授は言う。

　このような理論の研究を手がける一方で、RGB-Dカメラを使った3次元形状の復元といった応用研究にも取り組む。杉本教授は「誤解を恐れずにいうなら、理論に重心をおく研究者と、応用に重心をおく研究者は、旧来、互いに批判しあう傾向があった。自分としては、『じゃあ全部やろう』と意識している」と明かす。2次元データで3次元形状を表現する独特の手法も、このような研究スタイルから生まれてきたアイデアなのかもしれない。

顔や表情の再現から、街全体のデータまで

　杉本教授が3次元形状のモデル化として取り組んでいる対象の1つに、「顔」がある。人間の顔の3次元形状をリアルタイムで復元できれば、微妙な表情の変化をより正確に伝えることも可能となる。「例えば、遠隔地にいる高齢者の精神面のケアをする際には、表情が大事になります」と杉本教授。このようなデリケートな目的のための通信では、人間の表情をより正確に表現するデータを伝送することが重要になってくるのだ。

　今後の展望としては、都市の3次元形状のデータを扱う動きがある。「東京オリンピックが開催される5年後には、東京の街全体の3次元モデルはできていると思います」と杉本教授は話す。こうした巨大な3次元データの集積が進む一方で、RGB-Dカメラで手軽に3次元形状を取り込めるようにもなる。多種多様な3次元データを普通の人々が日常的に使うようになる日は、そう遠くなさそうだ。

（取材・文＝星 暁雄）