NIIについて / About NII

実時間で3次元形状モデルを生成する (67-2)

NIIの杉本晃宏教授は、画像に加えて距離の情報を取得できるRGB-Dカメラで取り込んだデータに基づき、3次元形状モデルを効率よく生成する手法を研究中である。効率がよい3次元形状の表現手法を独自に考案し、従来手法よりも劇的にメモリ消費量を減らした。人間の顔、表情を3次元形状モデルとして生成し、スマートフォンからSNSに送るといった応用も視野に入れている。

安価になったRGB-Dカメラを活用

sugimoto67-2.jpg杉本晃宏
SUGIMOTO Akihiro
国立情報学研究所 コンテンツ科学研究系 教授 /
総合研究大学院大学 複合科学研究科情報学専攻 教授
リアルタイム3次元形状データを手軽に扱える時代がくる

杉本晃宏教授がRGB-Dカメラで取り込んだ画像データから3次元形状モデルを生成する研究を開始した1つのきっかけは、RGB-Dカメラが圧倒的に安価になったことだった。RGB-Dカメラとは、カラー画像(RGB)だけでなく、対象までの距離(D)を取得できるセンサーである。距離を測るセンサーとしては、最近まで高価なレンジファインダーが主流だった。数年前、その状況が変わった。2010年に米Microsoftがゲーム機用の周辺機器として発売した「Kinect」を筆頭に、民生用の安価なRGB-Dカメラが入手可能となってきたのだ。

 「そこにKinectがあったから、この研究をやりたくなった──といったら言いすぎかな。でも、安くてより多くの人が使える、そういう新しいものをやりたいと思いました」と杉本教授は話す。

 RGB-Dカメラは今後ますます安価になり小型化され、スマートフォンに搭載されるなどの形で普及が進むと予想されている。しかもプロセッサの高性能化や、画像処理のためのGPU(グラフィックプロセッサ)の活用も進む。そうなれば、従来のカメラのように2次元の動画像データだけでなく、3次元形状を実時間で取り込むことも可能となってくる。例えば、スマートフォンに搭載したRGB-Dカメラでデータを取り込んでリアルタイムに3D形状モデルを生成し、その場でソーシャルネットワークにポストするといった応用も視野に入ってくるのだ。

 実際、すでにKinectとノートPCのGPUの活用により3次元形状のリアルタイム処理を実現できている。近い将来は、スマートフォンでも同様の処理が可能となるはずだ。

3次元形状を、2次元データを使って操る
img67-2.JPG

 杉本教授の研究で特に注目したい点は、3次元形状の表現手法を新たに考案したことだ。これによりメモリ消費量を劇的に減らすことができ、より大規模かつリアルタイムな3次元形状のモデル化が可能となった。メモリ消費が小さいことは、データを処理する上でも、通信で送る上でも有利である。

 3次元形状の表現で主流となっている手法は、3次元、つまり3つの座標軸で表現した空間を「ボクセル(voxel)」と呼ぶ最小単位で区切り、デジタル情報として扱うやり方だ。このやり方は無駄が多い。何も存在しない空間に対しても多くのボクセルを割り当てる必要があり、膨大なメモリを消費するからだ。

 一方、杉本教授の手法は、2次元の平面を使って3次元の空間を表現する。3次元の各点を平面上の点に対応させ、3次元の点が対応する平面上の点からどれだけ「ずれ」があるかの情報を画像としてもたせることで、3次元形状を表現するのである。膨大な数の3次元のボクセルを扱うのではなく、いくつかの2次元の平面のデータを扱えばよい。いわば、3次元を2次元のデータで操るのである。

 この手法により、メモリの消費量を劇的に減らすことができた。モデル化したい「もの」のサイズが大きな場合や、スケールアップ(拡大)をしたい場合、従来手法ではすぐにメモリを消費し尽くしてしまい、限られた範囲でしかモデル化できなかった。それが杉本教授の手法を使うことで、より大きなサイズ、大きな縮尺の「もの」の3次元形状をモデル化できるようになった。

 「どういう環境かにもよりますが、従来手法だと、5m四方の部屋をモデル化するのが精一杯でしたが、私たちの技術を使えば部屋の外側の空間もリアルタイムでモデル化できます」(杉本教授)しかも、2次元のデータで表現する手法は、画像処理の分野で長年研究されてきたさまざまなテクニックを応用できる。例えば、普及している画像圧縮技術を応用することも可能だ。

 杉本教授は、理論研究と応用研究を並列に進めるスタイルを採ってきた。

「理論と応用を全部やろう」と、研究テーマを設定

 杉本教授が長年取り組んでいる研究テーマとして「離散幾何」がある。デジタル化、つまり離散化に伴う誤差は、どんなに解像度が向上しても必ず存在する。その理論的な限界を知るための研究だ。デジタル画像が高解像度になってくると、デジタル画像の解像度には限界があることを忘れがちだが、「元の画素の精度を忘れて、復元する精度だけを追求しても意味がない」と杉本教授は言う。

 このような理論の研究を手がける一方で、RGB-Dカメラを使った3次元形状の復元といった応用研究にも取り組む。杉本教授は「誤解を恐れずにいうなら、理論に重心をおく研究者と、応用に重心をおく研究者は、旧来、互いに批判しあう傾向があった。自分としては、『じゃあ全部やろう』と意識している」と明かす。2次元データで3次元形状を表現する独特の手法も、このような研究スタイルから生まれてきたアイデアなのかもしれない。

顔や表情の再現から、街全体のデータまで

 杉本教授が3次元形状のモデル化として取り組んでいる対象の1つに、「顔」がある。人間の顔の3次元形状をリアルタイムで復元できれば、微妙な表情の変化をより正確に伝えることも可能となる。「例えば、遠隔地にいる高齢者の精神面のケアをする際には、表情が大事になります」と杉本教授。このようなデリケートな目的のための通信では、人間の表情をより正確に表現するデータを伝送することが重要になってくるのだ。

 今後の展望としては、都市の3次元形状のデータを扱う動きがある。「東京オリンピックが開催される5年後には、東京の街全体の3次元モデルはできていると思います」と杉本教授は話す。こうした巨大な3次元データの集積が進む一方で、RGB-Dカメラで手軽に3次元形状を取り込めるようにもなる。多種多様な3次元データを普通の人々が日常的に使うようになる日は、そう遠くなさそうだ。

(取材・文=星 暁雄)

PDFダウンロード

第67号/2015年3月発行

映像
情報技術が生み出す新潮流

・テレビは社会の動きを感じ取るセンサーだ
・実時間で3次元形状モデルを生成する
・「グラフ信号処理」で進化する臨場感のあるコミュニケーション
・映像と言語の協調で見えた意味解析の地平

PDFダウンロード

page3581

注目コンテンツ / SPECIAL