研究 / Research

高精度な３次元復元技術の実用化を目指す

２次元情報を３次元に復元

　人間の視覚は、見る対象の奥行き等の情報を複雑に組み合わせて知覚し、３次元のものとして把握します。私はこの人間の目の機能をいかにコンピュータで再現するか、すなわち、写真などの２次元の画像情報をいかに３次元情報として復元するかという「コンピュータビジョン」の研究に取り組んでいます。
　これまでは１台のカメラでさまざまな角度から光を当てた対象物を撮影し、１つの対象物の多数の陰影パターンを元に３次元復元していく「フォトメトリックステレオ法」を中心に研究してきました。特徴は小さな対象物の細かい形状まで精緻に復元できる点にあり、油絵の筆致の再現のほか、内視鏡画像の３次元復元なども可能です。

不動産業界への応用

　とはいえ、コンピュータビジョンの応用例はまだわずかです。研究成果の応用を目指し、前職のワシントン大学では、不動産会社との共同研究により物件情報の３次元モデル化を行いました。アメリカではインターネットの情報だけで不動産の購入や賃貸を決めることが多く、物件の詳細な３次元情報化が求められていたのです。
　それまでも屋内の３次元復元例はありましたが、あくまで間取り図を３次元化するだけのもので、部屋の区分やつながり、あるいはどこが寝室であるかといったような、住むために必要となる意味的情報を付与できない状況でした。それに対して我々は、部屋の複数箇所で撮影した写真をもとに３次元復元する独自の手法を用いて、３次元モデルに意味的情報を与え、CADとの連携も可能な使い勝手の良い物件情報をつくることに成功しました。

ディープラーニングとの融合を目指す

　現在は３次元復元とディープラーニングを組み合わせ、陰影パターン等の大量のデータを読み込ませて学習させることで復元精度を上げる研究を進めています。しかし、現在のディープラーニングでは、２次元情報の入力から３次元情報を出力するのは困難です。正確な3次元情報を復元する研究はまだ世界に成功例がなく、私は世界にインパクトを与えうる難題に挑戦しています。
　また、既存のディープラーニングでは、対象を決めたら、その対象にしかアルゴリズムを適用できないという課題もありました。つまり、ある用途の３次元復元用アルゴリズムは他の対象に転用できないのです。そのため、そのような制約をなくし、汎用性を高める手法の開発にも取り組んでいます。さらに、人間の視覚が両眼視による視差や陰影、テクスチャーなど複数の手がかりから３次元復元をするように、コンピュータが複数の手がかりを組み合わせて３次元の復元を可能にするところまで実現させたいと考えています。
　将来的には、それらの３次元復元技術を用いたアプリケーション開発を通して、研究成果を社会に還元していくことを目指しています。

コンピュータで空間の3次元情報を取得する技術　池畑諭　国立情報学研究所

リンク

• [NII Today] 3次元センシング技術とデジタルアーカイブ
• [NII Today] 高精度な3次元復元技術の実用化をめざす(84-4)
• [NII SEEDS] 実世界への応用を目指した高精度な3次元復元技術の開発
• Structured Indoor Modeling (ICCV 2015)