研究 / Research
コンテンツ科学研究系
IKEHATA Satoshi
コンテンツ科学研究系 准教授
研究紹介
高精度な3次元復元技術の実用化を目指す
2次元情報を3次元に復元
人間の視覚は、見る対象の奥行き等の情報を複雑に組み合わせて知覚し、3次元のものとして把握します。私はこの人間の目の機能をいかにコンピュータで再現するか、すなわち、写真などの2次元の画像情報をいかに3次元情報として復元するかという「コンピュータビジョン」の研究に取り組んでいます。
これまでは1台のカメラでさまざまな角度から光を当てた対象物を撮影し、1つの対象物の多数の陰影パターンを元に3次元復元していく「フォトメトリックステレオ法」を中心に研究してきました。特徴は小さな対象物の細かい形状まで精緻に復元できる点にあり、油絵の筆致の再現のほか、内視鏡画像の3次元復元なども可能です。
不動産業界への応用
とはいえ、コンピュータビジョンの応用例はまだわずかです。研究成果の応用を目指し、前職のワシントン大学では、不動産会社との共同研究により物件情報の3次元モデル化を行いました。アメリカではインターネットの情報だけで不動産の購入や賃貸を決めることが多く、物件の詳細な3次元情報化が求められていたのです。
それまでも屋内の3次元復元例はありましたが、あくまで間取り図を3次元化するだけのもので、部屋の区分やつながり、あるいはどこが寝室であるかといったような、住むために必要となる意味的情報を付与できない状況でした。それに対して我々は、部屋の複数箇所で撮影した写真をもとに3次元復元する独自の手法を用いて、3次元モデルに意味的情報を与え、CADとの連携も可能な使い勝手の良い物件情報をつくることに成功しました。
ディープラーニングとの融合を目指す
現在は3次元復元とディープラーニングを組み合わせ、陰影パターン等の大量のデータを読み込ませて学習させることで復元精度を上げる研究を進めています。しかし、現在のディープラーニングでは、2次元情報の入力から3次元情報を出力するのは困難です。正確な3次元情報を復元する研究はまだ世界に成功例がなく、私は世界にインパクトを与えうる難題に挑戦しています。
また、既存のディープラーニングでは、対象を決めたら、その対象にしかアルゴリズムを適用できないという課題もありました。つまり、ある用途の3次元復元用アルゴリズムは他の対象に転用できないのです。そのため、そのような制約をなくし、汎用性を高める手法の開発にも取り組んでいます。さらに、人間の視覚が両眼視による視差や陰影、テクスチャーなど複数の手がかりから3次元復元をするように、コンピュータが複数の手がかりを組み合わせて3次元の復元を可能にするところまで実現させたいと考えています。
将来的には、それらの3次元復元技術を用いたアプリケーション開発を通して、研究成果を社会に還元していくことを目指しています。