Researcher file no.3

見たいものが見える
コンピュータビジョンの新展開

佐藤いまり

コンテンツ科学研究系教授

「モノの中身は外から見えない」は人間の目で見たときの常識。
佐藤は、光を吸収して自ら発光する"自発光"や物体内で散乱する"散乱光"という現象を通して、反射光だけでなく、物体内部に差し込む光にも目を向けた。
可視域を超えたすべての波長を対象にしたとき、まったく違う世界が見えてくる。

目に見える光は反射光だけではなかった

佐藤はこれまで、きらめきや質感を再現するイメージング技術や、人間の視覚特性を利用したどこにでも映像を投影できるプロジェクター技術の開発などで、コンピュータビジョンの専門家として注目を集めていた。それらは、人間の目の仕組みに基づいて導かれた三原色を応用し「人間の目から見て、どう見えるか」を追究したものだが、あるとき、見える光は反射光だけではないことに気づく。

海の底には、そこまで届きやすい青色光、紫色光を吸収し、オレンジ色に発光するサンゴがいる。「質感の知覚を研究されている心理物理学の研究者の方から、光を吸収して自分で発光する"自発光（蛍光）現象"があることを教えていただいたのです」。

自発光する生物や物質が吸収する光の波長は、1種類ではない。生物や物質ごとに吸収する波長や発光強度、発光する色も異なるため、いろいろな光を当てて観察すると、物質特有の発光状態が詳細にわかる（「蛍光指紋」と呼ばれる）。これにより、マンゴーなどの果物やワインの産地が特定できるなど、従来の反射光に基づく手法では識別が容易でなかった事象に対しても、シーンの各点の蛍光指紋を通して識別でき、新しい検査および識別手法として注目を集めているという。

可視域外の波長域の光で見えてくる世界もある。たとえば、モンシロチョウはオスもメスも同じように白く見えるが、紫外線で認識するとオスは黒く見え、メスは白く見える。オスは紫外線を吸収し、メスは反射するからだ。これは、羽の構造の違いによるとも言われている。水も同様だ。「私たちにとって水って透明ですよね」と佐藤。水は可視光を吸収せずにそのまま透過させるのだが、赤外線域の光ではまったく異なった振る舞いを見せる。水は赤外光を吸収するため、光の通る距離に応じて濃淡が変わり、観察される明るさから水の量や深さも予測できるという。

佐藤はこの仕組みを応用して、水などの媒質による光の吸収を積極的に活用し、米国ドレクセル大学と共同で水中の物体の3次元形状の復元をした。さらに、対象物の濡れ度合いの推定と乾いた時の表面色の推定を、1枚の分光画像から成功させた。これは、水のみならず、コーヒーやワインなど様々な液体でも同じ現象を解析できるという。この画期的な技術は、2017 年、コンピュータビジョン研究分野でトップの国際会議として知られるCVPR（Computer Vision and Pattern Recognition）において、30倍の競争率を突破して、口頭発表された。

X線を使わずに体内が見える新たな検査法に大きな期待

吸収される光をさらに詳細に調べて、物体の内部構造を明らかにする研究も進めている。具体的には、人体への影響の少ない光を当てるだけで生体内の様
子がわかる「光超音波画像解析」技術を、内閣府のImPACTプロジェクトを通して、京都大学、九州大学、慶應義塾大学と共同で開発している。これは照射した光が体内で吸収されて、音波を出す仕組みを利用したもの。体内の組織ごとに吸収しやすい光の波長が異なるので、たとえば血管を見たいときには、血管が吸収しやすい波長の光を当てて計測を行う。

X線のように被曝の心配もなく、MRIよりも手軽で安全な検査方法として期待は大きい。さらに「家でも手軽に検査ができるようにしたい」という佐藤。通常であれば高価なデバイスが必要だが、携帯できるような簡便なデバイスで同等の効果を得て、病気の早期発見や治療効果の目視などに役立てたいと考えている。

佐藤は油絵が好きで、金属光沢や光の描き方の秘密を科学的に探ろうと研究を始めた。「なぜそう見えるのだろう」という根底の興味は今でも変わらない。「見え方はひとつだと思っていたのに、それは単に自分が見ている世界でしかなかった」と気づき、研究は大きく飛躍した。

「見たいものが見える波長の光」があり、どんな波長の光を当てればいいかを機械学習で導く。「人間の目でなくてもいい、人間の目以上にいろいろなものが見える目を作りたい」という佐藤。「見え」への飽くなき探求心が、大きなイノベーションを起こそうとしている。