デジタルアーカイブと 3次元センシング

3次元センシング技術は、歴史的、文化的、芸術的遺産の保存、さらには一般公開のためのデジタルアーカイブの形成において重要な役割を果たしてきた。例えば、考古学的な構造や状態のモニタリング、建築物や芸術作品が変更される際の詳細な記録のアーカイブ、ビジターセンターや博物館のプレゼンテーション用の3Dモデルやアニメーションへの貢献、オブジェクトのデジタル幾何モデルからのレプリカ生成等のためのツールとして広く受け入れられるようになった。

3次元センシング技術とデジタルアーカイブの結びつきは古くからあり、初期の段階では、高価で複雑な機器が必要であり、特に大規模な文化・芸術遺産のデジタル化に利用されてきたが、時間とともに、コンピュータビジョンやコンピューテーショナルフォトグラフィ等の情報技術や、ドローンをはじめとする空撮技術との結びつきが強くなり、気軽で低コストになり、小規模な文化・芸術遺産やアクセスが困難な遺跡にも適用可能になっていった。

また、デジタルアーカイブは、時代の経過で失われた場所にある文化遺産や、自然災害や人為的な破壊から失われた遺産の記録としても重要である。近年では、「みんなの首里城デジタル復元プロジェクト」と題された、一般から募った写真から火災により焼失した首里城をCGとして復元するというプロジェクトが記憶に新しい。さらに、デジタルアーカイブは計測だけではなく可視化技術とも強く結びついている。例えば東京大学で行われた「バーチャル飛鳥京」プロジェクトのように、仮想現実（VR）や拡張現実（AR）技術と組み合わせることで、教育や一般公開における新しい体験を提供し、文化遺産の魅力をより広範な観客に伝える手段となっている。総じて、3次元センシング技術は文化遺産のデジタルアーカイブにおいて中心的な役割を果たし、その保存、研究、公開の方法を根本的に変えた。

デジタルアーカイブに使われる代表的な3次元センシング技術

文化・芸術遺産のデジタルアーカイブに用いられる3次元センシング技術は「レーザースキャン」、「フォトグラメトリ」、「構造光スキャン」など多岐にわたる。レーザースキャンは、自身の電磁放射に基づく能動的センシング手法であり、文化・芸術遺産の正確な寸法や形状をデジタル化するために使用され、破損や劣化のモニタリング、修復計画の策定に役立てられている。一方、フォトグラメトリは、デジタルカメラと環境光源を用いた受動的センシング手法であり、手軽に色や細部の詳細な記録を行うことに適している。構造光スキャンは、特定のパターンの光を物体に投影し、その反射を分析することで3次元データを得る方法で、より小さな文化・芸術遺産の計測に利用されている。これらの技術は、文化・芸術遺産のデジタルアーカイブの形成に不可欠であり、研究者や保存専門家にとって価値あるリソースを提供している。

レーザースキャンやフォトグラメトリは、大規模な文化・芸術遺産の形状計測に適しているが、一部の文化・芸術遺産の持つ美しい表面の光沢や絵画の油絵具の繊細な凹凸などを記録・再生するのには必ずしも適していない。それらを保存するための手法として用いられるのが、「反射率変換イメージング」である。反射率変換イメージングは、2001年にHP Labsによって開発された、被写体とカメラの位置を固定し、光源の位置を変えながら複数の画像を撮影することで、光の変化で生じる表面の反射や微細な形状の変化を記録する技術である（図2b）。

これらの画像は、単一のファイルに処理され、マウスなどのポインティングデバイスを使用して、光の方向を制御しながら様々な照明条件下で被写体を鑑賞できる。物体と光との相互作用を捉える事ができる反射率変換イメージングは、文化・芸術遺産の材料の特徴、反射挙動解析や研究において主要な知覚的および認知的手がかりとして用いられてきた。これには、化石、古代の石器、油絵、くさび形文字のタブレット、硬貨コレクション、アンティキティラ島の機械などが含まれる。光と被写体のインタラクションは、形状よりも興味深い側面を捉えることができる場合が多々存在するのである。

反射率変換イメージングと密接に関連した技術として、コンピュータビジョンには、フォトメトリックステレオと呼ばれる技術が存在し、しばしば混同される。これは、被写体を異なる光源環境下で撮影した複数枚の画像から、被写体の形状や材質を復元するという技術である。対象に様々な方向から光を当てて画像を撮影し、それに対して処理をするという点は共通だが、反射率変換イメージングが主に文化・芸術遺産の光とのインタラクションの可視化が目的なのに対して、フォトメトリックステレオは被写体の形状や材質といった3次元情報の復元が目的となる。

一般的に、コンピュータビジョンにおける3次元復元は、アルゴリズムの改善と性能の向上を目的として発展してきたが、デジタルアーカイブで用いられるフォトグラメトリや反射率変換イメージングなどの技術はソフトウェア開発と密接にかかわり、アルゴリズムのみならず、出力できるフォーマットや可視化の利便性といった総合的なパッケージとして発展してきた歴史を持つ。文化・芸術遺産のアーカイブという文脈では、計測のみならず、人間が見るためにそれを可視化できるという側面は非常に重要である。もちろん形状そのものの記録が目的になる事もあり得るが、フォトグラメトリにせよ反射率変換イメージングにせよ、デジタルアーカイブにおける3次元センシングでは、時代を超えて人間が再度鑑賞する事ができるという点を考慮する事が重要なのである。

デジタルアーカイブと自由視点合成技術の可能性

近年コンピュータビジョン分野で盛んに研究が行われている「自由視点合成技術」が文化・芸術遺産のデジタルアーカイブのために有用だと期待されている（図3）。自由視点合成は、被写体を色々な視点からカメラで撮影して得られた画像群から全く別の視点の画像を合成する技術である。フォトグラメトリ等で主に用いられる多視点ステレオ法などの多視点3次元形状復元技術とは異なり、あくまでも任意視点での画像の品質が重視される。

自由視点合成そのものはコンピュータグラフィックスやコンピュータビジョンの分野では長らく研究が行われてきたが、高撮影・計算コスト、低品質により応用に制限があった。しかし、自由視点合成は2020年にUC Berkeleyが発表した「ナーフ（NeRF：Neural Radiance Fields）と呼ばれる技術の出現によって極めて現実的な技術となった。この技術は、従来の点群やメッシュといった3次元空間の表現を、形状や色を表すニューラルネットワークを用いた表現に置き換え、様々な視点の画像からこのネットワークを学習することで、被写体の複雑な幾何形状を復元するのみならず、非常に写実的な自由視点合成を可能にする。また、従来の自由視点合成において困難な視点依存効果（例えば視点変化によって生じる表面反射）を極めて精緻に再現する事ができる。つまり、フォトグラメトリと反射率変換イメージングの良い所取りのような技術なのである。

この技術は瞬く間に認知され、コンピュータビジョン、コンピュータグラフィックスの分野で後続の研究が様々に行われた。例えばナーフの欠点として高品質だが、計算コストが高く、視点合成がリアルタイムで行えないという制約は、NVIDIA社が開発した「Instant NGP」と呼ばれる技術によって劇的に改善された。極めつけに、近年発表された「ガウシアン・スプラティング」という技術では、空間表現に計算コストの高いニューラルネットワークを用いずに、軽量なガウス関数の重ね合わせを用いることで、自由視点合成はスマートフォン上であってもリアルタイムで処理可能な技術となりつつある。自由視点合成技術は既に「Luma AI」などでサービス化も行われており、誰でも利用可能な技術となっている。

自由視点合成技術の進化は現在もとどまる事を知らない。従来のデジタルアーカイブでは、主に静止した文化・芸術遺産の計測・可視化に限定されていた。しかし、自由視点合成技術は空間のみならず時間の変化さえも記録可能になりつつある。例えば、Preferred Networks社が提供している「PFN 4D Scan」は先述したナーフ技術を動画像に拡張し、アーティストのパフォーマンスを極めて高品質に記録・再生するデモを展示し話題を集めた。

終わりに

本稿では文化・芸術遺産において3次元センシング技術がどのように活用されてきたのかについて解説した。筆者が専門とするコンピュータビジョン分野では、研究の具体的な応用先としてデジタルアーカイブを例に挙げるが、これまではインターフェースやソフトウェアの実装を含むエンドユーザに対するサービスとして発達してきたデジタルアーカイブの3次元センシング技術と、アルゴリズムの独自性や復元性能そのものに焦点が当てられてきたコンピュータビジョンの間で分野間の乖離があった。しかし、ナーフをはじめとする自由視点合成技術の発展によって、２つの領域の垣根がなくなりつつあり、今後互いに相互作用をしながら更なる発展を遂げていくのではないかと期待している。また、コンピュータビジョン分野において今現在、観測が限られた場合の３次元復元における大規模モデルや生成AIの活用可能性が試され、その有効性が示されつつある。デジタルアーカイブにおいても同様に結びついていくのか、はたまた、決して結びつくことがないのか、今後の動向についても目が離せない。

文 池畑 諭　Photo 杉崎 恭一

関連リンク

• 池畑 諭 - コンテンツ科学研究系 - 研究者紹介

記事へのご意見等はこちらへ