近年,CG(Computer Graphics)や仮想現実感(VR: Virtual Reality)技術による遺跡の復元が復元が盛んに行われている.CGや VRは従来のレプリカによる復元に比べて,モデルの変更が可能であり遺構を傷つけないという利点がある.

本論文では複合現実感(MR: Mixed Reality)技術による遺跡の復元に取り組む. CGによる復元では,ユーザが遺跡周囲の環境から切り離されてしまうため臨場感に乏しいという問題があった.これに対して仮想物体と実世界を融合させる MR技術では,遺跡現地で実際の遺構上にモデルを合成表示できるため,臨場感の高い展示を行うことが可能である.

しかし MR技術による遺跡復元システムは一般に屋外で展示する必要があり,屋外において仮想物体を実世界に自然に重ね込むにはいくつかの問題がある.その中でも特に,1)変化する光源環境に対応した陰影表現, 2)実時間処理, 3)人物と仮想物体のオクルージョン(遮蔽)表現,という技術課題を解決することが重要である.

そこで本論文では,屋外での遺跡復元を目的とした MRシステムにおいて写実的な合成画像を生成するために,これらの課題を解決する,1)視点移動を可能にする影付け平面,2)GPU(Graphics Processing Unit)による高速陰影生成法,3)人物の重ね込み手法,を提案する.システム実装として奈良県明日香村における古代飛鳥京の復元を目的とした MR遺跡復元システムを開発し,7世紀頃の飛鳥浄御原宮や川原寺,飛鳥寺などを復元図面から再現した飛鳥京 MRコンテンツを製作する.さらに本システムを用いて遺跡現地における一般公開実験を行い,提案する陰影表現手法とコンテンツの教育効果の評価実験を行い,提案手法とコンテンツの有効性を確認する.

2章では,MRシステムにおいて実光源環境に対応した仮想物体の陰影を表現するために,影付け平面を用いた陰影表現手法を提案する.これまで MRの分野において様々な照明手法が提案されてきたが,物体のソフトシャドウを実時間で表現することは困難であった.また,屋外の大規模・複雑な環境で実行可能な手法は限られていた.提案手法では,物体表面上に影付け平面を配置し,この平面上に基礎影画像から合成した影付け平面上での明るさ比の画像をアルファ値としてテクスチャマッピングすることにより,ユーザの視点移動を可能とする.影付け平面の最適な配置方法に関する評価実験を行った結果,モデルをできる限り細かく分割して影付け平面をモデル表面に近づけるほど,再現できる影の精度が向上することを確認した.

3章では,影付け平面による陰影表現を高速化するために, GPUを用いた陰影生成手法を提案する.本手法では,基礎影画像の合成を GPUによって画素ごとに並列計算することで,従来の CPU(Central Processing Unit)処理と比較してソフトシャドウを高速に生成することができる.ラスタライズ後の各画素における合成処理はフラグメントシェーダで実装する.また,タイル状に配置した基礎影画像をテクスチャメモリに転送することによって,グラフィックボードのテクスチャユニットを効率的に活用する.室内および屋外での合成実験において提案手法の評価を行った結果,1,520枚の影付け平面を用いた場合でも GPUによって実時間でソフトシャドウの表現ができることを確認できた.また,実物体と仮想物体の陰影を比較した結果,提案手法は実光源環境に対応した適切な陰影を表現することが可能であり,視点移動に対してもロバストであることを示した.さらに,屋外で撮影した合成画像を用いて陰影の有無と現実感の関連性を評価した結果,陰影表現を行った場合に画像の現実感が約 22%向上することがわかった.

4章では,観光地などにおいて問題となる人物と仮想物体のオクルージョン(遮蔽)問題を解決するため,実画像から人物を抽出し,仮想物体前面に正しく合成する手法を提案する.従来のステレオ法や背景差分を用いた遮蔽処理手法は,屋外の複雑な環境や光源環境の変化に対応することができなかった.また前景領域に含まれる影の問題についても考慮されていなかった.提案手法では,確率モデルを用いた前景抽出手法と画素の色度とカメラの分光感度特性から求められる不変量を用いた影除去手法を組み合わせ,実画像から人物を抽出するとともに,前景領域から人物の影を除去する.さらに画像中の人物の位置から奥行きを推定し,仮想物体との前後関係を正しく判定する.全方位カメラを用いた MRシステムによってオフラインで合成実験を行った結果,仮想物体の前面を歩行する人物を正確に抽出し,影を除去した上で仮想物体前面に正しく重ね込むことができた.

5章では,本論文で提案する陰影表現手法のシステム実装として開発した飛鳥京 MRコンテンツの製作過程を説明する.復元対象である飛鳥京は現在の奈良県明日香村に位置しており,同村は古都保存法の適用地域であるためレプリカの建造は困難である.また現在も発掘調査が継続されているため,復元案の修正が容易な MR技術による合成表示が相応しいと判断した.飛鳥京 MRコンテンツでは,飛鳥浄御原宮を中心として,エビノコ郭,川原寺,飛鳥寺,苑池遺構,酒船石遺跡,石神遺跡などを含む南北約 1,350メートル,東西約 600メートルの範囲を CGにより復元した.川原寺,飛鳥浄御原宮などの複雑な建築物は 3次元 CGソフトウェア 3ds Maxを用いて手作業でモデリングを行い,飛鳥京の小規模な平屋建物の制作に関しては,桁行・梁行などの主要寸法から 3次元モデルを自動生成するスクリプトを開発した.また飛鳥時代の衣装を再現した写真資料をもとに,古代の人物の復元も行った.さらに高速陰影表現手法を適用するため,川原寺と飛鳥浄御原宮の復元モデルに対して影付け平面を適用した.

6章では,「バーチャル飛鳥京」一般公開イベントの企画・運営について説明する.イベントではパンフレットとウェブサイトによる広報活動を行い,一般の観光客や村民から広く参加者を募集した.また,予備実験によって現地での MRシステムの設置に関する検討を行った.一般公開は 2005~2008年の期間に毎年 3日間,川原寺跡・甘樫丘展望台・伝飛鳥板蓋宮などの会場で開催した.さらに予備調査として参加者にアンケート調査を実施し,その結果を踏まえてコンテンツの改良を行った.

7章では,飛鳥京 MRコンテンツを用いて行った陰影評価実験について報告する.実験では 2グループに分けた被験者にそれぞれ陰影を含む映像と含まない映像を体験させ,コンテンツから受ける主観的な印象を調査した. SD法による評価結果を因子分析した結果, MRコンテンツの評価因子として現実感・鮮烈さ・娯楽性の 3つの共通因子を抽出することができた.それぞれの因子軸上で 2グループの因子得点を比較した結果,陰影表現を行った場合にすべての評価因子に対して得点が向上することがわかり,陰影表現の有効性を確認することができた.

8章では,飛鳥京 MRコンテンツの教育効果に関する評価を行った.実験では復元対象の遺跡に関する知識,地域社会への関心,文化財保護の意識,科学技術の理解などを問う質問項目を準備し,コンテンツの体験前後でこれらの評価項目がどのように変化するかを調査した.その結果,提案する遺跡復元 MRコンテンツは対象の歴史的知識や MR技術への理解を向上させる上で有意な教育効果をもつことがわかった.一方,文化財保護の意識や地域社会への関心を高めるという点に関しては有意な効果がみられなかった.今後の課題としてこれらの評価項目を向上させるには,合成画像の提示だけではなく文字情報や音声解説などの複合的な情報提供を行うことが必要と考えられる.

コンピュータグラフィクスによる文化財の映像を現実の背景シーンに重ね合わせる複合現実感方式による文化財表示は、実際の遺構の上にモデルを合成表示できるため、従来のシアター方式による文化財の復元と比較して臨場感の高い展示を行え、従来の文化財復元建築と比して実際の遺構を破壊せずまた安価であるなどの面で有望な文化財の表示手法である。この際、実在感ある表示のためには現実環境に即した陰影を文化財映像に付加する必要がある。本論文は、屋外複合現実感文化財復元における実在感向上のための高速陰影付加技術の開発とこれを実際のシステムとして実装し、現実の文化財コンテンツを作成し、これの評価を行ったものであり、「高速陰影表現とオクルージョン処理を用いた飛鳥京複合現実感コンテンツの開発とその評価」と題され、全体で9章から構成されている。

第1章は「序論」であり、研究の背景、複合現実感技術の概要、本論文の構成について述べている。

第2章は「視点移動を可能にする影付け平面」と題され、既存の陰影づけのための手法が画像ベースであったため、視点の変更が行えなかったという問題点を、対象文化財表面上に影付け平面という半透明の平面を定義し、これを文化財の各面に配置し、この影付け平面上にて陰影計算をすることで、視点移動を可能にしたものである。この際、影付け平面の効率的な定義方法、精度などの評価も行っている。

第3章は、「GPUを用いた高速陰影生成」と題され、前章で提案した影付け平面による陰影計算を高速化するために、影付け平面がグラフィクスメモリで表現でき、影付け計算がグラフィクスハードウエアの並列演算機能を利用して高速に計算できることを見出し、これの実装を行い、陰影計算の計算時間評価を行ったものである。

第4章は、「人物の重ね込み」と題され、観光地などにおいて問題となる観客と仮想物体の間のオクルージョン問題を解決するため、確率モデルによる前景抽出と不変量による影除去を組み合わせ、観光客の前後判定をし、前方の人物の仮想文化財への重ね込み、後方の人物の仮想文化財による消去手法を提案している。

第5章は「システム実装」と題され、飛鳥京の3Dモデルを作成し、前章までで提案されてきた陰影表現手を実装し、飛鳥京複合現実感コンテンツとした。さらに、第6章は「一般公開イベント」と題され、前章で開発したコンテンツを用いて明日香村の遺跡現地で行った複合現実感システム一般公開の様子について述べている。

第7章は「手法評価」と題され、飛鳥京複合現実感コンテンツを用いて行った陰影評価実験について報告している。その結果、複合現実感コンテンツの評価因子として現実感・鮮烈さ・娯楽性の3つの共通因子が抽出され、陰影表現がすべての評価因子に対して有効であることが示された。さらに、第8章は「コンテンツ評価」と題され、飛鳥京コンテンツの教育効果に関する評価実験の結果、コンテンツは対象の歴史的知識や複合現実感技術への理解を向上させる上で有意な教育効果をもつことを確認した。

第9章は「結論」と題され、本論文のまとめと今後の課題について述べている。

以上これを要するに、本論文は、屋外複合現実感文化財復元において影付け平面の提案とグラフィックスハードウエアを用いた影付け平面の高速実装の手法、ならびに確率的手法による人物の重ね込み手法を提案し、これらを適用した飛鳥京複合現実感コンテンツを開発し、これを用いて提案手法とコンテンツの評価を行ったもので、学際情報学上貢献するところが少なくない。

よって本論文は博士(学際情報学)の学位請求論文として合格と認められる。