Conventional model-based rendering techniques have been intensively developed for synthesizing the realistic appearance of objects.　Model-based rendering techniques synthesize the appearance of objects based on empirically or analytically given reflection models.　To use these models, the geometric and photometric information about the scene needs to be provided: the shapes of objects in the scene, their surface reflectance properties, and the lighting conditions of the scene where those objects are placed.

　Regarding the geometric information of a scene, 3D shapes of objects are often manually produced by using well-designed CAD modelers.　Also, for modeling the more complex shapes of real objects, a number of approaches have been developed, such as range image merging techniques and 3D photography techniques.　In contrast, providing photometric information about a scene, such as surface reflectance properties and lighting conditions, has been a difficult task.

　Surface reflectance properties greatly influence the appearance of an object: the appearance of a metallic surface is completely different from that of a matted surface even under the same lighting conditions.　In addition, its appearance changes significantly under different lighting conditions.　It is thus important to provide not only appropriate surface reflectance properties of objects in a scene but also appropriate illumination conditions so that the realistic appearance of the objects can be synthesized under these illumination conditions.　Nevertheless, photometric information about a scene tends to be manually provided by a user.

　Since it is difficult to imagine the appearance of an object directly from reflectance parameters, the input process of manually specifying its reflectance properties is normally non-intuitive and thus time-consuming.　The correct appearance of a scene is difficult to achieve unless we stop relying on our instinct for adjusting reflectance parameters.　As for providing lighting conditions, a scene generally includes both direct and indirect illumination distributed in a complex way, and it is difficult for a user to manually specify such complex illumination distribution.

　In order to overcome these difficulties in providing photometric information about a scene, techniques for automatically providing the photometric models of a scene have been studied in the fields of both computer vision and computer graphics research. In particular, techniques that use a set of images of a scene provided under different viewing and/or lighting conditions for determining its geometric and photometric information are called image-based modeling.

　This thesis addresses two issues of image-based modeling for synthesizing the photorealistic appearance of real objects under natural illumination conditions: capturing real-world illumination, and modeling the complex appearance of real objects for variable illumination.　Regarding the first issue of capturing real-world illumination, both image-based lighting and inverse lighting approaches are studied.

　Techniques for measuring real-world lighting from photographically acquired images of the scene are called image-based lighting.　Although image-based lighting techniques have been developed successfully with practical applications, two difficulties in image-based lighting still remain to be solved: how to construct a geometric model of the scene, and how to capture a wide field of view of the scene.　In this thesis, we confront these two difficulties and propose an efficient method for automatically measuring illumination distribution of a real scene by using a set of omni-directional images of the scene based on an omni-directional stereo algorithm.

　The second approach, inverse lighting, assumes the knowledge of 3D shapes and reflectance properties of objects in a scene and inversely recovers incident light distribution from a photograph of that scene. In a natural illumination condition, a scene includes both direct and indirect illumination distributed in a complex way, and it is often difficult to recover an illumination distribution from image brightness observed on an object surface. The main reason for this difficulty is that there is usually not adequate variation in the image brightness observed on the object surface to reflect the subtle characteristics of the entire illumination.

　In this thesis, we demonstrate the effectiveness of using occluding information of incoming light in estimating an illumination distribution of a scene.　Shadows in a scene are caused by the occlusion of incoming light, and thus contain various pieces of information about the illumination of the scene. Nevertheless, shadows have been used for determining the 3D shape and orientation of an object that casts shadows onto the scene, while very few studies have focused on the illuminant information that shadows could provide. In our method, image brightness inside shadows is effectively used for providing distinct clues to estimate an illumination distribution.

　As for the second issue of modeling the complex appearance of real objects for variable illumination, we carefully investigate the requirement for input images in order to correctly produce the appearance of an object under arbitrary illumination. While there may seem to be a large variety of possible appearances for a given object, it has been demonstrated in previous research that the changes in appearance of an object for varying illumination can be represented with a linear subspace spanned by a set of basis images of the object.

　A set of basis images spanning such a linear subspace is often provided by applying principal-component analysis to the input images of an object taken under different lighting conditions. Since little is known about how to sample the appearance of an object in order to obtain its basis images correctly, a large number of input images taken by moving a point light source along a sphere surrounding the object are generally provided.

　This thesis carefully investigates this important issue of how to sample the appearance of an object and presents a novel method for analytically obtaining a set of basis images of an object for arbitrary illumination from input images of the object taken under a point light source or extended light sources.　The main contribution of our work is that we show that a set of lighting directions can be determined for sampling images of an object depending on the spectrum of the object's bidirectional reflectance distribution function in the angular frequency domain such that a set of basis images can be obtained analytically based on the sampling theorem on spherical harmonics.　Unlike the previously proposed techniques based on spherical harmonics, our method does not require the 3D shape and reflectance properties of an object.

　Once a set of basis images of an object is obtained, its appearance under natural illumination conditions can be synthesized simply as a linear combination of these basis images whose linear coefficients are computed from the given lighting conditions, and these lighting conditions can be modeled by our proposed image-based or inverse lighting methods.

本論文は「Illumination Recovery and Appearance Sampling for Photorealistic Rendering(写実的な画像生成のための光源環境推定と物体表面の見えの標本化)」と題し，コンピュータグラフィックスおよびコンピュータビジョンの研究分野において，実在するシーンを撮影した画像からそのシーンの光学情報を獲得して写実的な画像を生成するイメージベースモデリング・レンダリングの研究分野において，光源環境のモデル化および光源環境の変化に伴う現実物体の見えの変化のモデル化に対する研究をまとめたものであり，9章で構成され英文で書かれている．

　第1章「Introduction」では，イメージベースモデリング・レンダリングの研究分野における従来研究の動向をまとめ，本論文で提案する手法の新規性および有効性について説明している．本論文では現実シーンの光源環境のモデル化に関して1.現実シーンの画像を用いて直接的に光源環境を獲得するイメージベースライティング手法，2.現実シーン中に観察される物体表面の見えの変化に基づきそのシーンの光源環境を推定するインバースライディング手法を検討し，また任意光源環境下での物体の見えを生成する手法として，3.点光源下で定義される基底画像に基づく画像生成手法，4.周波数光源下で定義される基底画像に基づく画像生成手法を提案している．

　第2章は「Acquiring Illumination Based on Omni-Directional Stereo Algorithm」と題し，魚眼レンズ付カメラを用いて撮像された2枚の全方位画像を用いたステレオ法により，実世界の光源環境を計測する手法を提案している．本章では，従来研究で解決策が示されてこなかったシーンの幾何モデルの自動獲得手法と広範囲の光源環境の効率の良い計測手法の開発に取り組んでいる．計測された光源環境下で仮想物体を生成し，この物体のシーンへの挿入により生じた照度の変化を実画像に反映させることにより仮想物体を違和感のない陰影で実画像に重ね込むことができる．

　第3章は「Image Synthesis under Dynamically Changing Illumination」と題し，刻々と変化する光源環境下で写実的な画像を高速に生成する手法を説明している．複雑な分布を持つ任意光源環境下における画像合成は，一般に計算コストが高く，時間を要することが知られている．ここでは，光源輝度と物体表面の明るさの関係の線形性を利用することにより，シーンの光源環境を近似する点光源下で観察される物体の画像(基底画像)を用いて効率良く任意光源下での物体の見えを生成する手法を提案している．このアプローチを用いることにより，物体間の相互反射なども考慮にいれた現実感の高い合成画像を基底画像の線形結合として高速に効率良く生成することが可能となる．

　第4章は「Illumination from Shadows」と題し，現実シーンの物体表面上に観察される陰影からそのシーンの光源環境を推定するインバースライティング手法において，3次元形状が既知である物体により生じた影を利用することにより，物体による光源の遮蔽と影の明るさ変化の関係にもとづき間接的に実世界の光源環境を推定する手法を提案している．室内など，一般の照明環境のもとでは，物体からおとされる影はさまざまな方向からの入射光の遮蔽関係を反映した複雑な分布を持って観察されるため，物体による遮蔽を考慮しない従来手法に比べ，遮蔽を考慮した提案手法を用いることにより，複雑な光源環境を精度良く求められることが期待できる．

　第5章は「Stability Issues in Illuminatlon Estimation」と題し，第4章で提案した影に基づく光源環境の推定手法に関して，その推定の安定性をさらに検討している．一枚の画像内に観察される影から得られる情報は，物体とカメラの位置姿勢およびカメラの画角などの要因によって大きく左右されるため，画像によっては光源分布の推定が不安定になることが予想される．この問題を回避するため，1枚の画像からそのシーンの光源環境に関して得られる情報を解析する手法を提案し，この解析に基づき安定に光源分布を推定する手法をあらたに提案している．

　第6章は「Modeling Appearance of Objects for Variable Illumination」と題し，光源の入射方向と視線方向により定義される物体表面の双方向反射関数の周波数特性に基づき，その反射関数を再生するために必要な光源の入射方向を球面調和関数のサンプリング定理に基づき明らかにすることにより，サンプリング定理により空間位置が定められた点光源下で観察された物体表面の明るさから物体表面の反射特性を球面調和関数の係数として効率良くモデル化する手法を提案している．推定された係数は周波数基底画像として保存され，任意光源環境下で観察されるべき物体の見えは，提案手法により求められた物体表面の反射特性の展開係数球面調和関数と全方位画像を用いて計測された光源環境の展開係数の掛け合せに基づいて高速に効率良く生成することができる．

　第7章は「Anti-aliasing Method for Appearance Sampling of Real Objects」と題し，前章で提案した点光源下で観察される物体表面の明るさを利用するアプローチに対し，拡散光源下で観察される物体表面の明るさを利用することにより物体表面の反射特性の帯域制限を行い，反射関数の不十分なサンプリングに基づくエイリアシングの影響を軽減する手法を提案している．提案手法を用いることにより，従来のイメージベースモデリング手法ではモデル化が難しいとされてきた鏡面反射が強く観察される物体などに関してもエイリアシングを生じさせることなく，写実的な物体の見えをモデル化することができる．

　第8章は「Summary and Conclusions」であり，本論文の成果を従来研究との比較を踏まえてまとめている．

　第9章Appendixは「Non-Photorealistic Shading Model for Artistic Shading」と題し，第5章で提案されている単画像からの光源分布推定手法を用いて絵画が描かれた際の物体の見えを再現し，画家による色変換のメカニズムを絵画内に観察される陰影から推定する手法を提案している．提案手法により推定された陰影付けのメカニズムを利用することにより，仮想物体を絵画に違和感のない陰影で重ね込むことができる．

　以上これを要するに，本論文ではイメージベースモデリング・レンダリングにおける光源環境の推定に関する問題点を考慮し，2枚の全方位画像を用いたステレオ法に基づき実世界の光源環境を直接的に効率良く計測する手法とシーン中の物体による光源の遮蔽と影の明るさ変化の関係に基づき3次元形状が既知である物体により生じた影より間接的に実世界の光源環境を推定する手法を提案し，さらに任意光源環境下での物体の見えを効率良く生成する手法として，点光源下で定義される基底画像の線形和に基づく手法と周波数光源下で定義される基底画像の線形和に基づく手法を開発し，特に周波数光源で定義される基底画像に関してはモデル化する際の入力画像の必要条件に関する考慮を進め，サンプリング定理により決められた点光源下で観察された物体表面の明るさから物体表面の反射特性を球面調和関数の係数として効率良くモデル化する手法を提案しており，これらのイメージベースモデリング・レンダリング手法は，任意光源下での写実的な物体の見えを効率良く生成することに有用であると期待され，学際情報学上貢献するところが少なくない．

よって本審査委員会は，本論文が博士(学際情報学)の学位に相当するものと判断する。