学位論文要旨



No 128484
著者(漢字) 宇都木,契
著者(英字)
著者(カナ) ウツギ,ケイ
標題(和) 立体映像における奥行感を保持・誇張する非線形変換処理の研究
標題(洋)
報告番号 128484
報告番号 甲28484
学位授与日 2012.03.22
学位種別 課程博士
学位種類 博士(学際情報学)
学位記番号 博学情第47号
研究科 学際情報学府
専攻 学際情報学
論文審査委員 主査: 東京大学 准教授 苗村,健
 東京大学 教授 廣瀬,通孝
 東京大学 教授 相澤,清晴
 東京大学 教授 山口,泰
 東京大学 准教授 小川,剛史
内容要旨 要旨を表示する

研究の動機と意義

立体映像には「映像」であると同時に「立体」であるという矛盾した特性がある.たとえば,既存の映画に対して,視差の表現を加えて生まれた立体映画の分野では,従来から映像で用いられてきた絵画的奥行き手がかりの条件の上に,視差奥行き手がかりが追加される.だが,従来の映像文化では,撮影系と表示系の間で距離と画角などが異なる条件で映像が提示されることも多い.このため三次元空間と透視投影による写像モデルに基づく解釈だけでは,奥行感を解析することが難しくなることがあり,奥行き手がかりの情報が齟齬や不便を生むことがしばしばある.

たとえば,絵画や映画の文化では,被写体や視点ではなく,画像自体を直接加工するイメージベースの調整手法が行われてきた.このような直接的な調整手法は,人間の視聴嗜好に合わせた映像を簡便かつ的確に制作する手段を提供してきた.だが,これらの加工手段では三次元的なステレオ視差を取り扱うことは難しい.このため,従来の映像制作では簡便に用いることができた調整方法が,複雑で扱いにくくなる場合もある.

一方,三次元モデルから透視投影で映像を生成する手法は急速に普及し,実写の光景に三次元的な整合したモデルをリアルタイムで合成する拡張現実感(AR)アプリケーションなどの表現も可能になった.このような三次元幾何と透視投影を用いた表現では,ステレオ視差を持つ映像も扱いやすい.また,その一方で,従来の映像制作で用いてきた誇張表現などの演出の中には,直観的なイメージベースに基づいているものも多い.このような直観的な演出が透視投影の方法論に導入できないことで映像制作者が苦しむ場合もある.

このように映像文化では二次元的な映像調整の方法が発達している.そこで本論文では,三次元奥行きが重要になる環境下においても,従来の映像表現で行われていたような柔軟な加工手段を実現する方法論の研究を行った.

本論文のコンセプト

特に本研究では,奥行き手がかりのある画像に対して,人間の認知的なバイアスに合わせて非線形変換処理を実行するアプローチを検討した.二次元映像情報や三次元幾何情報のうち,重要な要素がある空間を保持または誇張し,不要な空間の部分を縮小する.これらの処理を用いて,奥行き手がかりのある映像表現を調整する二種類の対照的なアプローチを検討した.

1. 第一のアプローチでは,非線形変換処理による二次元画像の加工に対して三次元的な奥行き条件を保持する制約条件を追加する.この処理はContent-Preserving画像処理を基にして,三次元的な構造の保持をエネルギー制約条件として導入することで実現したものである.

2. 第二のアプローチでは,三次元モデルからのレンダリングに対して,手書き画像に見られるような二次元的誇張表現を再現する.この処理はMulti-Perspective Renderingによる映像生成方式を基にして,二次元的な誇張の条件を三次元カメラの配置問題として導入することで実現したものである.

本論文の第1章では,以上に挙げた論文のコンセプトと構成の概要を説明した.

本論文の第2章では,この提案手法の意義と利点を検討するために,従来の映像文化における奥行きの表現と,先行研究における論点の概要を整理した.また本提案手法に用いられた画像の非線形変換処理と空間の非線形遠近法についての先行研究と概要を記述した.

提案手法1:奥行き手がかりを保持するContent-Preserving画像処理

第一の提案として,二次元的な画像加工の方法論に対して,三次元的な奥行き手がかりの情報を導入し,ステレオ画像の視差の情報を保持する非線形変換処理の検討を行った.

注目した課題

ステレオ画像は,通常の画像にくらべて加工や修正の処理が難しい.これは複数の画像に対して,視差の整合性を保持したまま処理を実施する制約があるためである.また,ウィンドウ違反や奥行感の保持などの制約条件があるため,単純な拡大縮小処理や切り出し処理も通常の画像のようにできない場合がある.

先行研究での従来手法

Content-Preserving (CP) 画像処理に,奥行き手がかりの情報を導入し,画像幅の縮小を行う非線形変換処理 (Image Retargeting : IR) がある.従来のIR処理では,一枚の画像の色情報を二次元的に処理し,各ピクセルの顕著性の高さを示す顕著性マップを導出する.そして,この顕著性の低い領域を一部伸縮し,映像の中で顕著性の高い特徴的な部分についての縦横比率や見た目を保持したまま,画像内の構図を変更する.しかし,既存処理は二次元画像の顕著性だけを考慮して加工にする方法であるため,ステレオ画像の視差などの奥行き手がかり情報が壊れてしまう.

提案手法

提案した手法は,S. Avidanの提唱した適応的な画像処理 Seam Carving (SC)に,追加エネルギー項を入れることによって成立する.このSCの処理に対して,ステレオ視差と画像内の直線という二種類の奥行き手がかりを保持する制約条件を考案した.

・ 直線の保持:

画像の背景領域にある直線要素は,人間が立体構造を理解するために重要な絵画的奥行き手がかりを提供する.この直線性を保護するために,直線が縮小される頻度が均一になるようにフィードバックのエネルギーを与える手法を提案した.

・視差の保持:

複数視点の画像の間に現れる視差は,奥行き手がかりの最たる要素である.この視差を保持するために,三種類の追加エネルギー項を導入した.

1. 画像間のサンプリングの差を表すエネルギー項

2. 画像間の奥行き方向の対応関係を表すエネルギー項

3. 画像間の横方向の対応関係を表すエネルギー項

これらの追加項で空間構造の制約を表現することで,画像感の視差を保持する.

これらの追加エネルギーにより,ステレオ画像の視差を保持したままIR処理を実現する方法を検討した.

提案手法の効果

提案手法の新規エネルギーの導入により,二つの効果が生まれた.

一つは,絵画的奥行き手がかりに相当する三次元的な構造が,最適化計算に反映されたことで,特に背景部分を中心に違和感が減少した点である.この点は通常の二次元画像でも認識できる.

もう一つは,お互いの視差を保持したまま複数画像の処理が行えるようになったことで,ステレオ表示系の映像を処理できるようになった点である.ステレオ画像を三次元再構築のプロセス抜きで取り扱う体系的な方法論は少ないため,本手法はCP画像処理の付加価値を向上させる提案として特に有用であると考える.

提案手法2:奥行き手がかりを誇張するMulti-Perspective Rendering映像

第二の提案として,三次元幾何モデルを用いた映像の生成において,二次元的な手書き描画に見られる奥行き手がかりの誇張表現を実現する方法の検討を行った.

注目した課題

昔から,アニメやマンガなどにおける手書きのイラストには,遠近感が過剰に誇張された表現が多用されている.だが,三次元モデルを使った映像表現では,手書き絵画のような自由な表現ができない.この二次元画像の表現と三次元幾何の整合性の問題は,映像制作における問題点であった.

先行研究での従来手法

従来の映像制作分野では,三次元幾何モデルを直接変形することによって映像の誇張を行ってきた.このような手法は,運動や表情の変形などの物理的な現象に関連した処理において成功を収めてきた.だがパースの誇張は観察者の位置に密接にかかわるものであるため,ある視点位置に特化してモデルの誇張を行っても,別の視点位置から観察した時には破綻した映像となってしまう.

提案手法

この問題に対し,本論文で提案した手法は,複数の視点位置からの映像を合成して一枚の絵を作成するMulti-Perspective Renderingの方法論を用いる.

三次元モデルの関節部位ごとに異なる透視投影の効果を割り当てることで,パース効果の誇張を絵画で見られるように部分的に強調する.この映像の誇張の効果を,各部位に対する視点距離として制御するために,階層的に結びつけられた視点位置の制御手法(E-IMPACT)を考案し,距離や姿勢の変化に対して自然な補間が行えるようにした.

・ 関節ごとに異なる観察距離を割り当てることで,奥行き距離に対する見かけ上の大きさの変化率を制御する.

・各関節の視点位置を階層的に保持し,親ノードの視点位置と,モデルに埋め込まれた制御点(ターゲット点)から,子ノードの視点位置を決定する.

提案手法の効果

提案手法によって,印象的な誇張画像を高速に作成できることを,インタラクティブな表示系の制作によって実証した.この表示系は,あらかじめ定められた背景画像に合わせて映像を作らなければならないアプリケーションにおいても,広角レンズで接写したような臨場感ある表現を映像に組み合わせられることを実証した.また,ユーザテストと,様々な展示会での映像制作者からの意見に基づいて,提案手法での誇張表現が支持される傾向が強いことを検証した.

結論

本論文の第5章においては,この論文の主たる成果である二種類の方法論をまとめ,今後の課題と展望について記述している.

本論文で扱った二つの提案手法は,観察距離が制約されたカメラによる入力や,ステレオ映像を表示するディスプレイでの出力において,奥行き手がかりを保持あるいは誇張する,柔軟な映像制作の技法を目指して開発されたものである.三次元的な整合性と制約条件を,あえてエネルギー関数の形で再表現することで,CP画像処理という画像ベースの非線形変換の手法に融合させた.また,二次元的な誇張の表現を,あえてカメラパラメータの制約として再表現することで,Multi-Perspective Renderingでの映像生成技法に融合させた.これらの手法は,人間が映像制作において行ってきた伝統的な技法を踏まえ,非線形変換の方法論に合わせて再解釈することによって,より自然な形で次世代映像メディアに適用するための方法を提案するものである.

視差維持制約

遠近感覚の誇張加工

審査要旨 要旨を表示する

本論文は,「立体映像における奥行感を保持・誇張する非線形変換処理の研究」と題し,奥行き表現を伴う画像の加工方式についての議論と検討を行い,二種類の自動改変手法を提案して,奥行きの情報を保持・誇張する映像の調整をより直観的に行う手法を論じたものであり,全体で5章からなる.

第1章は「序論」であり,奥行き表現の観点からステレオ映像を対象とした映像制作における現在の状況と課題を研究の背景として挙げ,映像の奥行感の表現に対して非線形変換処理を行い直観的に把握しやすい映像コンテンツを作成する方法論を論じ,本論文の目的を明らかにしている.

第2章は「背景と関連研究」と題し,その前半部では,ステレオ映像の制作における課題を記述し,伝統的な映像制作における奥行感の表現の技法を挙げ,映像の誇張表現とその解析に関する先行研究を整理して研究のニーズを明らかにしている.また,その後半部では,画像の非線形変換処理と空間の非線形遠近法に関する先行研究の概要を列挙し,研究のシーズと論文の位置付けを明らかにしている.

第3章は「奥行き手がかりを保持する非線形変換処理」と題し, Content-Preserving (CP)画像処理の方法論に,三次元的な奥行き手がかりの情報を導入し,ステレオ画像の視差を保持した非線形変換処理を実現する方法を検討している.ステレオ画像では,視差の整合性を保持したまま複数の画像を処理する制約があるため,通常の画像にくらべて加工や修正の処理が難しく,単純な拡大縮小処理や切り出し処理も通常の画像のようには実現できない場合がある.これらの問題を解決する手段として,CP画像処理の代表的な技法のひとつであるSeam Carving (SC)における最適化計算の工程に,ステレオ視差と画像内の直線性という二種類の奥行き手がかりを保持する制約条件を追加する方法を提案し,この追加用件によって奥行感を維持した自動縦横比の変換処理(Image Retargeting: IR)が実現できることを示している.提案方式の第一の特徴は,直線が縮小される頻度が均一になるようにフィードバックエネルギーを与える手法によって直線を保持する手法の提案である.また第二の特徴は,三種類の追加エネルギー項を導入することによって視差を保持する手法の提案である.前記の三種類の追加エネルギーは,それぞれ,画像間のサンプリングの差を表すエネルギー項と,画像間の奥行き方向の対応関係を表すエネルギー項と, 画像間の横方向の対応関係を表すエネルギー項であり,これらの制約条件の追加によって,ステレオ画像の視差を保持したまま IR 処理を実現する方法を提案している.この提案手法によって,絵画的奥行き手がかりに相当する三次元要素によって加工後の映像の違和感が減少する効果と,視差奥行き手がかりに相当する三次元要素によってステレオ映像に対応した処理が実現できる効果が生まれた.従来の研究には三次元再構築のプロセス抜きでステレオ画像を取り扱う体系的な方法は少なかったが,本手法はこのような分野にCP 画像処理に基づいた非線形変換を適用することで研究の付加価値を向上させる新しい可能性を示した.

第4章は「奥行き手がかりを誇張する非線形変換処理」と題し,三次元モデルを描画する映像表現において,従来の手書き絵画で行われてきた奥行感の誇張を模倣するために,複数の視点位置からの映像を合成して一枚の絵を作成するMulti-Perspective Renderingの観点に基づいた手法を検討している.従来手法の多くは,三次元幾何モデルの変形として映像の誇張表現を再現しているが,奥行感の誇張をモデル変形によって実現することは,ある視点位置に特化した加工となり,別の視点位置から観察した時の奥行感は適切に誇張されない問題がある.提案手法はこの問題に対し,三次元モデルの関節部位ごとに異なる視点位置を割り当てることによって,奥行感が誇張された映像表現を,視点距離を非線形に変換する問題として記述し,各視点から得られた異なる透視投影の映像を一つに組み合わせ,手書き絵画で見られるような奥行感の誇張を再現する方法を提唱している.この提案手法の自動化を実現するために,各関節の視点位置を木構造によって階層的に保持し,親ノードの視点位置と,モデルに埋め込まれた制御点を用いて,子ノードの視点位置を再帰的に決定するアルゴリズムを導入している.この提案手法を用いると,三次元モデルのリアルタイム描画においても誇張表現が可能であり,実際にインタラクティブな表示系として実装することで提案手法の実用性を実証している.また,利用者も奥行感の誇張が行われた映像を好む傾向が強いことをユーザテストによって示し,映像制作者からのヒアリングを通じて商業的なコンテンツ制作の分野においても価値の高い表現手法となる可能性を示した.これらの検討によって,本手法は,三次元モデルの観察距離の非線形変換処理によって,二次元的な誇張表現を実現する新しい可能性を示した.

第5章は「結論」であり,この論文の主たる成果である二種類の方法論をまとめ,今後の課題と展望について記述している.

以上を要するに,本論文は,画像の表現する奥行感に着目し,一定の観察条件に制約されたカメラパラメータによる入力や,ステレオ映像のディスプレイにおける出力において,非線形変換によって奥行き手がかりを保持あるいは誇張し,直観的で柔軟な映像制作を行うための技法を提案したものであって,ステレオ映像や拡張現実感などの先進的な映像制作技術等の学際情報学の各分野の進展に寄与するところが少なくない.よって本審査委員会は,本論文が博士(学際情報学)の学位に相当するものと判断する.

UTokyo Repositoryリンク