学位論文要旨



No 111209
著者(漢字) 森,武俊
著者(英字)
著者(カナ) モリ,タケトシ
標題(和) 相関法による注視点追跡に基づくロボットビジョンに関する研究
標題(洋)
報告番号 111209
報告番号 甲11209
学位授与日 1995.03.29
学位種別 課程博士
学位種類 博士(工学)
学位記番号 博工第3453号
研究科 工学系研究科
専攻 情報工学専攻
論文審査委員 主査: 東京大学 教授 井上,博允
 東京大学 教授 田中,英彦
 東京大学 教授 武市,正人
 東京大学 教授 三浦,宏文
 東京大学 教授 佐藤,知正
内容要旨

 ロボットの視覚機能には,動的な状況を処理する能力が求められる。実世界で行動するロボットには,従来型の止まって・見て・考えて・移動してといったルックアンドムーブに留まらない高速性が必要になってくる。そのためには,対象物体の特徴的な一部分を注視して処理する能力が有効であると考えられる。本研究は,ロボットのための高速視覚処理において,ロボットの視覚タスクを多数の局所注視領域の並列処現によって実現するという手法とそのためのシステムを構築するものである.この手法の基礎には物体の追跡処理があり,本研究では,これに高速な相関演算を使用した.同一点のロバストな追跡のために追跡点の選定手法と記憶画像に基づく追跡手法を,注視処理の信頼性の向上のために複数注視処理の並列実行に基づく協調制御による追跡手法を開発し,高速相関演算を行なう複数並列プロセッサ型視覚ハードウェアを製作して動物体の追跡を行なうロボットビジョンシステムを構築した.

 人間は外界の状態をうるため,視覚,聴覚,触覚,臭覚,味覚の,いわゆる五感を持っている.これらの感覚のうち,人間にとって,10の8乗のオーダともいわれる網膜視細胞から入力される視覚情報は,非常に重要である.人間の場合と同様,実世界で知的に行動するロボットにとっても,視覚認識機能は不可欠であろうと考えられる.ロボットにとって,周囲をとりまく環境からのパーセプション(知覚)と環境へのアクション(行動)は,本質的で,重要なものである.現代社会で使用されている機械は,人間に操作あるいは運転されるもので,本来の目的は,人間の機能を拡張して作業活動を支援するための道具である.しかしながら,近年の制御・電子技術,計算機技術の開発向上により,単純な作業を実行する機械から,外部状況をもとに判断して自律的に行動する機械の実現へと,広がりを持ってきている.このような知的な機械の活動する実環境は時々刻々と変化するため,実世界でインタラクションを行なうためには,即応性が必要とされ,状況の知覚のためのロボットビジョンにおいても高速な処理機能が求められる.

 ロボットビジョンを,その処理機能の側面から見ると,ほとんどの場合,ビデオカメラから画像という形で得られる情報を処理することになる.入力されてくる画像を加工することを画像処理,画像処理によって抽出された特微をモデルと照合して認織することを画像認識,画像の表現する対象世界の意味内容を理解することを画像理解とすると,ロボットビジョンにおいてもこの画像処理,画像認識,画像理解のすべての機能が必要である.ロボットは,実世界で行動するという点が非常に大きな特徴である.このため,文字認識や写真理解などと異なるロボット用の視覚情報処理機能のあり方ということを考える必要がある.ロボットビジョンにおいては,対象が刻々と変わる実世界であるため,実時間処理が必要で,動的な情報の処理が可能でなくてはならない.行動する環境は三次元世界であるので,二次元的な位置計測や形状認識にとどまらず三次元情報の認識が必要となる.さらに,ロボットは動作してこそ機能が発揮されるため,その視覚処理システムは,動作制御システムと密な結合が可能なものでなくてはならない.ロボットビジョンでは,とりわけ,環境の変化の監視,視野内の変動の検出,動きの計測が重要である.このため,止まって・見て・考えて・動作する,というルックアンドムーブに留まらない,対象について意識して見続けながら処理すること,しかもその高速な処理が求められる.

 本研究の目的は,このような,対象を選択的に,そして高速に処理するロボットビジョンのシステムと手法を研究することにある.本研究では,このロボットビジョンを,入力されてくる視覚情報全体を均一に処理するのではなく,良く見るべきところは細かく,それ以外の部分は粗く,という注視処理に基づいて視覚処理で実現した.研究の主題は,このような注視処理を,複数の注視点の追跡処理に基づいて行なう手法とシステムの設計,開発,製作にある.ロボットの視覚タスクを,多数の注視領域の並列処理によって実現するため,研究のベースには注視点追跡をおいた.本研究では,この追跡処理に相関法を用いている.相関法は,従来よりパターン認識処理などに利用されてきたが,ここでは,ある時刻の注視点の近傍局所領域を探索して追跡の対象画像に最も対応する位置,すなわち画像の濃淡値を比較して最も相関度の高い画像の位置を,その時点における対象物体の追跡位置と判断するために用いた.本研究では,多数の注視領域の相関法に基づく追跡を高速に行なうための,ロボットビジョンハードウェア・ソフトウェア・システムを開発し,開発したシステムを使用して,相関法による注視処理として視覚追跡,オプティカルフロー生成,両眼立体視などの実験を行なった.注視点のよりロバストな追跡のため,相関法に基づく注視領域の生成手法,記憶画像に基づく視覚追跡手法を開発した.さらに,注視処理の全体としての信頼度向上のために,注視点追跡の信頼度に基づく複数注視点の協調手法を空間的分散と機能的分散の側面で考察した.

 まず,ロボットビジョンの視覚情報処理機能について,画像情報を処理して目的とする情報を取得するという意味では,画像処理,画像認識と重複するととらえ,文字認識や航空写真理解などと比較した際に,特徴的な点について考察し,視覚ベースのロボットの行動制御を実現するためには,実時間で,動き情報,三次元情報が必要で,しかも動作制御系との結合性に優れたシステムが必要であるということを説明した.

 この考え方に基づき,高速で柔軟性に富むロボットビジョンを実現するために,柔軟な注視制御機能,動作制御系との密結合性と拡張性,実時間での視覚追跡機能,を合わせ持ち,オプティカルフロー生成に基づく動き検出,両眼立体視による三次元追跡,高速なデプスマップ生成などへの対処が可能な,ロボットの行動制御を強く意義して構成した相関法による注視点追跡に基礎を置く視覚処理システムを設計し製作した.

 さらに,設計・開発・製作したロボットビジョンシステムによって注視点追跡に基づく視覚処理を行なうために,複数注視点の視覚処理のためのソフトウェアシステムを構築した.このソフトウェアは,ハードウェアカーネル,注視処理ライブラリ,複数注視点マネージャ,ロボットビジョンプログラムインタフェース,ロボットビジョンアプリケーションの五層構造よりなる.さらに,このソフトウェアシステムを使用して,参照領域と探索領域とを必要に応じて切替えることで様々な注視処理へ適用することが可能な,相関法による特徴抽出処理に基づいて,視覚追跡,オプティカル・フロー生成などの基礎実験が可能であることを示し,実験を行なって,それらを実証した.

 ロボットビジョンシステムにおける動的な状況の視覚処理機能には,全視野の一様処理よりも,どこをどのように見るかという対象の特徴的な部分を注目する局所処理がより重要であり,この際注視する特徴の選択基準および注視する領域の生成基準が課題となる.トークンの生成は,トラッキング処理の基礎となる対応点同定処理に適した領域に対して行うという手法を提案し,互いに密接に関わり合うトークンの生成・追跡を相関法に基づいて行なう手法とシステムを開発し,自己相関値分布の分類に基づく手法について実験を行ない有効性を示した.

 相関法に基づく視覚追跡をさまざまな局面で適用するため,記憶した画像に基づいて,見え方の変化に対応する画像を計算によって合成し,物体の回転運動,前後運動,姿勢変化などの三次元追跡を実現する記憶画像主導型の視覚追跡手法を開発した.また,計算による合成だけでは対応できない見え方の変化を追跡するための,遷移グラフで関連づけられた記憶画像を用いる手法,記憶画像を逐次更新しながら追跡する手法も開発し,これらの手法に関して,開発したシステム上に実装して実験を行ない,これらが実時間で実現可能であることを示した.

 複数領域の協調には,複数箇所の空間的分散の並列処理による協調と,複数種の機能的分散の並列処理による協調という二つの側面がある.局所相関演算を高速に行なう視覚処理ユニットを並列結合し,複数の領域間の拘束による構造化ウィンドウと複数種の追跡アルゴリズムの並列実行を利用した,処理の信頼度に基づいた協調制御によって,物体の追跡を行なう手法を開発した.複数箇所の空間的分散の協調については,人間の腕・手指の運動追跡,高速道路における追越車両のような見え隠れする対象の追跡,複数種の機能的分散の協調については,人間の顔の能動カメラによるステレオ追跡実験を示し,手法の有効性を実証した.

 以上,多数の注視領域の相関法に基づく追跡を行なうための,ロボットビジョンシステムのハードウェア,ソフトウェア,視覚処理手法,各種実験について,総合的にまとめたものである.

審査要旨

 本論文は、「相関法による注視点追跡に基づくロボットビジョンに関する研究」と題し、8章からなる。実世界で行動するロボットでは、視覚による監視、追跡、制御、などの諸機能を実時間で実現することが望まれている。このような環境の動的変化に効果的に対処する視覚システムを構築する場合には、対象物の特徴的な一部分を注視・追跡しつつ処理する能力が有効であり、また、高速かつロバストな視覚を実現するために各種の視覚機能を並列的に処理することが必要である。本論文は、高速な相関演算チップを用いた実時間の追跡型視覚機能の開発、色々な視覚タスクを多数の局所注視領域の並列処理によって実現する手法、及び、それを実行するシステムの構築について述べたものである。

 第1章は序論であり、研究の目的と論文の構成について述べている。

 第2章「ロボットの視覚処理機能」では、関連する研究をサーベイし、ロボットの視覚機能の研究の位置づけを行っている。ロボットビジョンの研究は、画像情報を処理して目的とする情報を取得するという意味では、画像処理、画像認識と重複する。しかし、ロボットビジョンでは認識の結果は動作に反映されねばならず、従って、ロボット用の視覚システムとしては、実時間性、動き情報、三次元情報、しかも動作制御系との結合性に優れたシステムが必要であると述べている。

 第3章「相関法による注視点追跡を行なうロボットビジョンシステム」では、高速で柔軟性に富むロボットビジョンを実現するために、柔軟な注視制御機能、動作制御系との密結合性と拡張性、実時間での視覚追跡機能、を合わせ持ち、オプティカルフロー生成に基づく動き検出、両眼立体視による三次元追跡、高速なデプスマップ生成などへの対処が可能な、ロボットの行動制御を強く意識して実際に開発した、相関法による注視点追跡に基礎を置く視覚処理システムのハードウエアについて詳しく述べている。

 第4章「複数注視点追跡を行なうロボットビジョン」では、第3章で設計・開発・製作したロボットビジョンシステムによって注視点追跡に基づく視覚処理を行なうために構築した複数注視点の視覚処理のためのソフトウェアシステムについて述べている。各種の基本的な注視処理を実行するライブラリについて述べると共に、相関法による特徴抽出処理に基づいて、視覚追跡、オプティカル・フロー生成などの基本的な視覚処理が実現可能であることを示し、実験を行なってそれらを実証している。

 ロボットビジョンシステムにおける動的な状況の視覚処理機能には、全視野の一様処理よりも、どこをどのように見るかという対象の特徴的な部分を注目する局所処理がより重要であり、この際注視する特徴の選択基準および注視する領域の生成基準が課題となる。第5章「注視点の選択と生成」では、トークンの生成はトラッキング処理の基礎となる対応点同定する処理に適した領域に対して行うという手法を提案し、互いに密接に関わり合うトークンの生成・追跡を相関法に基づいて行なう場合の手法とシステムについて説明している。

 第6章「記憶画像に基づく視覚追跡と認識」では、相関法に基づく視覚追跡をさまざまな局面で適用するため、記憶した画像に基づいて、見え方の変化に対応する画像を計算によって合成し、物体の回転運動、前後運動、姿勢変化などの三次元追跡を実現する記憶画像主導型の視覚追跡手法について述べる。また、計算による合成だけでは対応できない見え方の変化を追跡するための、遷移グラフで関連づけられた記憶画像を用いる手法、記憶画像を逐次更新しながら追跡する手法について述べている。これらの手法に関して、開発したシステム上に実装して行った実験を示し、これが実時間で実現可能であることを実証している。

 複数領域の協調には、複数箇所の空間的分散の並列処理による協調と、複数種の機能分散の並列処理による協調という二つの側面がある。第7章「複数注視点の協調に基づく視覚追跡」では、局所相関演算を高速に行なう視覚処理ユニットを並列結合し、複数の領域間の拘束による構造化ウィンドウと複数種の追跡アルゴリズムの並列実行を利用した、処理の信頼度に基づいた協調制御によって、物体の追跡を行なう手法と実験について述べている。

 第8章「結論および考察」は、これまでの各章で展開した議論を総括して、結論を示す。また、本研究の成果と課題を踏まえて、注視点追跡に基づくロボットビジョンの将来の展開について、その方向性について展望を述べている。

 以上、これを要するに本論文は、多数の注視領域の相関法に基づく追跡を高速に行なうための、ロボット視覚システムのハードウェア、ソフトウェア、および各種の実験に関する総合的な研究をまとめたものであり、このシステムの応用範囲はロボットだけに止まらず、ヒューマン・コンピュータ・インターフェイスなど幅広い分野における実時間の処理を可能とするもので、情報工学上貢献するところ少なくない。

 よって、著者は、東京大学大学院工学系研究科情報工学専攻における博士の学位論文審査に合格したものと認める。

UTokyo Repositoryリンク