学位論文要旨



No 127611
著者(漢字) 玉城,絵美
著者(英字)
著者(カナ) タマキ,エミ
標題(和) ハンドジェスチャ入出力技術とその応用に関する研究
標題(洋)
報告番号 127611
報告番号 甲27611
学位授与日 2011.11.30
学位種別 課程博士
学位種類 博士(学際情報学)
学位記番号 博学情第44号
研究科 学際情報学府
専攻 学際情報学
論文審査委員 主査: 東京大学 教授 暦本,純一
 東京大学 教授 坂村,健
 東京大学 教授 越塚,登
 東京大学 教授 佐藤,洋一
 電気通信大学 准教授 梶本,裕之
内容要旨 要旨を表示する

本研究は、手の動作と触感を阻害せずに、ハンドジェスチャ情報によりコンピュータとインタラクションを行うための技術を確立することを目指している。その最初の段階として、2つの基礎技術を本論文で提案した。一つ目は、コンピュータへ情報を入力する基礎技術である。ユーザのハンドジェスチャをコンピュータが認識し、それを情報として取り扱い、コンピュータ内の操作を行う。もう一つは、コンピュータから情報を出力する基礎技術である。コンピュータが、ユーザのハンドジェスチャを動作させることによって、ユーザに情報を伝える。

コンピュータへの情報入力を目指して、ヒトが他者の手指形状(ハンドポスチャ)を認識する情報量と同等の情報量を入力できることを達成目標とし、単眼のカラーカメラを使用して、データベース照会により手指形状の推定を行った。従来の手の輪郭線特徴量によるデータベース照会は、前腕を回転させると推定精度が極端に低下する欠点があった。そこで手指の輪郭線の特徴量に爪の位置情報を追加することにより、指先の位置および表裏の情報も併用する手指形状の推定システムを提案した。

提案システムでは、手指形状を推定するため、手の輪郭線特徴量と爪の位置情報を用いたデータベース照会を行った。提案するシステムでは、データグローブを装着した状態で手画像を取得し、手指の輪郭線特徴量、爪の位置情報及び関節角度データを持ったデータセットを作成した。次に、データセットを前腕回旋角度と手指関節角度によってクラスタリングし、データベースを構築した。最後に、手指画像がシステムへ入力されると、その手指画像の爪の位置情報と輪郭線特徴量を元にデータベース内の類似データセットを検索し、そのデータセットが持つ手指関節角度を出力する手指形状推定システムを構築した。このとき、肌領域と爪領域を高速に抽出できる個人別表色系を用いた。

データグローブを装着した状態で手指形状の推定を行い、データグローブから出力された関節角度と、本システムから出力された関節角度を比較して行った評価実験の結果、前腕回旋動作に対応しながら、推定誤差の標準偏差±7.23度での手指関節角度の推定を実現した。ヒトが他者の手を見る際に、10度以下の形状の違いは瞬時に認識できないが、本システムの推定誤差の標準偏差は10度以下の精度となった。一方、爪の位置情報を持たない推定システムの標準偏差は±22.0度であった。また、CPUがPentium IV、クロック周波数2.8GHzのPCを用いたとき、本システムの平均処理速度は100fpsの高速処理であった。

一連の結果から本システムの有用性が確認された。同実験をふまえ、提案システムをヒトが他者の手指状態を認識する情報量と同等の情報量を入力する基礎技術の目標を達成したとした。

コンピュータからの情報出力を目指して、ヒトが他者の手を見たり、他者から直接指を屈曲伸展してもらった際と同じ情報量を出力できること、つまり、ヒトがコンピュータから出力された手の状態を、視覚と体性感覚で確認できることを達成目標とした。本研究では、電気刺激を用いて手形状を制御するPossessedHandを提案した。28個の非侵襲性のパッド型電極を通して、前腕周辺の手指を駆動する筋肉に電気刺激を与えた。刺激経路、電気刺激のレベルと手指の動作は、個人によって異なるため、それらの初期設定手法を提案した。

初期設定の際には、PossessedHandを用いて、刺激経路と電気刺激のレベルを組み合わせた全ての電気刺激を与え、その刺激と対応する手指の動作を登録することにより、個人ごとに電気刺激に関する事項を設定した。初期設定を行う項目は、刺激経路を選択するための電極パッドの位置、電気刺激のレベルとタイミングの三つである。電極パッドによる14刺激経路と12段階の電気刺激レベル、計168の刺激パターンを前腕の筋肉に対して与えた。その際に、指の動作が見られた刺激パターンを記録し、それぞれの関連を設定した。タイミングを同期するため、提案手法では刺激と同時にビープ音を発生させた。ユーザは、ビープ音を手がかりとして、手指の動作と電気刺激を与えるタイミングを調整した。

前述の初期設定手法を用いて8人の被験者に対し、動作実験を行ったところ、3関節の独立動作と13関節の連動動作、合計16関節の屈曲動作と指伸展動作を視覚的に確認した。独立動作する3関節は、人差し指、中指と薬指の3つのPIP関節(第二関節、Proximal Interphalangeal Joints)であり、100%の確率で動作した。また、小指のPIP関節と親指のIP関節(親指第一関節、Thumb Interphalangeal Joints)が独立動作する被験者も一人いた。連動動作する13関節のうち小指以外の8関節は、各々の指の他の関節と連動しており、各々の指は独立して動作した。また、被験者らはPossessedHandにより動作した指関節を、目を閉じた状態で、被験者自身が体性感覚で正しく認識していることがわかった。PossessedHandにより動作した指が発生する力の強さを計測したところ、平均して88.75gであった。

本研究の実験結果より、PossessedHandは、「挟む」、「つまむ」や「物を持ち上げる」など実物体を持ち上げることは出来ないが、各指の屈曲を動作させ、ユーザにハンドジェスチャの情報として提示できる段階であることがわかった。これらをふまえ、PossessedHandの応用となりうる楽器演奏の補助システムについて議論した。PossessedHandは楽器演奏初心者に対し、演奏に適切な指とそのタイミングを教示した。PossessedHandにより出力される手指の力は実物体を把持や、楽器演奏する(弦をつま弾く、鍵盤を押さえる等)には力が足りないが、楽器演奏中にどの指を動かせばよいかを教示するには十分な力の大きさであった。

一連の結果から提案システムが、ヒトがコンピュータから出力された手の状態を、視覚と体性感覚で確認できる基礎技術の目標を達成とした。

本研究での結果を要約すると、ハンドジェスチャ入力を目指した基礎技術では、カメラを用いて手の輪郭線特徴と爪の位置情報のデータベース照会システムによる、手指の形状つまりハンドポスチャを推定する手法を提案した。ハンドジェスチャ出力を目指した基礎技術では、ユーザの前腕に28個の電極パッドが設置されたベルトを用いて配置し、前腕の筋肉に電気刺激を与える事で、手指を動作させると手法を用いた。また、刺激経路、電気刺激のレベルと動作タイミングに関する初期設定手法を提案した。以上2つの手法を、手の動作と触感を阻害せずに、ハンドジェスチャ情報をコンピュータへ入出力する基礎技術として提案した。

審査要旨 要旨を表示する

本論文は、ハンドジェスチャを用いたヒューマンコンピュータインタラクション研究に関するものであり、二つの基盤技術の提案を行っている。一つ目は、コンピュータへ情報を入力するジェスチャ認識技術である。ユーザの手形状をコンピュータが認識し、コンピュータの操作を行う。これを本論文では「ハンドジェスチャ入力」と呼ぶ。二つ目は、コンピュータによって入間の手形状を制御する技術である。コンピュータが、機能性電気刺激を介して入間のハンドジェスチャを動作させることによって、装置の利用者に情報を伝える。これを本論文では「ハンドジェスチャ出力」と呼ぶ。

本論文の前半部分はハンドジェスチャ入力に関するもので、利用者が他者の手指形状(ハンドボスチャ)を認識する情報量と同等の情報量を入力できることを達成目標と設定した。単眼のカラーカメラを使用して、データベース照会により手指形状の推定を行った。従来技術として手の輪郭線特徴量をデータベースに照会し認識する方法が知られているが、前腕を回転させると推定精度が極端に低下する欠点があった。そこで本研究では、手指の輪郭線の特徴量に爪の位置情報を追加することにより指先の位置および表裏の情報も併用する手指形状の推定手法を提案した。

提案手法を検証するために、手の輪郭線特徴量と爪の位置情報を用いたデータベース構築を行った。データグローブを装着した状態で手画像を取得し、手指の輪郭線特徴量、爪の位置情報及び関節角度データを持ったデータセットを作成した。次に、データセットを前腕回旋角度と手指関節角度によってクラスタリングし、データベースを構築した。最後に、手指画像がシステムへ入力されると、その手指画像の爪の位置情報と輪郭線特徴量を元にデータベース内の類似データセットを検索し、そのデータセットが持つ手指関節角度を出力する手指形状推定システムを構築した。このとき、肌領域と爪領域を高速に抽出できる個人別表色系を用いた。

データグローブを装着した状態で手指形状の推定を行い、データグローブから出力された関節角度と、本システムから出力された関節角度を比較して行った評価実験の結果、前腕回旋動作に対応しながら、推定誤差の標準偏差±7.23度での手指関節角度の推定を実現した。ヒトが他者の手を見る際に、、10度以下の形状の違いは瞬時に認識できないが、本システムの推定誤差の標準偏差は10度以下の精度となった。一方、爪の位置情報を持たない推定システムの標準偏差は±22.O度であった。,また、CPUがPentium IV、クロック周波数2.8GHzのPCを用いたとき、平均100フレーム/秒で処理を行うことができた。これら一連の結果から、本システムの有用性が確認された。同実験をふまえ、提案システムをヒトが他者の手指状態を認識する情報量と同等の情報量を入力する基礎技術の目標を達成したとした。

本論文の後半部分ではハンドジェスチャ出力のための手法を提案している。利用者が他者の手を見て、他者から直接指を屈曲伸展してもらった際と同じ情報量を出力できること、すなわち利用者がコンピュータから出力された手の状態を、視覚と体性感覚で確認できることを達成目標とした。具体的には、機能的電気刺激と呼ばれる手法を拡張し、手形状を制御する方式を提案した。28個の非侵襲性のパッド型電極を通して、前腕周辺の手指を駆動する筋肉に電気刺激を与えた。刺激経路、電気刺激のレベルと手指の動作は、個人によって異なるため、それらの初期設定手法を提案した。

装着された電極による手指制御の関係を設定するために、電極による刺激経路と電気刺激のレベルを組み合わせた全ての刺激を順に発生させ、その刺激と対応する手指の動作を登録することにより、個人ごとに電気刺激に関する事項を設定する方式を構築した。初期設定を行う項目は、刺激経路を選択するための電極パッドの位置、電気刺激のレベルとタイミングの三つである。電極パッドによる14刺激経路と12段階の電気刺激レべル、計168の刺激パターンを前腕の筋肉に対して与え、指の動作が見られた刺激パターンを記録し、それぞれの関連を設定した。

前述の初期設定手法を用いて8人の被験者に対し、動作実験を行ったところ、3関節の独立動作と13関節の連動動作、合計16関節の屈曲動作と指伸展動作を視覚的に確認した。独立動作する3関節は、人差し指、中指と薬指の3つの第二関節(Proximal Interphalangeal Joints,PIP関節)であり、被験者全員において動作した。また、小指の第二関節(PIP関節}と親指の第一関節(Thumb Interphalangeal Joints)が独立動作する被験者も一人いた。連動動作する13関節のうち小指以外の8関節は、各々の指の他の関節と連動しており、各々の指は独掌して動作した。また、被験者らは提案方式により動作した指関節を、目を閉じた状態で、被験者自身が体性感覚で正しく認識していることがわかった。また、制御した指が発生する力の強さを計測したところ、平均して88.75gであった。

以上の実験結果より、提案方式では、「挟む」、「つまむ」や「物を持ち上げる」など実物体を持ち上げることは出来ないものの、各指の屈曲を動作させ、ユーザにハンドジェスチャの情報として提示できる段階であることが確認できた。

得られた知見をふまえ、応用となりうる楽器演奏の補助システムを構築し、本方式の有効性を検証した。楽器(琴)の演奏初心者に対し、演奏に必要な指ごとにタイミングを教示した。被験者に対して楽器練習の比較実験を行い、本方式を利用した際に演奏タイミングや演奏ミスが軽減される傾向にあることを確認した。

これら一連の結果から、提案方式が、人間がコンピュータから出力された手の状態を視覚と体性感覚で確認でき、研究目標を達成できたと結論づけた。

本論文の貢献を要約すると、ハンドジェスチャ入力を目指した技術では、カメラを用いて手の輪郭線特徴と爪の位置情報のデータベース照会システムによる、手指の形状つまりハンドボスチャを推定する手法を提案した。ハンドジェスチャ出力を目指した技術では、ユーザの前腕に28個の電極パッドが設置されたベルトを用いて配置し、前腕の筋肉に電気刺激を与える事で、手指を動作させると手法を提案し、刺激経路、電気刺激のレベルと動作タイミングに関する初期設定手法を含むシステムを構築した。以上の手法により、手の動作と触感を阻害せずに、ハンドジェスチャ情報をコンピュータへ入出力する基礎技術として確立した。

審査委員からは、前半と後半の研究を融合した場合の可能性、提案技術の応用可能性についてより進んだ議論を期待するという意見もあったが、総合的にみて本研究が博士号に値することについて委員全員が合意した。よって、本審査委員会は、本論文が博士(学際情報学)の学位に相当するものと判断する。

UTokyo Repositoryリンク