 |
顔のマーカレスモーションキャプチャシステム |
|
顔のモーションデータはCGアニメーションや表情解析等に利用されています。
モーションキャプチャでは、顔に反射材をつけたり、ペイントを施す等の、
マーカを用いた方法が広く用いられていますが、マーカを用いると、
接触を伴うような動きや、顔そのものの色がアニメーションに利用できない等の問題があります。
そこで、本研究では3次元点群情報からマーカレスで顔の動きを追跡するための方法を提案しています。
提案手法は、（１）顔を５種類の領域に分割する、（２）各領域毎に変形を追跡する、
という2段階の処理があります。さらに、追跡精度を高めるために（３）特徴点の自動選択手法を
併せて提案しています。
（１）顔の領域分割
顔は領域毎に脂肪の厚さが違うので、変形量も異なります。
そこで、顔を「口」「鼻」「目」「頬」「その他」の5種類の領域に分割します。
分割では、各部位のの3次元形状特徴を学習することで、顔の3次元点群データを自動的に分割を行います。
3次元形状特徴には（First point feature histgram）を用いて、
学習にはRandom Forestを用います。
その結果、次の図のような顔の領域分割が可能になります。
（２）顔の変形トラッキング
分割した顔の各領域毎に、変形を追跡します。
変形の追跡には、Non-rigid registrationの1手法であるL2-GBRFを用います。
ただし、この手法を用いただけでは顔の部位毎に変形が異なり、
隙間があいてしまう問題が発生します。
そこで、変形の追跡結果から点をランダムに抽出し、
Free Form Deformationを利用した顔の変形の統合を行います。
以上の手法により、次の図のように顔の動きを追跡することが可能になりました。
また、追跡の平均誤差は約2mm以下です。
（３）特徴点の自動選択
（２）の追跡結果では、部位毎の変形の追跡結果を統合をする際に
ランダムに移動点を選んでいました。
このプロセスにおいて、誤差を減らす工夫として、追跡誤差の多い部位に対して
追跡点を追加する手法を提案しました。
追跡点を追加する際には、ノイズ等の影響を排除するために、
その点の運動が周辺の運動と連動しているかどうかを評価し、
小領域の運動を代表するような点を選択しました。
この結果、顔の変形追跡精度が向上し、
以下の図およびグラフのように、追跡誤差を平均で1mm程度に削減することが可能となりました。
Publications
|
| Kawasaki Laboratory |