 |
水中におけるMulti-scale CNNを用いたパターン投影ステレオ |
近年, ロボットビジョン・海洋生物学・スポーツ科学等の分野において水中3次元復元の需要が高まっている.
そこで本研究では動的な水中のシーンを正確かつ密に計測する手法を提案している.
水中における3次元計測は, 減衰・屈折・気泡などの水中特有の外乱に影響されるため, 空中と同じ手法をそのまま用いることができない.
本研究では以下に示すいくつかの手法を用いてそれらの外乱にロバストな水中環境に適した計測手法を提案し,
実現可能性を確認するため実際に水中を泳ぐ魚と水泳選手の計測を行った.
パターン投影ステレオ水中における計測の最大の課題は可視光の減衰である. 減衰はコントラストを低下させるため, コントラストが低い状況でも投影パターンを検出することで復元が可能なアクティブステレオ法は減衰に強い. しかし動的なアクティブステレオ法では一般に密な復元ができないほか, 光源の屈折の影響も考慮する必要があるためアルゴリズムが複雑である. そこで本研究では人工的なテクスチャとコントラストを追加するためにパターンを投影し, 復元はパッシブステレオ法で行うパターン投影ステレオを用いた. この手法は光源の屈折を無視できるためシンプルなアルゴリズムで密な復元が可能である.
近似による屈折歪み除去通常, カメラは防水のハウジングに入れられるため, その境界面で屈折が発生する. 歪みのない平行ステレオではエピポーラ線が水平になるが, 屈折が存在することでこれが水平にならず, パッシブステレオアルゴリズムの適用が困難になる. そのため, 屈折歪みを焦点距離の調整と歪曲収差モデルにより近似的に吸収する手法が知られており, 本研究ではシミュレーションによってその近似精度を確認することで実用的に屈折を吸収可能な深度範囲を調査した.
Multi-scale CNN stereoによる水中外乱にロバストなステレオマッチング水中では気泡や光のゆらぎなどの特有の外乱が発生し, ステレオマッチングの精度を低下させるという問題がある. 近年, CNNを用いて学習ベースでステレオマッチングを行う手法が広く研究されており, 本研究ではさらにそれを気泡などのスケールの変化が大きい水中環境に適用するためMulti-scaleモデルに拡張した. これにより, 気泡の存在下でもロバストなステレオマッチングが可能になった. このネットワークのコードはUnderwater Multi-scale CNN stereoで公開している.
Multi-scale CNNによる投影パターン除去撮影された画像には光源から投影されたパターンが含まれる. しかし, より正確なテクスチャを得るためにはこのパターンは除去されるほうが望ましい. この投影パターンもスケールの変化が大きいため, Multi-scale CNNを用いて除去を行った.
実世界水中環境の計測提案手法の実現可能性を確認するため, 水中を泳ぐ魚と水泳選手の計測を行った.Resources
Data: Coel dataset (original stereo dataset) Data: Bubble database Publications
|
| Kawasaki Laboratory |