ジオメトリ設定を一般化した水中Structure-from-Motionの研究
近年, ロボットビジョン・海洋生物学・スポーツ科学等の分野において水中3次元復元の需要が高まっている. 水中3次元復元の有力な手法の一つとしてStructure-from-Motion (SfM)が知られており, 水面において光の屈折が発生することを考慮した非中心射影モデルを用いる必要があるという点で注目を集めている.

一方で, 水中SfMの研究はカメラの前に正対した状態で平らなハウジング境界面が固定されるというジオメトリを前提としたものに偏っており, ハウジング境界面が動くケースやハウジング境界面が平らでないケース(波立つ水面など)を想定した研究はあまり行われていなかった(表1).
表1 水中SfMの関連研究
本研究ではこれらの様々なシナリオを一般化されたモデルで表現し, 各シナリオをその特殊化事例として解くことを目的とする.

一般化水中SfMモデル

図1 一般化水中SfMモデル
図1は本研究において提案する一般化水中SfMモデルを表す. ここでは水中のシーンを固定し, 屈折境界面とカメラがそれぞれ自由に動くジオメトリを定義しており, 相対的に水中のシーンが動くシナリオも表現できる. 屈折境界面は平面だが表面の法線は位置ごとに異なると仮定しており, 屈折による大きな投影位置のずれを表現できる.

表1における各シナリオは全てこのモデルの特殊化事例として表現できる. 例えば, カメラと屈折境界面間の距離を一定とし, 屈折境界面の法線を全てカメラに正対とすると一般的な水中SfMのジオメトリ設定と同値となる.

最適化アルゴリズム

バンドル調整などの3次元復元における最適化アルゴリズムには通常順投影による再投影誤差最小化が用いられる. しかし, 本モデルにおいては屈折境界面が位置ごとに異なる(連続性を仮定していない)法線を持つため, 順投影計算を解析的に行えない. そこで, 画像上の各点から3次元空間中に対してレイを飛ばし, ある一点でレイ同士が交差することを拘束とする.
図2 屈折境界面の法線拘束
本モデルの特殊化事例として屈折境界面が個別の法線を持たない完全な平面であることを仮定した場合においては, 通常のバンドル調整と同様に順投影によって最適化することができる(図2 左). 一方で屈折境界面が完全な平面とは仮定できない場合, 各点に完全に自由な法線を持たせるとあらゆるレイが表現可能となり縮退して正しく復元が行われない. そのため, 近傍の法線が近い値を持つことを前提とした滑らかさ拘束を加える(図2 右).

水中SfM実測結果

以下に本研究の一般化水中SfMモデルと最適化アルゴリズムによる復元結果を示す.
図3 水中のマネキンの復元実験(カメラ・シーン固定で屈折境界面のみ動くシナリオ)

図4 造波装置を備えたプールにおける机の復元実験(シーン固定でカメラと屈折境界面が動くシナリオ)

Publications
Kawasaki Laboratory