水中高密度3次元復元のためのDNNによるマーカーベースのキャリブレーション手法
近年、海洋資源の重要性が認識され、水中三次元復元の需要が高まっています。 ただし、水中環境と空気環境には大きな違いがあるため、従来のカメラとパターンプロジェクターを使用したアクティブな三次元復元手法を水中にそのまま適用することが難しい。

この研究では、水中でレーザーベースの三次元復元手法を適用し、水中ROV上に実システムも実装しました。 屈折の解決策として、近似カメラモデルと特別設計された装置の使用による歪み無しのラインレーザープロジェクターが使われています。 そして、水中キャリブレーション中の困難の解決策として、ロバストなマーカー検出のためのDNNベースのアルゴリズムを提案します。

System overview
図 1. システム構成(左)と実際のシステム(右)

DNNによるARマーカーの検出

空中では、キャリブ板とスキャナー装置の位置を固定してから、キャリブレーションのためのレーザーのオン/オフ画像を撮る事ができます。 一方、水中環境では水流が強いため装置の固定が出来ない問題があります。 水中では、レーザーオン画像しか撮らないため、レーザーパターンがARマーカーに重なっており、マーカーの検出が大幅に妨げられています。
解決策として、レーザーオン画像からARマーカーの位置とIDを直接検出する新しいDNNを提案しました。 また、自動再スケール法を適用して、さまざまなデータセットのARマーカーのサイズ変化にも対応しました。

テストとして、プールや海など、さまざまな条件で空中と水中で取得した5つのデータセットが使われています。 既存の方法(ARToolKit)とDNNの方法で検出された結果を比較することにより、私たちの方法が効果的に機能したことが明確に確認されます。

Marker detection
図 2. ARマーカー検出の例
(左:入力画像、中央:DNN出力マスク、右:ARToolKitとDNNの検出結果の比較、青いのはARToolKitによる検出結果、赤いのはDNNによって追加検出されたマーカー)

水中三次元復元の結果

デモンストレーションのためにいくつかのフレームの結果を手動で組み合わせることにより、プール内のオブジェクトも復元しました。 図3に示すように、オブジェクトの表面とプールの底は明確に分離されており、提案手法の有効性が実証されています。

Result
図 3. テーブルとキャリブ板の復元結果.


Publications
  • 王 涵彬, 永松 元気, 岩口 尭史, 白倉 尚貴, 高松 淳, 川崎 洋, Multi line-lasers ROV for underwater dense 3D shape reconstruction using marker-based calibration by DNN, MIRU2021, 4 pages, 2021
  • Hanbin Wang, Takafumi Iwaguchi, Hiroshi Kawasaki, ROBUST CALIBRATION-MARKER AND LASER-LINE DETECTION FOR UNDERWATER 3D SHAPE RECONSTRUCTION BY DEEP NEURAL NETWORK, IEEE International Conference on Image Processing (ICIP), 5 pages, 2022
Kawasaki Laboratory