惑星表面ナビゲーションの危険を検出する構造化照明システム
マシンビジョンでのカメラキャリブレーションとマルチドットレーザプロジェクターシステムは、惑星ローバーに仮想バンパーを提供する。
惑星ローバーのナビゲーションには、搭載された計算資源と電力の制約、現地の地形や照明条件などの詳細な情報の欠如といった制約がある。月や水星、小惑星のような空気のない環境における画像の取得も、明るい太陽光や暗い影による高いダイナミックレンジに関連する極端なイメージング条件のため、同様に困難を伴う。このような環境での使用に適応するためには、自律ローバーや半自律ローバーをビジョンシステムと共に展開して、周囲の環境を確認できるようにすることが必要である。
そのようなシステムの例の1つが、こういった環境で障害物を回避するための仮想バンパーシステムである。仮想バンパーは非接触型の接近保護センサであり、ローバーの危険検出における最後の砦として機能する。完全に暗い領域を走行している間は、電力を考慮して、通常このシステムが唯一常時オンのナビゲーションセンサとなる。従ってこのシステムは、惑星探査ミッションの制約要件内で、障害物を迅速かつ確実に検出する必要がある。
本稿で紹介する、このようなタスクのためにNASAの科学者のチームが特別に設計した、構造化照明システムは、キャリブレーションされたカメラとレーザドットプロジェクターシステムからなる。このシステムは、画像中にある投影されたドットの位置を検出し、三角測量プロセスを通じて、潜在的な危険を検出する。
チームが開発したこのシステムは、ソニーの1388×1038ピクセル ICX267CCDイメージセンサを中心に構築された、独アライド・ビジョン社（Allied Vision）のG-146 GigE Visionカメラ1台からなる。カメラはフル解像度でほぼ18fpsに 達 し、Power over Ether net規格である。独ツァイス社（Zeiss）のCマウントレンズと、加オセラ社（Osela）のStreamlineシリーズのレーザの波長に調整された狭帯域フィルタを使用する。フィルタはレーザプロジェクターの波長帯以外の太陽光を遮断する。カメラとレーザはラップトップに接続して処理する。
この工業用グレードのレーザは、ドット間の均一性が高く高効率の、正確に角度間隔を空けたドットの列を投影する。カメラはモノクロレーザによって投影されたドットを単一の画像から検出する。投影されたドットがシーン内の他のすべての照明よりも明るいことだけが必要である。これは、周囲の照明によるピクセル強度に対する、レーザプロジェクターの照明によるピクセル強度の比率が、一定のしきい値よりも大きくなるようにすることで実現される。
ハザード検出
NASAのハザード検出システムは、OpenCVライブラリと専用ソフトウエアで構成されている。ソフトウエアは、投影されたレーザドットを利用し、ローバーの進路の潜在的な障害物を特定する。このシステムでは、投影されたすべてのドットは同じエピポーラ線上に整列し、カメラの前の障害物は、レーザ照射されたピクセルの水平方向の位置のシフトのみを決定する。ドットの垂直方向の位置は、画像の同じ行に残る。このような設計により、レーザドットの位置の検索が単一の画像ラインだけでよくなるため、画像の取得及
び処理の時間が大幅に短縮される。
同じカメラ姿勢及び照明条件におけるレーザ投影ドットの有無にかかわらずでキャプチャされた2つの画像がある場合、これらの2つの画像間の違いにより、主に強度の低い画像ノイズと共にレーザで照明されたピクセルが選択される。このソリューションでは、ローバーが停止して、同じカメラ姿勢から2つの画像がキャプチャされることを確認する必要がある。
しきい値は次のように選択される。
投影されたレーザドットを表示する単一の画像を使用すると、次のような固定しきい値Tを使用して、レーザプロジェクターによって照明されるすべてのピクセルを選択できる。
この場合、さまざまな傾斜やアルベド値といった地形特徴が、投影されたレーザビームと混同されないように、レーザ投影出力を大幅に高くする必要がある。あるいは地形特徴が緩やかに変化することを前提として、背景の関心領域（Region Of Interest：ROI）を使用できる。背景のROIは、投影されたレーザドットを含むROIと同じ幅、高さ、左水平ピクセルの値を持ち、決められたピクセル値だけ垂直方向にシフトする。背景のROIは、背景画像が利用できない場合に背景画像の外観を近似し、この場合のしきい値Tは次のように選択できる。
そうすることで連続的なローバーの操作とレーザ出力強度の低減が可能になるが、これはゆっくりと変化する地形特徴を前提としている。この処理段階の出力は、しきい値処理によって取得されたROIサイズのバイナリイメージである。T値を超える強度値を持つピクセルは1に設定される。他のすべてのピクセルは0に設定され、破棄される。
バイナリイメージのピクセルは、連結成分アルゴリズムを使用して、いくつかのクラスタにグループ化される。各クラスタの重心は、クラスタに属するすべてのピクセルの位置の平均化によって計算される。一定のしきい値を下回る数ピクセルのクラスタは削除される。
検出アルゴリズムは、ROI内のレーザドットの数とそれらの相対位置を決定する。ROIで検出された重心の数がレーザビームの数より少ない場合、アルゴリズムは障害物を検出する。これは、指定された許容範囲の障害物の最大ピクセル視差に対する画像のROIのサイズが原因である。このケースは、ピクセルの視差以上にすべてのレーザドットを水平方向にシフトさせるオクルージョン、幅のある障害物の検出（正または負）、地形傾斜の検出に対応する。
検出されたドットの数がレーザビームの数と等しい場合、ピクセルの順序に基づく単純な対応関係が、平面上で予想されるドットの位置と、検出された位置との間で確立される。予想されるドット位置と検出されたドット位置の間の水平方向の距離が、ドットのピクセル視差よりも大きな場合、アルゴリズムは障害物を検出する。このケースは、すべてのドットの位置に影響を与えるのではなく、それらのサブセットにのみ影響を与える、幅の狭い障害物（正または負）に対応する。
（もっと読む場合は出典元へ）
出典元
http://ex-press.jp/wp-content/uploads/2020/11/028-032_ft_machine_vision.pdf