フォトメトリックステレオ法反射解析による画像コントラストの強調

アーノード・リナ、ピエラントニオ・ボリエロ、カティア・オストロフスキ

フォトメトリックステレオ法は、さまざまな方向から照明を当てて撮影した画像を組み合わせて反射を解析することにより、画像コントラストを強調することのできる効果的なコンピュテーショナルイメージング手法である。

マシンビジョン分野における主要な課題の1つは、対象とする物体または特徴（欠陥や記号など）を一般的な背景から高い信頼性で識別できるように、十分なコントラストの画像を生成することである。それらの特徴は、他の部分と同じ色合いでありながら、表面から突起または埋没している場合や、表面の他の部分とコーティングやテクスチャが異なっている場合がある。
　そうした状況に対し、十分なコントラストを生成するのは難しい。しかし、フォトメトリックステレオ法は、さまざまな方向から照明を当てて撮影した画像を組み合わせて、それらの画像から得られた反射を解析することにより、コントラストを強調した画像を生成する、効果的なコンピュテーショナルイメージング手法である。

フォトメトリックステレオの理論

均等に色付けされた物体があるとしよう。その表面上の陰影は通常、光源に対する表面の向きと、入射光の性質によって変化する。そのため、1枚の画像で物体表面のすべての細部を捉えることはできないことはよく知られている。
　フォトメトリックステレオ法は、物体の3D形状を2Dテクスチャから切り出すコンピュテーショナルイメージング手法である。2Dテクスチャ（ザラザラした表面や凹凸のある表面など）を3D表面から除去した後に、フォトメトリックステレオ解析によって、物体の表面曲率を算出して、従来の画像処理手法では検出できないかもしれない小さな欠陥を特定することができる。
　基本的に、フォトメトリックステレオ法では、照明条件の光強度を変えることにより、異なる照明条件下で同じ位置から対象物体を観測することによって、物体の表面法線を算定する（1）。
　この処理において、カメラは照明に対して固定で、一連の画像を取得する間、その他のカメラ設定は変更しないと仮定される。こうして得られた画像を組み合わせることによって、1枚の合成画像が作成される。その放射制約から、表面の向きと表面の曲率の両方の局所的な推定値を得ることができる（1）。
　フォトメトリックステレオイメージングは、複数画像における反射率と照明の既知の組み合わせから導出したデータに基づいて、物体の表面の向きと曲率を示すことを目的とする。これは、生産や製造ラインなど、品質管理と品質保証の要件が厳しいマシンビジョン用途において非常に重要な処理である。
　ランベルト（Lambert）は1760年の自書「Photometria」で、完全な拡散反射、つまり「ランベルト反射」の概念を初めて示した。ランベルト面とは、観測者の画角にかかわらず、表面放射がすべての方向に均等となる理想的なマット面のことである（2）。ウーダム（Woodham）によるフォトメトリックステレオの理論は、ランベルトの概念に基づいている。初期の研究では、表面反射モデルがランベルト面に限定されていた。その仮定によって、計算は大幅に簡素化される。
　フォトメトリックステレオの理論はその後、Phongモデル、Torrance-Sparrowモデル、Wardモデルなど、非ランベルト面の反射モデルも含むように拡張された。より最近の研究によって、この手法の可能性はさらに拡大されている（3）。対象表面の3D高さも、表面の向きから導出することができる。ただし、ステレオ測光に基づく3D再構築は、一般的に分解能が限定される。また、物体の表面特性に左右されやすいため、実用化は非常に難しい。

理論から実装へ

フォトメトリックステレオの登録処理では、ランベルト（マット、拡散）面に基づく強調画像を計算する際に、材料の反射特性と物体の表面曲率を使用する。この場合、拡散反射光の強度Iは、入射光方向L と表面法線n の間の角度に比例する（図1）。比例係数は、アルベド（albedo）反射率alpha で、これはランベルトの余弦則の概念である（4）。表面のアルベドは、その表面で反射される入射日光の割合である（5）。
　したがって、この例における未知数は、表面法線n とアルベド反射率alphaである。光源は遠くにあり、すべての光線は平行であるとみなす。照明設定（光源ごとに1つ）内の方向L から、方向L は事前に既知となる。
　これらの未知数を解くにはまず、同一平面上にない3つ以上の光方向で物体を撮像する。各画像は、それぞれ特定の光方向に対応する（図2）。それぞれ特定方向の照明で撮影されたこれらの画像を使用して、物体の各ポイントにおけるアルベド値と法線を計算することができる。
　フォトメトリックステレオ解析によって導出される表面法線に関する情報により、物体表面に関する重要な情報を明らかにすることができる。例えば、滑らかに見える表面上に存在する、表面の不規則性（エンボス加工や彫刻加工された形状、引っかき傷、くぼみなど）などである。
　フォトメトリックステレオ法では、対象領域の法線を求めるために少なくとも3枚の画像が必要だが、イメージング処理に固有のノイズを抑え、より正確な画像を生成するために、それ以上の方向の光源を使用するのが、一般的である（6）（7）。複数画像による冗長性が、より良い解析結果を生む。実際には通常、最低で4枚の画像が必要になる（図3）（8）。

（もっと読む場合は出典元へ）
出典元
http://ex-press.jp/wp-content/uploads/2019/11/020_computational_imaging.pdf