3Dビジュアルイメージングの原理を徹底的に理解する

3D ビジョンイメージングは​​産業用ロボットの情報認識のための最も重要な方法の 1 つであり、光学式イメージング方法と非光学式イメージング方法に分けられます。現在、最も使用されている光学的方法には、飛行時間法、構造化光法、レーザースキャニング法、モアレ縞法、レーザースペックル法、干渉法、写真測量法、レーザー追跡法、動きからの形状、影からの形状、その他ShapefromX。本稿では、いくつかの代表的なスキームを紹介します。

1. 飛行時間型3Dイメージング

飛行時間型 (TOF) カメラの各ピクセルは、光の飛行の時間差を利用して物体の深さを取得します。

古典的な TOF 測定方法では、検出器システムは、光パルスが放射されるタイミングに合わせて検出および受信ユニットを起動します。検出器がターゲットから光エコーを受信すると、検出器は往復時間を直接保存します。

ダイレクト TOF (DTOF) としても知られる D-TOF は、シングルポイント測距システムで一般的に使用され、エリアワイド 3D イメージングを実現するにはスキャン技術が必要になることがよくあります。

スキャン不要の TOF 3D イメージング技術は、ピクセルレベルでサブナノ秒の電子タイミングを実装することが非常に難しいため、近年まで実現されていませんでした。

直接タイミング D-TOF の代替手段は間接 TOF (I-TOF) であり、往復時間が光強度の時間ゲート測定から間接的に外挿されます。 I-TOF は正確なタイミングを必要としませんが、代わりにピクセル レベルで実装できる時間ゲート型フォトン カウンタまたは電荷積分器を採用します。 I-TOF は、TOF カメラをベースにした電子および光学ミキサー用の現在商品化されているソリューションです。

TOF イメージングは​​、広い視野、長距離、低精度、低コストの 3D 画像取得に使用できます。その特徴は、検出速度が速い、視野が広い、作動距離が長い、価格が安い、しかし精度が低い、周囲光の影響を受けやすいということです。

2. 3D イメージング用のスキャン

スキャニング 3D イメージング方法は、スキャニング測距、アクティブ三角測量、分散共焦点法などに分類できます。実際、分散共焦点法は走査測距法であり、現在携帯電話やフラットパネルディスプレイなどの製造業で広く使用されているため、ここでは別途紹介します。

1. スキャンと測距

走査距離測定は、平行ビームを使用してターゲット表面全体を一次元距離測定により走査し、3D 測定を実現します。一般的なスキャン測距方法は次のとおりです。

1、連続波周波数変調（FM-CW）測距、パルス測距（LiDAR）などの単一点飛行時間法。

2、レーザー散乱干渉計、多波長干渉、ホログラフィック干渉、白色光干渉スペックル干渉などの原理に基づく干渉計など。

3、分散共焦点、自己焦点などの共焦点方法。

一点距離走査 3D 法では、一点飛行時間法は長距離走査に適しており、測定精度は一般的にミリメートルオーダーと低くなります。他の単一点走査方法には、単一点レーザー干渉法、共焦点法、および単一点レーザーアクティブ三角測量法があり、測定精度はより高くなりますが、前者は環境要件が高くなります。ラインスキャン精度は中程度、効率は高い。ロボットアーム先端での 3D 計測には、アクティブレーザー三角測量法や分散共焦点法が適しています。

2. アクティブ三角測量

アクティブ三角測量法は三角測量の原理に基づいており、平行ビーム、1 つ以上の平面ビームを使用してターゲット表面をスキャンし、3D 測定を完了します。

ビームは通常、次の方法で得られます: レーザーコリメーション、円筒または二次円筒ビームの角拡大、穴を通るインコヒーレント光 (白色光、LED 光源など)、スリット (格子) 投影、またはコヒーレント光の回折。

アクティブ三角測量は、単一ポイント スキャン、単一ライン スキャン、およびマルチライン スキャンの 3 つのタイプに分類できます。ロボット アームの端で使用するために現在商品化されている製品のほとんどは、シングル ポイントおよびシングル ライン スキャナです。

マルチライン走査方式では、フリンジ極番号を確実に特定することが困難である。ストライプ番号を正確に識別するために、通常は 2 組の垂直光学面の高速交互撮像が採用されます。これにより、「FlyingTriangulation」スキャンも実現できます。スキャンと 3 次元再構成のプロセスを次の図に示します。まばらな 3D ビューはマルチライン投影ストロボ イメージングによって生成され、いくつかの 3D ビュー シーケンスは縦方向および横方向の縞投影スキャンによって生成されます。次に、3D 画像マッチングによって、高解像度の完全でコンパクトな 3D 表面モデルが生成されます。

3. 分散共焦点法

分散共焦点は、反射鏡や透明なガラス表面など、粗いおよび滑らかな不透明および透明な物体をスキャンして測定できるようで、現在、携帯電話のカバー プレートの 3 次元検出の分野で広く普及しています。

分散共焦点スキャンには、単一点 1 次元絶対測距スキャン、多点アレイ スキャン、および連続ライン スキャンの 3 つのタイプがあります。次の図は、絶対測距と連続ライン スキャンの 2 種類の例をそれぞれ示しています。このうち、連続ライン走査はアレイ走査でもありますが、アレイの方がより多くのより高密度の格子を持ちます。

市販製品では、よりよく知られている走査スペクトル共焦点センサーはフランスの STILMPLS180 です。これは、180 個のアレイ ポイントを採用して、最大ライン長 4.039 mm のラインを形成します (測定ポイント 11.5 午後、ポイント間の間隔 22.5 午後)。もう一つの製品は、フィンランドのFOCALSPECUULAです。分散共焦点三角法を採用しています。

3. 構造化光投影による 3D イメージング

構造化光投影 3D イメージングは​​現在ロボットの 3D 視覚認識の主要な方法であり、構造化光イメージング システムは複数のプロジェクターとカメラで構成され、一般的に使用される構造形式は次のとおりです: 単一プロジェクター - 単一カメラ、単一プロジェクター - ダブルカメラ、単一プロジェクター - 複数カメラ、シングルカメラ - ダブルプロジェクター、シングルカメラ - マルチプロジェクター、その他の典型的な構造形式。

構造化光投影の 3D イメージングの基本的な動作原理は、プロジェクターが特定の構造化光照明パターンをターゲット オブジェクトに投影し、ターゲットによって変調された画像がカメラでキャプチャされ、画像を通じてターゲット オブジェクトの 3D 情報が取得されることです。処理およびビジュアルモデル。

一般的に使用されているプロジェクターには、主に液晶投影法（LCD）、デジタル光変調投影法（DLP：デジタルマイクロミラーデバイス（DMD）など）、レーザーLEDパターン直接投影法があります。

構造化光投影の数に応じて、構造化光投影の3Dイメージングは​​単一投影3D方法と多重投影3D方法に分けることができます。

1. 単一投影イメージング

単一投影構造光は、主に空間多重符号化と周波数多重符号化によって実現される。一般的なコーディング形式は、カラーコーディング、グレーインデックス、幾何学的形状コーディング、およびランダムスポットです。

現在、ロボットハンドアイシステムの応用においては、パレタイズ、アンパレタイズ、3D把握など3D測定精度が高くない場面では、擬似ランダムスポットを投影して計測値を取得する方法が一般的です。対象物の3D情報。 3D イメージングの原理を次の図に示します。

2. 多重投影イメージング

マルチプロジェクション３Ｄ方式は、主に時間多重符号化によって実現される。一般的に使用されるパターン コーディング形式は、バイナリ コーディング、多周波数位相シフト コーディング τ35、および混合コーディング (グレイ コード 10 位相シフト フリンジなど) です。

縞投影 3D イメージングの基本原理を次の図に示します。構造化光パターンはコンピュータまたは特殊な光学デバイスによって生成され、光学投影システムを通じて測定対象物の表面に投影され、画像取得デバイス (CCD または CMOS カメラなど) を使用してパターンが収集されます。物体の表面によって変調された、変形した構造光イメージ。画像処理アルゴリズムは、画像内の各ピクセルとオブジェクトの輪郭上の点の間の対応関係を計算するために使用されます。最後に、システム構造モデルとキャリブレーション技術を通じて、測定対象物の 3 次元輪郭情報が計算されます。

実際のアプリケーションでは、グレイ コード投影、正弦波位相シフト フリンジ投影、またはグレイ コード 10 正弦波位相シフト混合投影 3D テクノロジーがよく使用されます。

3. 偏向イメージング

粗い表面の場合、構造化光を物体表面に直接投影して視覚的な画像測定を行うことができます。ただし、反射率の大きな滑らかな表面や鏡の物体の 3D 測定の場合、構造化光の投影を測定表面に直接投影することはできず、次の図に示すように、3D 測定にはミラーの偏向技術も使用する必要があります。

この方式では、縞は測定された輪郭に直接投影されるのではなく、散乱スクリーンに投影されるか、散乱スクリーンの代わりに LCD スクリーンが使用されて縞が直接表示されます。カメラは明るい表面を通る光路をたどり、明るい表面の曲率変化によって変調された縞情報を取得し、3D プロファイルを解析します。

4. ステレオビジョン3Dイメージング

立体視とは、文字通り、片目または両目で三次元構造を知覚することを指し、一般に、異なる視点から 2 つ以上の画像を取得することによって、対象物の 3D 構造または奥行き情報を再構成することを指します。

奥行き知覚の視覚的手がかりは、眼的手がかりと両眼的手がかり（両眼視差）に分類できます。現在、立体視 3D は、単眼視、両眼視、多眼視、ライトフィールド 3D イメージング (電子複眼またはアレイ カメラ) によって実現できます。

1. 単眼視覚イメージング

単眼の奥行き知覚の手がかりには、通常、遠近感、焦点距離の差、マルチビジョン イメージング、カバレージ、影、運動視差などが含まれます。ロボット ビジョンでは、ミラー 1、その他の ShapefromX10 やその他の方法を使用して実現することもできます。

2. 両眼視イメージング

両眼の奥行き知覚の視覚的な手がかりは、目の輻輳位置と両眼視差です。マシンビジョンでは、2 台のカメラを使用して、同じターゲット シーンに対する 2 つの視点からの 2 つのビュー画像を取得し、2 つのビュー画像内の同じ点の視差を計算して、ターゲット シーンの 3D 奥行き情報を取得します。一般的な両眼立体視計算プロセスは、画像歪み補正、ステレオ画像ペア補正、画像位置合わせ、三角測量再投影視差マップ計算の 4 つのステップで構成されます。