本文內(nèi)容

● 工作原理

● 主要功能

● 相機性能

● 失效

● 后續(xù)步驟

本頁介紹如何使用Femto Bolt中的深度相機。 深度相機是兩個相機中的第二個。 如前面的部分中所述，另一個相機是 RGB 相機。

工作原理

Femto Bolt  深度相機采用調(diào)幅連續(xù)波 (AMCW) 時差測距 (ToF) 原理。 該相機將近紅外 (NIR) 頻譜的調(diào)制光投射到場景中。 然后，它會記錄光線從相機傳播到場景，然后從場景返回到相機所花費的時間的間接測量值。

處理這些測量值可以生成一張深度圖。 深度圖是一組以毫米為單位的Z坐標值，對應(yīng)到圖像中的每個像素。。

連同深度圖一起，我們還可以獲得所謂的清晰 IR 讀數(shù)。 清晰 IR 讀數(shù)中的像素值與從場景返回的光線量成正比。 這個圖像類似于常規(guī)的 IR 圖像。 下圖顯示了一張示例深度圖（左）的對應(yīng)的清晰 IR 圖像（右）。

主要功能

深度相機的技術(shù)特征包括：

● 配備高級像素技術(shù)的 1 兆像素 ToF 成像芯片，實現(xiàn)更高的調(diào)制頻率和深度精度。

● 兩個 NIR 激光二極管實現(xiàn)近距和寬視場 (FoV) 深度模式。

● 全球最小的 3.5μm x 3.5μm ToF 像素。

● 自動像素增益選擇支持較大的動態(tài)范圍，允許捕獲清晰的近距和遠距對象。

● 全局快門可幫助改善日光下的拍攝性能。

● 多相位深度計算方法能夠?qū)崿F(xiàn)可靠的準確度，即使芯片、激光和電源存在差異。

● 較低的系統(tǒng)誤差和隨機誤差。

深度相機將原始的調(diào)制 IR 圖像傳輸?shù)诫娔X主機。 在電腦上，GPU 加速的深度引擎軟件會將原始信號轉(zhuǎn)換為深度圖。?深度相機支持多種模式。 窄視場 (FoV) 模式非常適合 X、Y 維度范圍較小，但 Z 維度范圍較大的場景。 如果場景中的 X、Y 范圍較大，但 Z 范圍較小，則寬 FoV 模式更合適。

深度相機支持 2x2 裝箱模式，這種模式與非裝箱模式相比，可以擴展 Z 范圍。 裝箱的代價是降低圖像分辨率。 所有模式都能夠以高達 30 幀/秒 (fps) 的速率運行，但 1 兆象素 (MP) 模式除外，它的最大運行幀速率為 15 fps。 深度相機還提供被動 IR 模式。 在此模式下，照像機上的照明器不會激活，只能觀測到環(huán)境光。

相機性能

相機的性能以系統(tǒng)誤差和隨機誤差來衡量。

系統(tǒng)誤差

系統(tǒng)誤差定義為消噪后測得的深度與正確（真實）深度之差。 我們會根據(jù)靜態(tài)場景的許多幀計算時態(tài)平均值，以消除盡可能多的深度噪聲。 更確切地說，系統(tǒng)誤差定義為：

其中，d_t 表示時間 t 處的測量深度，N 是求平均過程使用的幀數(shù)，d_gt 是真實深度。

深度相機的系統(tǒng)誤差規(guī)范不包括多路徑干擾 (MPI)。 當某個傳感器像素集成了多個對象反射的光時，就會發(fā)生 MPI。 使用較高的調(diào)制頻率以及稍后將會介紹的深度失效可以在深度相機中部分緩解 MPI。

隨機誤差

假設(shè)我們在沒有移動相機的情況下拍攝了同一對象的 100 張圖像。 在這 100 張圖像中，每張圖像的對象深度略有不同。 這種差異是散粒噪聲造成的。 發(fā)生散粒噪聲的原因是，撞擊傳感器的光子數(shù)因某種隨機因素隨時而變。 我們將靜態(tài)場景中的這種隨機誤差定義為一段時間內(nèi)的深度標準偏差，其計算公式為：

其中，N 表示深度測量值數(shù)，d_t 表示時間 t 處的深度測量值，d 表示基于所有深度測量值 d_t 計算出的平均值。

失效

在某些情況下，深度相機可能無法提供某些像素的正確值。 在這種情況下，深度像素將會失效。 無效的像素由深度值 0 表示。 深度引擎無法生成正確值的原因包括：

● 超出活動 IR 照明遮罩范圍

● IR 信號飽和

● IR 信號強度低

● 濾波異常

● 多路徑干擾

照明遮罩

當像素超出活動 IR 光照的遮罩范圍時，它們將會失效。 我們不建議使用此類像素的信號來計算深度。 下圖顯示了超出照明遮罩范圍而導致像素失效的示例。 失效的像素包括寬 FoV 模式的圓圈（左）和窄 FoV 模式的六邊形（右）外部的黑色像素。

信號強度

當像素包含飽和的 IR 信號時，它們將會失效。 像素飽和后，相位信息將會丟失。 下圖顯示了 IR 信號飽和導致像素失效的示例。 請查看指向深度圖像和 IR 圖像中的示例像素的箭頭。

如果 IR 信號強度不夠，以致無法生成深度，則也可能會發(fā)生像素失效。

下圖顯示了 IR 信號強度低導致像素失效的示例。 請查看指向深度圖像和 IR 圖像中的示例像素的箭頭。

歧義深度

如果像素從場景中的多個對象收到了信號，則它們也可能會失效。 在角落中經(jīng)常會看到這種像素失效的情況。 由于場景的幾何結(jié)構(gòu)，照相發(fā)出的 IR 光會從一堵墻反射到另一堵墻。 這種反射光會導致測得的像素深度出現(xiàn)歧義。 深度算法中的濾波器會檢測這些有歧義的信號，并使像素失效。

下圖顯示了多路徑檢測導致像素失效的示例。 你還可能會發(fā)現(xiàn)，在一個相機視圖(上排)中失效的相同表面區(qū)域如何在另一個相機視圖(下排)中再次出現(xiàn)。 此圖演示在一個透視圖中失效的表面可能會在另一個透視圖中顯示。

后續(xù)步驟

坐標系統(tǒng)