本文內(nèi)容

● 工作原理

● 主要功能

● 相機(jī)性能

● 失效

● 后續(xù)步驟

本頁(yè)介紹如何使用Femto Mega中的深度相機(jī)。 深度相機(jī)是兩個(gè)相機(jī)中的第二個(gè)。 如前面的部分中所述，另一個(gè)相機(jī)是 RGB 相機(jī)。

工作原理

Femto Mega  深度相機(jī)采用調(diào)幅連續(xù)波 (AMCW) 時(shí)差測(cè)距 (ToF) 原理。 該相機(jī)將近紅外 (NIR) 頻譜的調(diào)制光投射到場(chǎng)景中。 然后，它會(huì)記錄光線從相機(jī)傳播到場(chǎng)景，然后從場(chǎng)景返回到相機(jī)所花費(fèi)的時(shí)間的間接測(cè)量值。

處理這些測(cè)量值可以生成一張深度圖。 深度圖是一組以毫米為單位的Z坐標(biāo)值，對(duì)應(yīng)到圖像中的每個(gè)像素。

連同深度圖一起，我們還可以獲得所謂的清晰 IR 讀數(shù)。 清晰 IR 讀數(shù)中的像素值與從場(chǎng)景返回的光線量成正比。 這個(gè)圖像類似于常規(guī)的 IR 圖像。 下圖顯示了一張示例深度圖（左）的對(duì)應(yīng)的清晰 IR 圖像（右）。

主要功能

深度相機(jī)的技術(shù)特征包括：

● 配備高級(jí)像素技術(shù)的 1 兆像素 ToF 成像芯片，實(shí)現(xiàn)更高的調(diào)制頻率和深度精度。

● 兩個(gè) NIR 激光二極管實(shí)現(xiàn)近距和寬視場(chǎng) (FoV) 深度模式。

● 全球最小的 3.5μm x 3.5μm ToF 像素。

● 自動(dòng)像素增益選擇支持較大的動(dòng)態(tài)范圍，允許捕獲清晰的近距和遠(yuǎn)距對(duì)象。

● 全局快門可幫助改善日光下的拍攝性能。

● 多相位深度計(jì)算方法能夠?qū)崿F(xiàn)可靠的準(zhǔn)確度，即使芯片、激光和電源存在差異。

● 較低的系統(tǒng)誤差和隨機(jī)誤差。

深度相機(jī)將原始的調(diào)制 IR 圖像傳輸?shù)诫娔X主機(jī)。 在電腦上，GPU 加速的深度引擎軟件會(huì)將原始信號(hào)轉(zhuǎn)換為深度圖。?深度相機(jī)支持多種模式。 窄視場(chǎng) (FoV) 模式非常適合 X、Y 維度范圍較小，但 Z 維度范圍較大的場(chǎng)景。 如果場(chǎng)景中的 X、Y 范圍較大，但 Z 范圍較小，則寬 FoV 模式更合適。

深度相機(jī)支持 2x2 裝箱模式，這種模式與非裝箱模式相比，可以擴(kuò)展 Z 范圍。 裝箱的代價(jià)是降低圖像分辨率。 所有模式都能夠以高達(dá) 30 幀/秒 (fps) 的速率運(yùn)行，但 1 兆象素 (MP) 模式除外，它的最大運(yùn)行幀速率為 15 fps。 深度相機(jī)還提供被動(dòng) IR 模式。 在此模式下，照像機(jī)上的照明器不會(huì)激活，只能觀測(cè)到環(huán)境光。

相機(jī)性能

相機(jī)的性能以系統(tǒng)誤差和隨機(jī)誤差來(lái)衡量。

系統(tǒng)誤差

系統(tǒng)誤差定義為消噪后測(cè)得的深度與正確（真實(shí)）深度之差。 我們會(huì)根據(jù)靜態(tài)場(chǎng)景的許多幀計(jì)算時(shí)態(tài)平均值，以消除盡可能多的深度噪聲。 更確切地說(shuō)，系統(tǒng)誤差定義為：

其中，dt 表示時(shí)間 t 處的測(cè)量深度，N 是求平均過(guò)程使用的幀數(shù)，dgt 是真實(shí)深度。

深度相機(jī)的系統(tǒng)誤差規(guī)范不包括多路徑干擾 (MPI)。 當(dāng)某個(gè)傳感器像素集成了多個(gè)對(duì)象反射的光時(shí)，就會(huì)發(fā)生 MPI。 使用較高的調(diào)制頻率以及稍后將會(huì)介紹的深度失效可以在深度相機(jī)中部分緩解 MPI。

隨機(jī)誤差

假設(shè)我們?cè)跊](méi)有移動(dòng)相機(jī)的情況下拍攝了同一對(duì)象的 100 張圖像。 在這 100 張圖像中，每張圖像的對(duì)象深度略有不同。 這種差異是散粒噪聲造成的。 發(fā)生散粒噪聲的原因是，撞擊傳感器的光子數(shù)因某種隨機(jī)因素隨時(shí)而變。 我們將靜態(tài)場(chǎng)景中的這種隨機(jī)誤差定義為一段時(shí)間內(nèi)的深度標(biāo)準(zhǔn)偏差，其計(jì)算公式為：

其中，N 表示深度測(cè)量值數(shù)，dt 表示時(shí)間 t 處的深度測(cè)量值，d 表示基于所有深度測(cè)量值 dt 計(jì)算出的平均值。

失效

在某些情況下，深度相機(jī)可能無(wú)法提供某些像素的正確值。 在這種情況下，深度像素將會(huì)失效。 無(wú)效的像素由深度值 0 表示。 深度引擎無(wú)法生成正確值的原因包括：

● 超出活動(dòng) IR 照明遮罩范圍

● IR 信號(hào)飽和

● IR 信號(hào)強(qiáng)度低

● 濾波異常

● 多路徑干擾

照明遮罩

當(dāng)像素超出活動(dòng) IR 光照的遮罩范圍時(shí)，它們將會(huì)失效。 我們不建議使用此類像素的信號(hào)來(lái)計(jì)算深度。 下圖顯示了超出照明遮罩范圍而導(dǎo)致像素失效的示例。 失效的像素包括寬 FoV 模式的圓圈（左）和窄 FoV 模式的六邊形（右）外部的黑色像素。

信號(hào)強(qiáng)度

當(dāng)像素包含飽和的 IR 信號(hào)時(shí)，它們將會(huì)失效。 像素飽和后，相位信息將會(huì)丟失。 下圖顯示了 IR 信號(hào)飽和導(dǎo)致像素失效的示例。 請(qǐng)查看指向深度圖像和 IR 圖像中的示例像素的箭頭。

如果 IR 信號(hào)強(qiáng)度不夠，以致無(wú)法生成深度，則也可能會(huì)發(fā)生像素失效。

下圖顯示了 IR 信號(hào)強(qiáng)度低導(dǎo)致像素失效的示例。 請(qǐng)查看指向深度圖像和 IR 圖像中的示例像素的箭頭。

歧義深度

如果像素從場(chǎng)景中的多個(gè)對(duì)象收到了信號(hào)，則它們也可能會(huì)失效。 在角落中經(jīng)常會(huì)看到這種像素失效的情況。 由于場(chǎng)景的幾何結(jié)構(gòu)，照相發(fā)出的 IR 光會(huì)從一堵墻反射到另一堵墻。 這種反射光會(huì)導(dǎo)致測(cè)得的像素深度出現(xiàn)歧義。 深度算法中的濾波器會(huì)檢測(cè)這些有歧義的信號(hào)，并使像素失效。

下圖顯示了多路徑檢測(cè)導(dǎo)致像素失效的示例。 你還可能會(huì)發(fā)現(xiàn)，在一個(gè)相機(jī)視圖(上排)中失效的相同表面區(qū)域如何在另一個(gè)相機(jī)視圖(下排)中再次出現(xiàn)。 此圖演示在一個(gè)透視圖中失效的表面可能會(huì)在另一個(gè)透視圖中顯示。

后續(xù)步驟

坐標(biāo)系統(tǒng)