2022年8月22日-24日，VALSE 2022大會在天津國家會展中心正式舉辦。奧比中光作為金牌贊助商，以「見」機而行，「視」不可擋為主題亮相，憑借六足仿生機器人JetHexa、高精度三維人臉重建系統(tǒng)、三維視覺在線課程等產(chǎn)品及內(nèi)容，展示3D視覺感知在機器人、元宇宙等領(lǐng)域的創(chuàng)新應(yīng)用潛能，讓與會者一覽3D數(shù)字化世界的精彩。

- 01 -

六足仿生機器人燃爆現(xiàn)場

8月22日上午，六足仿生機器人JetHexa在VALSE 2022奧比中光展位亮相，憑借酷炫的外觀與3D視覺“慧眼”成為了現(xiàn)場焦點，吸引眾多青年學(xué)子與開發(fā)者交流體驗。JetHexa搭載了奧比中光DaBai DCW深度相機以及NVIDIA Jetson Nano、激光雷達(dá)等硬件，可實現(xiàn)精準(zhǔn)的建圖導(dǎo)航、動態(tài)避障、路徑規(guī)劃、體感交互。

▲ 六足仿生機器人JetHexa成為VALSE現(xiàn)場焦點

3D視覺感知交互能力是機器人的“眼睛”。奧比中光的3D視覺傳感器可以幫助機器人高效完成人臉識別、距離感知、避障、導(dǎo)航等功能。奧比中光此次還展出了Orbbot S1移動機器人、Orbbot Arm桌面機械臂系統(tǒng)等機器人開發(fā)相關(guān)套件，助力開發(fā)者打造機器人3D視覺應(yīng)用。

▲ 奧比中光展位吸引眾多學(xué)子圍觀

- 02 -

頂會論文分享

結(jié)合單目結(jié)構(gòu)光和雙目立體視覺的深度估計

8月23日下午，在VALSE大會Workshop上，奧比中光研究院三維重建組負(fù)責(zé)人徐玉華博士以《消費級深度相機與應(yīng)用》為題發(fā)表演講，并分享其團(tuán)隊CVPR 2022論文成果《結(jié)合單目結(jié)構(gòu)光和雙目立體視覺的深度估計》(Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light)。

▲ 奧比中光研究院徐玉華博士演講現(xiàn)場圖

在Workshop現(xiàn)場，徐玉華博士從現(xiàn)有消費級深度相機入手，對比了單目結(jié)構(gòu)光、被動雙目、主動雙目、ToF等不同技術(shù)方案的優(yōu)劣勢，并分享了其在論文中提出的一種新型深度估計系統(tǒng)：它由一個RGB相機、一個紅外相機和一個紅外散斑投影器組成。

▲ 徐玉華博士團(tuán)隊提出的全新深度相機設(shè)計思路

紅外相機可以同時接收紅外光（人眼不可見）和環(huán)境光（人眼可見）。紅外相機和紅外投影器可以構(gòu)成一個單目結(jié)構(gòu)光子系統(tǒng)，而紅外相機和RGB相機又可以構(gòu)成一對雙目立體視覺子系統(tǒng)。

主動的單目結(jié)構(gòu)光子系統(tǒng)對被動雙目立體視覺子系統(tǒng)難以處理的弱紋理對象（如白墻）具有很好的魯棒性，而雙目子系統(tǒng)對于遠(yuǎn)距離物體和戶外場景具有較好的適應(yīng)性。因此，這兩種類型的深度估計子系統(tǒng)可以優(yōu)勢互補。通過將單目結(jié)構(gòu)光子系統(tǒng)獲得的初始深度圖融合到立體匹配網(wǎng)絡(luò)的代價空間（Cost Volume）中，可以獲得一個魯棒的深度估計系統(tǒng)。

▲ 深度估計流程

基于該原理，徐玉華博士團(tuán)隊構(gòu)建了一個原型系統(tǒng)，并建立了一個新的立體視覺數(shù)據(jù)集，以驗證新方法的有效性。測試結(jié)果表明，該系統(tǒng)的Bad2.0匹配誤差不到被動立體視覺系統(tǒng)的1/3。

▲ 論文提出的深度相機的效果，與現(xiàn)有的主動式深度傳感系統(tǒng)Intel D435相比，輸出的深度圖具有更好的完整性，并且深度圖和RGB圖像是逐像素天然對齊的

▲ 與其他深度相機在室外對比

- 03 -

精度優(yōu)于0.15mm，重建元宇宙“數(shù)字人”

在演講中，徐玉華博士還展示了奧比中光專門為高精度人臉三維重建設(shè)計開發(fā)的消費級深度相機Gemini Metric。由于采用了優(yōu)化的硬件和高精度立體匹配算法，Gemini Metric可實現(xiàn)高幾何精度、高保真紋理的三維人臉重建，精度優(yōu)于0.15mm，可滿足高質(zhì)量數(shù)字人創(chuàng)建、醫(yī)學(xué)美容整形等應(yīng)用。

▲ 由Gemini Metric生成的三維人臉模型

- 04 -

從入門到精通，奧比中光3D視覺課程上線

本次參展VALSE 2022，奧比中光3D視覺開發(fā)者社區(qū)現(xiàn)場帶來《三維視覺：原理與實踐》在線課程，為眾多學(xué)子、開發(fā)者開啟3D視覺世界大門。

該課程由奧比中光多位算法專家、資深算法工程師打造，系統(tǒng)地介紹了3D視覺的基本原理及應(yīng)用實踐。課程內(nèi)容涵蓋基礎(chǔ)二維圖像處理算法、深度學(xué)習(xí)方法、相機模型與標(biāo)定、雙目立體視覺、散斑結(jié)構(gòu)光、飛行時間法（ToF）等三維成像原理與算法、基于點云的三維重建算法、基于RGBD相機和LiDAR的SLAM算法、3D人臉識別算法、RGBD圖像分割算法、基于RGBD圖像人體姿態(tài)估計、ROS機器人小車實戰(zhàn)等，幫助學(xué)生、開發(fā)者在3D視覺領(lǐng)域?qū)崿F(xiàn)從入門到精通的進(jìn)階。

▲ ?百度搜索“3D視覺開發(fā)者社區(qū)”進(jìn)入大講堂板塊，免費學(xué)習(xí)全系列課程

3D視覺感知技術(shù)已經(jīng)深入大眾的生活。在智能手機上，3D視覺感知被用于支付、解鎖、照片美顏等。在移動機器人和無人機上，3D視覺感知被用于避障、定位、導(dǎo)航。在智能汽車行業(yè)，3D視覺感知被用于自動駕駛、輔助駕駛。在AR/VR、元宇宙等領(lǐng)域，3D視覺感知被用于人機交互、內(nèi)容創(chuàng)作。

奧比中光是市場上為數(shù)不多能夠提供全套自主知識產(chǎn)權(quán)3D視覺感知產(chǎn)品的企業(yè)，也是全球少數(shù)幾家全面布局六大3D視覺感知技術(shù)路線的公司。目前，奧比中光已經(jīng)構(gòu)建起“全棧式技術(shù)研發(fā)能力+全領(lǐng)域技術(shù)路線布局”的3D視覺感知技術(shù)體系，重點賦能生物識別、機器人、智能終端、智能汽車、智慧家庭、數(shù)字孿生、AR交互等應(yīng)用場景，為各行各業(yè)數(shù)字化智能化升級提供3D視覺感知技術(shù)支撐。