10月8日至10日，“CV界”盛宴VALSE 2021（視覺與學(xué)習青年學(xué)者研討會）在杭州國際博覽中心舉行。大會金牌贊助商奧比中光攜3D智能摳圖算法、開發(fā)者套件等全新技術(shù)方案與產(chǎn)品，以“感知·3D全視界”為主題參展，吸引現(xiàn)場青年學(xué)者與專業(yè)觀眾駐足交流。9日上午，奧比中光研究院算法團隊負責人錢貝貝博士在大會上發(fā)表了《3D視覺 更懂世界——從感知到認知》的演講，分享了奧比中光3D視覺感知技術(shù)從深度信息獲取到三維重建、落地應(yīng)用過程的研發(fā)突破。
在演講中，錢貝貝博士圍繞3D感知、3D重建、3D識別等話題，分享了奧比中光3D視覺感知技術(shù)的基本原理與公司最新算法研發(fā)突破?；谟布壍母呔?D信息與前沿深度估計算法，奧比中光可實現(xiàn)基于紋理增強的三維人臉重建、人體重建，并通過3D識別算法開發(fā)出各類3D智能應(yīng)用。
今年3月，奧比中光研究院徐玉華博士在CVPR發(fā)表論文 “Bilateral Grid Learning for Stereo Matching Networks”，提出了一種能夠以高分辨率回歸視差圖的方法，可在雙目深度估計過程中同時保持高效率與高精度，顯著改善了傳統(tǒng)方法在弱紋理、邊緣情況下深度估計不準、信息缺失等情況，使得深度圖更加完整。
△ 奧比中光研究院算法團隊負責人錢貝貝博士在VALSE 2021發(fā)表演講
現(xiàn)場，錢貝貝博士展示了團隊最新研發(fā)的3D智能摳圖算法全新技術(shù)方案。該方案實現(xiàn)了基于背景建模的輕量化前景摳圖，能夠同時摳取清晰的3D人像及物品，可廣泛用于直播帶貨、視頻會議、游戲渲染、場景理解、自動駕駛、目標跟蹤、混合顯示、電影制作等場景。
錢貝貝博士介紹，主播在直播帶貨場景中同時要售賣許多款商品，在摳圖時，如果用傳統(tǒng)2D摳圖常用的語義分割、顯著性檢測等方式，容易受物品類別及顯著性等限制，難以準確從雜亂的背景中摳取主播與商品。奧比中光通過背景+人圖軟分割的方法，設(shè)計了輕量化的Stage Block網(wǎng)絡(luò)框架，并基于大量數(shù)據(jù)訓(xùn)練，實現(xiàn)了人、物與背景的精確分割，并可根據(jù)不同需求平衡摳圖的精度與速度。
在真實數(shù)據(jù)集的測試表現(xiàn)中，相比于其它方式，基于背景建模的輕量化前景摳圖的各方面數(shù)據(jù)都有了顯著提升，其FLOPs降低89.9%，Param降低 87.7%。
△ 基于背景建模的輕量化前景摳圖與其它方式效果對比
除了能同時摳取人像與物品，摳取自定義距離背景也是奧比中光3D智能摳圖的一大亮點。3D摳圖支持用戶自定義摳圖距離，可過濾掉背景中不相關(guān)的人物，起到保護隱私的作用。如用戶在家中參加視頻會議時，可以調(diào)整3D摳圖距離，不讓其他參會者看到自己的家庭成員。
△ 現(xiàn)有在線視頻會議軟件中的2D摳圖和奧比中光3D摳圖效果對比
此外，錢貝貝博士介紹，3D智能摳圖對于細節(jié)的還原也更為精確，可以更好地摳取頭發(fā)、手指等細節(jié)?！斑@是由于3D相機采集的深度信息為算法提供了先驗信息，有利于算法將細節(jié)處摳取得更為完整。相比之下，2D摳圖算法容易導(dǎo)致細節(jié)丟失，需要配合更高的分辨率才能夠摳取細節(jié)，但更高的分辨率會導(dǎo)致算法速度變慢，體驗變差?！?/p>
△ 觀眾在奧比中光展位上觀看3D智能摳圖算法演示
在VALSE 2021展位現(xiàn)場，奧比中光還帶來了iToF開發(fā)者套件及3D視覺機器人開發(fā)套件等產(chǎn)品，獲得不少開發(fā)者駐足和青睞。
今年9月，奧比中光發(fā)布iToF智能視覺平臺，提供從芯片、模組、智能算法到整機的全棧式方案，滿足了AIoT多元化的iToF方案需求。在VALSE 2021上展出的iToF開發(fā)者套件包含奧比中光基于iToF智能視覺平臺開發(fā)的相機Femto，搭載高品質(zhì)iToF感光芯片，適用于0.2m-5m距離內(nèi)3D對象掃描及深度數(shù)據(jù)測量，可用于開發(fā)視頻安防監(jiān)控、掃地機器人、3D掃描、物流包裹檢測等產(chǎn)品應(yīng)用。
△ 觀眾在奧比中光展位上觀看Femto、開發(fā)者套件等產(chǎn)品演示
另一款ORBBEC MR100則是以3D視覺硬件及軟件算法為基礎(chǔ)的移動機器人開發(fā)平臺。ORBBEC MR100搭載了奧比中光Astra Pro深度相機、單線激光雷達、英偉達Jetson nano高性能處理器、串聯(lián)機械臂、柔性機械爪等部件，內(nèi)置ROS melodic系統(tǒng)，支持3D人體骨骼識別、3D視覺目標跟隨、物體識別、三維空間重建與導(dǎo)航等，還可以運行深度學(xué)習，支持拓展語音交互等功能。
△ 現(xiàn)場觀眾了解奧比中光3D視覺機器人開發(fā)套件小車
在VALSE 2021展位上，奧比中光現(xiàn)場開啟了3D視覺開發(fā)者社區(qū)與人才招聘直達入口，為眾多有志于3D視覺行業(yè)的青年人才提供了專業(yè)渠道。
西安電子科技大學(xué)研一學(xué)生董天成表示，“對奧比中光的3D視覺技術(shù)很感興趣，未來會繼續(xù)關(guān)注3D視覺開發(fā)者社區(qū)，希望畢業(yè)后有機會去奧比中光西安研究院工作?！?/p>
分享到
