Pico深度分享：如何提升定位追蹤，將Neo 3打造成實(shí)力派產(chǎn)品
（映維網(wǎng) 2021年04月26日）在3月份，映維網(wǎng)采訪了Pico CEO周宏偉先生，回顧了Pico在過去一年的發(fā)展與成長，也探討了即將于5月10日正式發(fā)布的一體式VR頭顯Pico Neo3的未來市場(chǎng)潛力。
在上次采訪中，Pico CEO周宏偉先生表示，Pico Neo 3有望實(shí)現(xiàn)十倍于Pico Neo 2的銷量增長。映維網(wǎng)對(duì)此從開發(fā)者生態(tài)、消費(fèi)者服務(wù)、軟件內(nèi)容生態(tài)、硬件產(chǎn)品價(jià)格等角度進(jìn)行探討。盡管這涉及了一系列因素，但所有因素的最基本前提還要取決于產(chǎn)品本身——Pico Neo 3。如果說最終給到消費(fèi)者手中的Pico Neo 3并不是一款優(yōu)秀的技術(shù)產(chǎn)品，一切就可能成了空談。
自四月初以來，Pico已經(jīng)公布了Neo 3的多項(xiàng)規(guī)格參數(shù)和技術(shù)性能指標(biāo)，其中就包括定位追蹤技術(shù)相關(guān)。定位追蹤效果是目前衡量一款產(chǎn)品好壞的最核心技術(shù)表現(xiàn)之一。在近期與映維網(wǎng)的交流中，Pico技術(shù)總監(jiān)Fred深入分享了Pico Neo 3在頭部追蹤定位、手部追蹤定位、MR透視效果上實(shí)現(xiàn)的重大改進(jìn)，以及團(tuán)隊(duì)在手部交互上的初步探索。
1. 頭部定位追蹤的升級(jí)
在Pico Neo 3上，F(xiàn)red帶領(lǐng)團(tuán)隊(duì)設(shè)計(jì)了全新的頭戴端關(guān)鍵傳感器的硬件布局。重新設(shè)計(jì)了傳感攝像頭模塊，采用了4路超廣角追蹤傳感攝像頭，配備了更高精度的IMU慣導(dǎo)傳感器，精調(diào)了IMU和傳感攝像頭的相對(duì)布局。
新傳感攝像頭的可追蹤范圍從Neo 2的127°x80°增加到了145°x110°。通過將四個(gè)傳感攝像頭分別分布在Neo 3頭顯正面的上、下、左、右四個(gè)角落，使得整體追蹤范圍能達(dá)到238°x195°。再加上全新的IMU慣導(dǎo)傳感器，以及重新定義的IMU、傳感攝像頭相對(duì)布局，將Pico Neo 3追蹤系統(tǒng)的精度和穩(wěn)定性提升到了一個(gè)新臺(tái)階。
比如說，用于輔助定位追蹤的IMU是很敏感的傳感器，其周圍環(huán)境溫度高就會(huì)造成明顯累積漂移，理論上IMU需要盡可能遠(yuǎn)離散熱源，比如傳感攝像頭的的散熱源。IMU還對(duì)振動(dòng)很敏感，散熱風(fēng)扇的轉(zhuǎn)速也會(huì)帶來偏差影響。所以，如何設(shè)計(jì)IMU和傳感攝像頭之間的布局，也非常重要。
Fred帶領(lǐng)團(tuán)隊(duì)還設(shè)計(jì)了基于高通驍龍XR2 DSP架構(gòu)下的先進(jìn)計(jì)算機(jī)視覺算法。
VR對(duì)SLAM提出了更高的精度要求，精度誤差過大容易造成體驗(yàn)眩暈，如果希望獲得更高的精度數(shù)據(jù)需要更多的計(jì)算資源來支撐，而且如果用CPU資源來進(jìn)行SLAM運(yùn)算，那么其它程序?qū)PU計(jì)算資源的調(diào)用也會(huì)影響SLAM穩(wěn)定性。因此，F(xiàn)red團(tuán)隊(duì)選擇在DSP架構(gòu)下解決頭部定位追蹤問題，另外Neo 3上手部控制器的定位追蹤也更換到在DSP下運(yùn)算。DSP跟CPU計(jì)算資源并不沖突，更多的CPU計(jì)算資源也因此可以得到釋放，提供給VR App程序使用，給VR App程序提供更充分的運(yùn)行性能保證。
Fred表示，在這個(gè)架構(gòu)下，團(tuán)隊(duì)最終實(shí)現(xiàn)了：
（1）高效、穩(wěn)定的位置識(shí)別，可以高精度檢測(cè)識(shí)別場(chǎng)景中物體的各個(gè)角點(diǎn)或者地板圖案
（2）實(shí)時(shí)高效，高精度構(gòu)建環(huán)境地圖
（3）通過融合高精度的IMU慣性導(dǎo)航數(shù)據(jù)，實(shí)時(shí)修正追蹤誤差，用戶場(chǎng)景中開玩時(shí)間越長，系統(tǒng)學(xué)習(xí)優(yōu)化能力就越強(qiáng)，精度就越高
（4）通過設(shè)計(jì)高精度的運(yùn)動(dòng)預(yù)測(cè)模型，利用低延時(shí)的IMU慣性導(dǎo)航數(shù)據(jù)去彌補(bǔ)傳感攝像頭固有的低幀率缺陷，可極大減少運(yùn)動(dòng)延時(shí)（因?yàn)閿z像頭幀率30Hz遠(yuǎn)遠(yuǎn)低于Neo 3渲染幀率90Hz）
Fred說：“在團(tuán)隊(duì)的努力下，跟上一代Pico Neo 2相比，總體來說Pico Neo 3在追蹤精度、穩(wěn)定性以及大場(chǎng)景環(huán)境下的穩(wěn)定性上有了非常大的改善，頭部的追蹤精度也從Neo 2毫米級(jí)提升到了Neo 3亞毫米級(jí)，追蹤延時(shí)（MTP）也降低到了<2ms?！?/span>
2. 頭部定位追蹤的測(cè)試
為了保證最終能給用戶帶來一個(gè)精度更高、穩(wěn)定性更好的定位追蹤系統(tǒng)，F(xiàn)red團(tuán)隊(duì)采用高精度OpticTrack動(dòng)作捕捉系統(tǒng)去反復(fù)模擬用戶的使用場(chǎng)景，模擬用戶的使用、轉(zhuǎn)頭、運(yùn)動(dòng)等，模擬地板紋理、材質(zhì)、燈光、光照、窗簾、鏡子反光、電視畫面等常見的干擾性物體環(huán)境。
團(tuán)隊(duì)在青島搭建了一個(gè)10米 x 8米的高精度OpticTrack動(dòng)作捕捉系統(tǒng)大空間，并開發(fā)了相應(yīng)的數(shù)據(jù)分析系統(tǒng)。利用OpticTrack動(dòng)作捕捉系統(tǒng)采集的數(shù)據(jù)，對(duì)比分析Pico Neo 3頭戴端的定位追蹤數(shù)據(jù)，在不同的模擬環(huán)境場(chǎng)景下針對(duì)兩者數(shù)據(jù)差異進(jìn)行分析，排查暴露出來的定位追蹤問題。
Fred說：“通過兩個(gè)數(shù)據(jù)對(duì)比分析，我們?nèi)タ茨男﹫?chǎng)景下哪些配置下，精度上會(huì)有差異。我們就去排查我們的追蹤系統(tǒng)，是哪方面有問題，是前端問題還是后端問題，然后進(jìn)一步優(yōu)化修正我們的追蹤系統(tǒng)，最終使其精度達(dá)到亞毫米級(jí)別目標(biāo)。我們錄制了幾千個(gè)小時(shí)數(shù)據(jù)，模擬采集了電影院、商場(chǎng)、餐館、學(xué)校等300多個(gè)場(chǎng)景數(shù)據(jù)，80%以上的場(chǎng)景能做到亞毫米級(jí)?！?/span>
3. 頭部定位追蹤的案例表現(xiàn)
全新的頭戴端硬件架構(gòu)，追蹤范圍的大提升，以及算法的優(yōu)化改進(jìn)，使得Pico Neo 3能夠適應(yīng)更復(fù)雜的游玩環(huán)境，即使在較暗、較亮或低紋理環(huán)境下也都能夠表現(xiàn)穩(wěn)定的追蹤效果。
Fred舉例說，好多Neo 2玩家會(huì)在客廳里開著電視玩VR，而他們戴上頭顯之后，頭顯又剛好正對(duì)著電視，如果玩家離電視稍微近一點(diǎn)，電視畫面就會(huì)充滿Neo 2追蹤范圍的主要區(qū)域，結(jié)果是電視畫面的運(yùn)動(dòng)會(huì)影響頭顯的SLAM算法，影響頭部的定位追蹤效果，給玩家?guī)聿皇孢m的體驗(yàn)，甚至眩暈感。
這主要是因?yàn)轭^戴端SLAM會(huì)以外界真實(shí)世界為參考系，會(huì)假定外界世界是靜止的，但實(shí)際大部分環(huán)境中外界真實(shí)世界不可能完全靜止，因?yàn)槠渲袝?huì)有一些其他運(yùn)動(dòng)對(duì)象，而這些運(yùn)動(dòng)對(duì)象就會(huì)跟頭戴端產(chǎn)生相對(duì)運(yùn)動(dòng)效果。如果相對(duì)運(yùn)動(dòng)效果超出了算法追蹤能力，就會(huì)不同程度地影響SLAM算法。
Fred說：“在戶外、體驗(yàn)店、人流量大等場(chǎng)景，也會(huì)存在這種潛在風(fēng)險(xiǎn)?，F(xiàn)在，在Neo 3上，得益于更大的追蹤FOV，這些相對(duì)運(yùn)動(dòng)畫面在整個(gè)追蹤范圍中只是一部分，同時(shí)我們通過算法優(yōu)化，解決了這個(gè)問題，保證了頭部追蹤的穩(wěn)定性?！?/span>
更大的FOV有利于系統(tǒng)去觀測(cè)更大范圍的外部真實(shí)環(huán)境，而在左上角和右上角的兩個(gè)傳感攝像頭主要是斜向上覆蓋，能夠捕捉到大范圍的外部真實(shí)世界靜止畫面圖像（相對(duì)而言），以致于能更好地保證SLAM定位追蹤的穩(wěn)定性。
除了FOV的加持，F(xiàn)red團(tuán)隊(duì)還優(yōu)化了算法，實(shí)時(shí)檢測(cè)運(yùn)動(dòng)畫面關(guān)鍵特征信息，通過前后幀的對(duì)比，拋棄干擾性外界運(yùn)動(dòng)元素。
Fred說：“主要是通過當(dāng)前幀三維環(huán)境的圖像數(shù)據(jù)相對(duì)上一幀數(shù)據(jù)的變化量計(jì)算當(dāng)前Camera 位姿信息。為了提高估計(jì)精度，需要對(duì)三維環(huán)境中的環(huán)境特征進(jìn)行持續(xù)追蹤，對(duì)每一個(gè)環(huán)境特征計(jì)算一些屬性信息，比如環(huán)境特征的速度等信息。通過這些信息進(jìn)行融合，計(jì)算每一個(gè)環(huán)境特征的置信度，對(duì)置信度低的環(huán)境特征進(jìn)行剔除，不進(jìn)入當(dāng)前幀Camera位姿的計(jì)算?！?/span>
根據(jù)宣傳資料，Neo 3同樣支持高效高精度的環(huán)境地圖實(shí)時(shí)構(gòu)建。相比Pico Neo 2，新款Pico Neo 3增加了地圖管理系統(tǒng)，支持5個(gè)高達(dá)10m * 10m安全游玩區(qū)域的記憶與恢復(fù)，成功恢復(fù)率在95%以上。全新的地圖管理系統(tǒng)可在用戶開玩過程中進(jìn)行持續(xù)的環(huán)境學(xué)習(xí)，逐漸改善優(yōu)化用戶設(shè)定的游玩區(qū)，實(shí)現(xiàn)更加精確的安全游玩區(qū)域，實(shí)時(shí)地面檢測(cè)精度誤差低于10mm。
4. 控制器定位追蹤的升級(jí)
在6DoF動(dòng)作控制器上，Pico Neo 3采用了基于光學(xué)的控制器定位追蹤解決方案。在大FOV追蹤范圍下，這個(gè)方案整體上比基于超聲波追蹤和基于電磁追蹤的方案要更優(yōu)。
對(duì)于第一代Pico Neo 1采用的超聲波解決方案，F(xiàn)red表示，超聲波信號(hào)容易受距離約束，距離越大信號(hào)衰減越快，容易導(dǎo)致控制器6DoF位姿信息精度誤差變大，而且超聲波雖然可以不受外界環(huán)境光干擾，但也會(huì)受超聲波相關(guān)的干擾（比如風(fēng)吹）。
Fred繼續(xù)評(píng)價(jià)第二代Pico Neo 2采用的電磁解決方案說，這個(gè)方案的一個(gè)好處就是沒有FOV限制，可以進(jìn)行360°的追蹤定位交互，但是精度要求越高，電磁傳感器的功耗就越大，也會(huì)容易造成控制器發(fā)熱、手部出汗。
另外，無論是超聲波解決方案還是電磁解決方案，都需要布置專門的傳感器，這也會(huì)增加最終產(chǎn)品的成本。
對(duì)于Pico Neo 3采用的基于光學(xué)的控制器定位追蹤解決方案，則不需要額外或者特殊傳感器，可直接復(fù)用頭戴追蹤傳感器解決控制器的6DoF位姿計(jì)算，使得產(chǎn)品的成本更低，也可以大大降低控制器的功耗。其次，該方案也更能保證追蹤精度。
Fred說：“第三代控制器追蹤系統(tǒng)，通過在控制器上按照一定規(guī)則布置一些LED燈，復(fù)用頭戴端內(nèi)置的四路追蹤相機(jī)，以及系統(tǒng)高精度的設(shè)計(jì)，使其控制器端的LED發(fā)光光斑的閃爍頻率和頭戴端Camera拍攝頻率完全同步。通過高精度的系統(tǒng)設(shè)計(jì)方案，結(jié)合IMU 傳感器和Camera感知環(huán)境的各自優(yōu)劣性能，用這兩種傳感器數(shù)據(jù)設(shè)計(jì)了高精度的緊耦合融合算法，可以實(shí)時(shí)獲取控制器高精度6DoF信息。高精度的控制器追蹤6DoF信息，結(jié)合高頻率的IMU和低頻率輸出的Camera數(shù)據(jù)，再結(jié)合實(shí)時(shí)高精度獲取控制器的MTP（Motion-to-Picture），我們?cè)O(shè)計(jì)了高精度的運(yùn)動(dòng)預(yù)測(cè)模型，對(duì)控制器的追蹤運(yùn)動(dòng)延時(shí)做了很大程度上的補(bǔ)償和優(yōu)化。”
5. 控制器定位追蹤的挑戰(zhàn)
跟上一代電磁方案相比，因?yàn)閭鞲袛z像頭有FOV限制，基于光學(xué)的解決方案不能做到360°的追蹤范圍，但是團(tuán)隊(duì)通過優(yōu)化頭戴端的四路廣角追蹤傳感攝像頭，使得整體追蹤范圍能達(dá)到238°x195°，也能滿足諸如《Oshape》、《Beat Saber》、《Eleven Table Tennis》等對(duì)控制器追蹤非常有挑戰(zhàn)的游戲，實(shí)現(xiàn)更好的自由交互。
除了控制器追蹤范圍，F(xiàn)red說，基于Inside-Out的光學(xué)控制器追蹤還存在下面兩個(gè)關(guān)鍵技術(shù)挑戰(zhàn)，包括：
（1）如何在攝像頭拍攝的圖像中準(zhǔn)確獲取控制器LED發(fā)光光斑，而不是環(huán)境光的干擾光斑
（2）如何利用IMU慣導(dǎo)信息結(jié)合光學(xué)數(shù)據(jù)進(jìn)行控制器6DoF計(jì)算與追蹤
在真實(shí)游玩場(chǎng)景中，基于光學(xué)的解決方案會(huì)受到不同程度的環(huán)境光影響，比如天花板燈光、周圍環(huán)境散射光等等。為了解決環(huán)境光干擾，F(xiàn)red團(tuán)隊(duì)構(gòu)建了MobileNet神經(jīng)網(wǎng)絡(luò)模型和光斑檢測(cè)器。
根據(jù)Fred介紹，MobileNet神經(jīng)網(wǎng)絡(luò)模型是基于DSP的毫秒級(jí)深度學(xué)習(xí)系統(tǒng)，能夠?qū)崟r(shí)高精度定位控制器在圖像中的位置。MobileNet能解決：1、復(fù)雜光照環(huán)境下的控制器追蹤定位 ；2、距離頭戴遠(yuǎn)近的控制器追蹤定位；3、在高速運(yùn)動(dòng)下圖像模糊的控制器追蹤定位。
6. 控制器6DoF位姿信息的算法求解
解決了環(huán)境干擾光，還需要能精確計(jì)算出控制器的6DoF位姿信息。為了得到更精確的控制器6DoF位姿信息，通常會(huì)同時(shí)利用IMU傳感器慣性數(shù)據(jù)以及傳感攝像頭光學(xué)數(shù)據(jù)。這就涉及團(tuán)隊(duì)采用的緊耦合融合算法。
與“緊耦合算法”同門的還有“松耦合算法”，“松耦合算法”只需要傳感攝像頭光學(xué)數(shù)據(jù)就能解算出控制器的6DoF位姿信息，但是精度誤差會(huì)比較大，然后再利用IMU傳感器慣性數(shù)據(jù)進(jìn)行后期優(yōu)化，希望使得最終6DoF位姿信息更精確。
與“松耦合算法”不同的是，“緊耦合算法”是同時(shí)利用IMU傳感器慣性數(shù)據(jù)和傳感攝像頭光學(xué)數(shù)據(jù)去求解控制器的6DoF位姿信息，這也就是Fred團(tuán)隊(duì)設(shè)計(jì)的“控制器追蹤6DoF求解優(yōu)化器”采用的算法。這樣的設(shè)計(jì)方案可以簡(jiǎn)單理解為包含參數(shù)因子“IMU傳感器慣性數(shù)據(jù)”和參數(shù)因子“傳感攝像頭光學(xué)數(shù)據(jù)”的二元數(shù)學(xué)方程，但又不僅僅是簡(jiǎn)單的二元數(shù)學(xué)方程，因?yàn)椤癐MU傳感器慣性數(shù)據(jù)”和“傳感攝像頭光學(xué)數(shù)據(jù)”都還包含了非常多的特征參數(shù)，這使得求解該方程變得異常復(fù)雜。
Fred說，這樣的方程很復(fù)雜，不同的團(tuán)隊(duì)可以設(shè)計(jì)出不同的方程，也就是不同的求解算法，最終的追蹤效果也有差異。而Fred團(tuán)隊(duì)最終設(shè)計(jì)的“控制器追蹤6DoF求解優(yōu)化器”最終解決了4個(gè)關(guān)鍵問題：
（1）需要滿足在追蹤控制器LED光斑在圖像上成像1個(gè)點(diǎn)，2個(gè)點(diǎn)，3個(gè)點(diǎn)，4個(gè)點(diǎn)及以上的狀態(tài)變化
（2）能容忍2個(gè)及以下的LED光斑誤匹配狀態(tài)
（3）能滿足多傳感攝像頭視角下同一個(gè)LED光斑多個(gè)觀測(cè)的狀態(tài)切換
（4）重投影誤差小于0.2個(gè)像素以下
Fred說：“基于光學(xué)的追蹤，控制器上會(huì)有一堆光斑點(diǎn)，它們會(huì)投影在傳感攝像頭捕捉的圖像上。通過投影圖像上的光斑點(diǎn)和控制器的光斑點(diǎn)對(duì)應(yīng)匹配，去解決控制器相對(duì)頭戴的6DoF位姿問題。這是一個(gè)很經(jīng)典的問題，我們叫PnP求解問題（Perspective-n-Points）。一般來講，他需要四個(gè)點(diǎn)及四個(gè)點(diǎn)以上，才能計(jì)算出來一個(gè)位移其很穩(wěn)定的6DoF位姿信息。但是在實(shí)際玩VR中，控制器離頭戴很近的時(shí)候可能只有1個(gè)點(diǎn)或2個(gè)點(diǎn)，控制器在頭戴側(cè)面的時(shí)候有可能小于4個(gè)點(diǎn)。在4個(gè)點(diǎn)以下的時(shí)候，對(duì)6DoF的求解會(huì)帶來一定的挑戰(zhàn)，精度和穩(wěn)定性會(huì)有很多問題。我們的優(yōu)化器解決了這個(gè)問題，在這種情況能依然合理地、穩(wěn)定的解出一個(gè)高精度的6DoF位姿信息?！?/span>
Fred還表示，為了驗(yàn)證團(tuán)隊(duì)“控制器追蹤6DoF求解優(yōu)化器”的結(jié)果，團(tuán)隊(duì)將光斑進(jìn)行了重投影匹配，重投影誤差目前能做到小于0.2個(gè)像素。
7. MR透視效果的改善
除了頭部定位追蹤、控制器定位追蹤，F(xiàn)red表示Pico Neo 3的MR透視效果也得到了大大改善。
如何去通俗理解在VR上做MR透視的問題呢？如果你身邊有玻璃水杯或房門貓眼等，你可以透過它們?nèi)ビ^察體驗(yàn)一下。
將頭顯戴在眼前之后，因?yàn)槿搜酆蛿z像頭之間有一定的位置距離，通過攝像頭捕捉圖像畫面的位置并不是人眼的實(shí)際位置，所以通過攝像頭去模擬人眼就會(huì)產(chǎn)生視覺差異，其中會(huì)出現(xiàn)圖像形變、晃動(dòng)等等，讓用戶感覺不真實(shí)，所以我們需要用復(fù)雜的算法去矯正這種差異。
Fred說，團(tuán)隊(duì)設(shè)計(jì)優(yōu)化了高精度、高魯棒性的立體視覺校正算法，通過深入理解每幀環(huán)境物體之間的距離，高精度估計(jì)用戶環(huán)境深度信息。最終，他們?cè)赑ico Neo 3上做到了場(chǎng)景深度估計(jì)精度最大誤差 < 20mm，以及ms級(jí)延時(shí)，使得用戶在透視模式下觀察外部環(huán)境能更流暢、更逼真、更自然
8. 展望手部交互
在本次交流最后，F(xiàn)red還跟我分享了在Pico Neo 3上實(shí)現(xiàn)的手部交互特性，當(dāng)然Fred強(qiáng)調(diào)這是一個(gè)比較早期的功能，后續(xù)會(huì)通過升級(jí)優(yōu)化來推出并改善。
目前的手勢(shì)交互系統(tǒng)支持28自由度的手部追蹤，支持搭建高精度的自動(dòng)標(biāo)注平臺(tái)，實(shí)現(xiàn)百萬級(jí)高精度數(shù)據(jù)標(biāo)注，支持 5種手勢(shì)模式。
Fred表示這是一個(gè)非常值得期待的功能，他們團(tuán)隊(duì)后續(xù)會(huì)繼續(xù)優(yōu)化、升級(jí)。
9. 結(jié)語
在本次與映維網(wǎng)的交流中，Pico技術(shù)總監(jiān)Fred分享了非常多的技術(shù)細(xì)節(jié)問題以及團(tuán)隊(duì)的實(shí)際解決方式。盡管我還沒有親自上手體驗(yàn)過這款產(chǎn)品，但本次交流也讓我對(duì)Pico Neo 3這款產(chǎn)品懷有了更大的期待。
我相信，更穩(wěn)定更先進(jìn)的技術(shù)、更實(shí)惠的價(jià)格、更豐富的內(nèi)容生態(tài)，將能有利推動(dòng)6DoF一體式VR在中國市場(chǎng)的發(fā)展，我們拭目以待。最后，希望Pico Neo 3能在5月10日的新品發(fā)布會(huì)上給用戶一個(gè)“有競(jìng)爭(zhēng)力”的實(shí)惠價(jià)格。
