商湯科技：高效低成本的室內外精確定位和AR導航已經到來
商湯科技SenseMARS火星混合現(xiàn)實平臺，以更低成本、更易普及的AI視覺技術為核心，以高效低成本的方式實現(xiàn)室內外精準定位和AR導航。
商湯SenseMARS火星混合現(xiàn)實平臺由浙江大學-商湯科技三維視覺聯(lián)合實驗室與商湯產品團隊聯(lián)合打造，具備專業(yè)級高精度三維數(shù)字化地圖構建、跨平臺和終端的空間感知計算、全場域厘米級的端云協(xié)同定位等空間定位和構建能力，并可支持Android/iOS/Web/小程序等系統(tǒng)平臺，以及手機、平板電腦、AR/MR眼鏡等多種終端設備，從而實現(xiàn)室內、室外等不同場景的AR/MR特效、導航和導覽等功能。
雖然，自1967年衛(wèi)星導航技術開放民用以來，經過50多年的發(fā)展，導航定位已經廣泛應用于交通物流、地理信息、高精度測量等行業(yè)，提高了現(xiàn)代社會的運行效率，給個人生活和旅行帶來了極大的便利。導航定位技術在室外場景中已經非常流行，但室內導航的應用還沒有得到很好的發(fā)展。
一方面由于衛(wèi)星信號的衰減，衛(wèi)星導航定位在室內幾乎毫無用武之地。另一方面，盡管基于藍牙信標定位、Wi-Fi信號等專用設備的解決方案在一定程度上可以輔助室內導航定位，但卻部署和維護成本高昂，不具備大規(guī)模推廣的條件。
商湯科技SenseMARS火星混合現(xiàn)實平臺基于視覺高精定位的AR導航
室內導航的難點在哪里？展覽館、博物館、商場、交通樞紐等大型室內場景環(huán)境復雜，規(guī)模巨大，并存在很多無紋理空間區(qū)域和視覺歧義區(qū)域，地圖數(shù)據(jù)的采集、制作及表達是一大難點。同時，伴隨光照、視點變化，用戶如何精準快速地實現(xiàn)重定位也是一項挑戰(zhàn)。
稀疏點云地圖構建采用運動恢復結構（Structure from Motion，簡稱SfM）技術。利用離線采集的視頻或圖片提取場景中的視覺特征，恢復圖片的相機位姿和場景的稀疏三維點云，視覺特征和三維點云主要用于視覺重定位，而相機位姿可用來做進一步的稠密三維幾何構建。
稀疏點云地圖
稠密三維點云
以采集的視頻或圖片以及SfM恢復的相機位姿為輸入，經過稠密深度估計、深度融合、網(wǎng)格構建和紋理貼圖，最終輸出場景的精細化稠密點云和帶紋理的三維網(wǎng)格模型，這就是稠密三維幾何構建。
得益于商湯在原創(chuàng)技術研發(fā)上的產學研優(yōu)勢，浙江大學-商湯三維視覺聯(lián)合實驗室研究團隊經過兩年多時間的技術攻關和打磨，提出基于單目/多目/全景相機、慣性測量單元、GPS等多源數(shù)據(jù)的采集方案和多源數(shù)據(jù)融合建圖算法，實現(xiàn)了高效穩(wěn)定的地圖數(shù)據(jù)采集、重建和更新。
2萬平米場景一般可在1小時內完成數(shù)據(jù)采集，6個小時左右完成三維重建和紋理貼圖（單節(jié)點服務器上），重建精度可達厘米級。
重建的高精度三維網(wǎng)格可以用來正確處理虛擬物體和真實場景的遮擋以及碰撞關系，實現(xiàn)具有高度真實感的增強現(xiàn)實效果。
大規(guī)模3D地圖重建，SenseMARS生成的50萬平方米杭州錢江世紀城園區(qū)地圖。
高精度三維數(shù)字化模型和紋理貼圖，SenseMARS生成的變壓器三維模型
讓機器輸出準確匹配場景
有了地圖數(shù)據(jù)之后，用戶如何透過終端將導航指示箭頭等虛擬內容無縫融合在現(xiàn)實場景中？
關鍵就在于實時、準確地獲取用戶的相機位姿，由視覺重定位和SLAM一起來實現(xiàn)。
視覺重定位以用戶拍攝圖像為輸入，將圖像中的特征與地圖數(shù)據(jù)中的特征進行匹配，獲取圖像特征點和地圖三維點的2D-3D對應關系，并計算圖像相機位姿，在SLAM過程中幫助進行累積誤差的矯正。
SenseMARS視覺定位技術在商超、展館等典型室內場景成功率高于95%，結合SLAM 技術實現(xiàn)連續(xù)穩(wěn)定的位姿跟蹤，同時拓展地圖未覆蓋到的區(qū)域。
SLAM技術利用相機、IMU等常見的傳感器信息可以實時計算出當前設備的6DoF位姿，保證圖像上AR效果與真實環(huán)境的一致性、穩(wěn)定性及貼合性。
再借助離線高精度地圖和高精定位結果，就可以保證在大尺度場景下長時間的高精定位和跟蹤。
此外，針對目前APP方案比較重且SLAM算法的機型覆蓋率不足的問題，商湯同時提供了輕量級的Web SLAM能力，能夠在H5和小程序中實時運行。
用戶無需安裝App只需簡單掃描二維碼，即可體驗完整的室內外定位和AR導航導覽能力。
基于以上這些技術，商湯SenseMARS平臺可以支撐多種實際復雜場景中的高精度增強/混合現(xiàn)實需求。在GPS信號難以覆蓋的區(qū)域，讓用戶可通過圖像或視頻實時準確地獲取自身位置。
結合商湯SLAM技術還能以增強/混合現(xiàn)實的方式獲取場景的額外信息如導航、導覽、商家介紹等基于位置的內容增強，切身感受AR與生活場景的巧妙融合。
