3D視覺(jué)系統技術(shù)詳解

3D視覺(jué)技術(shù)的發(fā)展

近年來(lái)，隨著(zhù)芯片技術(shù)的發(fā)展以及相關(guān)軟硬件系統的深入，視覺(jué)傳感器得到了極為廣泛的應用。社會(huì )越來(lái)越智能，可以使用人工智能和大數據技術(shù)將人們記錄下來(lái)的圖像智能地利用起來(lái)，而不是用一個(gè)個(gè)柜子將圖像、視頻束之高閣。

從膠卷，到CCD 再到現在特別成熟、隨處可見(jiàn)的CMOS，我們對圖像傳感器的性能追求也逐漸發(fā)生了改變。手機上開(kāi)始出現前攝、后攝，后攝也出現了俗稱(chēng)的“浴霸”、“加特林”。在算法的加持下，每顆攝像頭的用處都不一樣。

而18、19年將是3D圖像傳感器起飛與騰飛的兩年。有了3D傳感器，我們就更容易做基于事件的分析并直接指導我們身邊圖像的優(yōu)化做出體感游戲、人臉支付、機器人自動(dòng)避障、工業(yè)自動(dòng)分揀等應用。

2016年，AlphaGo成為個(gè)不借助讓子而擊敗圍棋職業(yè)九段棋手李世石的計算機圍棋程序，這件事引起了人類(lèi)的轟動(dòng)，也展開(kāi)了各種討論。隨之而來(lái)的是人工智能鋪天蓋地的宣傳，這給了無(wú)數人信心，機器智能化的大浪潮撲面而來(lái)。

現在A(yíng)I是一個(gè)很火的詞。很多人都想做AI，也有很多人想往AI上面靠，AI的出現就相當于我們有了一個(gè)聰明的大腦。以前的處理器，只能處理一個(gè)特定場(chǎng)景的問(wèn)題，AI給這個(gè)世界帶來(lái)了可以自我學(xué)習、自我改進(jìn)的功能，特別是對復雜場(chǎng)景的處理，AI更“聰明”。

可是只有AI，自動(dòng)駕駛也做不起來(lái)，它還需要攝像頭、激光雷達、毫米波雷達等各類(lèi)傳感器。

人臉識別也是非常好的一項技術(shù)，可以用來(lái)做人臉識別閘機、人臉無(wú)感支付，但是現在很多時(shí)候人臉識別還是容易受到環(huán)境干擾、hei客攻擊。
所以，想把AI做好，傳感器對我們進(jìn)入智能時(shí)代至關(guān)重要。有了3D傳感器，掃地機不會(huì )跌跌撞撞，僅憑一張照片一個(gè)視頻也騙不開(kāi)手機解鎖，自動(dòng)駕駛也能檢測到來(lái)往行人、車(chē)輛，變得更安全。

3D傳感器在A(yíng)I幾乎所有的領(lǐng)域都有廣泛的應用，比如新零售，自動(dòng)駕駛，個(gè)性化教育，智慧醫療，智能安防，智能監護，智能機器人等等。 2019年，我們也將迎來(lái)3D視覺(jué)技術(shù)在各個(gè)領(lǐng)域的廣泛應用。

1、 雙目視覺(jué)
談到3D視覺(jué)，主要就是指圖像不僅僅是二維的XY坐標，還要感受被拍照物體的距離遠近，大小尺寸，也就是空間坐標Z。
我們人靠著(zhù)左右兩只眼可以估計出前方的門(mén)在3m處，桌子上的茶杯在1.5m處，遠處的樹(shù)大概在10m。仿生學(xué)是被應用得非常好的，通過(guò)兩只攝像頭，無(wú)人機可以分辨前方障礙物一根電線(xiàn)桿的距離。因為在它的左眼中，物體坐標為A，相應的視場(chǎng)角度α， 右眼坐標為B，相應的視場(chǎng)角度β，而基線(xiàn)距離x是早先就在機械結構上確定的。這樣通過(guò)下面的公式，我們就可以得到空間點(diǎn)的z軸距離。

這個(gè)方法已經(jīng)沿用了很多年，從技術(shù)上來(lái)說(shuō)，視野里面所有的點(diǎn)都不可靠了，不能確定左右眼中的兩個(gè)點(diǎn)是不是同一個(gè)點(diǎn)。它的優(yōu)點(diǎn)就是觀(guān)測距離遠，精度高，成本相對較低。缺點(diǎn)就是面對單一場(chǎng)景，例如一面白墻，波動(dòng)的水面，皚皚的白雪，綠油油的草地，我們人都會(huì )失去參考點(diǎn)，這時(shí)候無(wú)人機或處理器就無(wú)法計算出深度。

這也就是為什么雙目攝像頭鮮少應用在手機、人臉識別、人臉解鎖等方面。

另外一個(gè)問(wèn)題是，如果我們要將物體表面做一個(gè)高分辨率深度探測，那么處理器先要做多點(diǎn)的圖像數據匹配，這個(gè)匹配算法的算力要求就超乎一般人想象，然后再執行圖中公式的計算，而這個(gè)運算是三角函數級別，比較復雜?？梢韵胂笕绻枰獙⑷四槺砻孀?000個(gè)點(diǎn)的深度信息建模，那么所需要的運算量是多么的復雜。

2、結構光
2017年iPhone X面世，它采用3D結構光的方式，將我們人臉的3D數據測算出來(lái)，又一次了技術(shù)潮流。

對于結構光，其實(shí)也是一個(gè)很古老的技術(shù)，只不過(guò)蘋(píng)果可以把它做到手機里面，還是比較讓大家吃驚的。

左圖是一個(gè)3d結構光的簡(jiǎn)單實(shí)驗版。通過(guò)右邊的投影儀可以投影出黑白相間的條紋狀圖案，打在一個(gè)狐貍面具上面這些條紋狀的圖案就會(huì )產(chǎn)生一定的畸變。通過(guò)CCD相機將這個(gè)畸變的形狀拍下來(lái)之后，便可以通過(guò)這個(gè)畸變的狀態(tài)，去計算出這個(gè)面具相應的凹凸不平的3D信息。比如條紋向左彎曲，就代表凸起，向右彎曲代表凹陷。

單點(diǎn)結構光的三角測距法基本原理如右圖，激光光源打出一個(gè)很小很亮的紅點(diǎn)，傳感器接收到之后，就可以在sensor表面找到這個(gè)特別亮的點(diǎn)的坐標（x’，y’）。結合光源的投影角，基線(xiàn)距離b，鏡頭焦距f，就可以通過(guò)上面的公式解析出三軸坐標（x,y,z）了。

而IPHONE X使用了3萬(wàn)個(gè)點(diǎn)的投射器，然后通過(guò)一百四十萬(wàn)像素的紅外攝像頭，將這些投射點(diǎn)的信息全部都采集回來(lái)，這中間一個(gè)復雜的問(wèn)題，就是要將這3萬(wàn)個(gè)點(diǎn)每一個(gè)點(diǎn)匹配。這里面難的就是要找到打在臉上的點(diǎn)的ID，也就是得知道打出點(diǎn)的投射角，基線(xiàn)距離。這個(gè)匹配算法是需要非常大量的計算的。而且為了降低計算量，這3萬(wàn)個(gè)點(diǎn)的排布在我們看來(lái)是隨機的，實(shí)際是符合某種數學(xué)幾何規律的。

可以看到這個(gè)計算公式里面包含了各項幾何參數，所以對組裝工藝要求很高，而且后期客戶(hù)將手機摔倒了或者震動(dòng)，都可能會(huì )影響3D測量精度。

另外這塊由于專(zhuān)li的保護，別人很難進(jìn)入。所以業(yè)內對于蘋(píng)果能推出這個(gè)方案，還是很佩服的，蘋(píng)果還是具備相當強大的工程能力。因為IPHONE X的利潤率不錯，蘋(píng)果可以做這塊的事情。而別的廠(chǎng)商做這個(gè)就挺痛苦的，受限于成本和技術(shù)難度。

來(lái)源：光電微課堂