斯坦福大學(xué)研究人員開發(fā)的4D相機(jī)技術(shù)，可以提高機(jī)器人的視覺和虛擬現(xiàn)實(shí)能力，具有超寬的視野。

△GordonWetzstein（左） and DonaldDansereau（右）

　　斯坦福的研究人員所描述的技術(shù)，可能需要機(jī)器來(lái)獲取全球的圖像，這比20年前的研究更進(jìn)一步。這種4D相機(jī)，能產(chǎn)生四維圖像，還可以捕獲幾乎140個(gè)自由度的信息。

　　Dansereau（電子工程博士后）和Gordon Wetzstein（電氣工程助理教授）與來(lái)自美國(guó)加州大學(xué)的同事們一起，在圣地亞哥創(chuàng)建了首個(gè)單鏡頭、寬視野、光場(chǎng)相機(jī)，并把研究成果發(fā)布于7月23日的2017CVPR（計(jì)算機(jī)視覺會(huì)議）。

　　Wetzstein表示：“新算法和光學(xué)器件促進(jìn)了成像系統(tǒng)生成前所未有的真實(shí)圖像”。

　　普通鏡頭和全新設(shè)計(jì)的鏡頭之間的差異是，窺視孔和取景窗口。二維照片就像是一個(gè)窺視孔，因?yàn)槟悴荒芩奶幰苿?dòng)你的鏡頭，以獲取深度、半透明或散射光的詳細(xì)信息。4D相機(jī)透過(guò)窗口望去，可以移動(dòng)識(shí)別形狀、透明度和光線。

　　光場(chǎng)攝影，首先在1996年由斯坦福大學(xué)教授馬克·萊沃伊和帕特·哈納罕發(fā)現(xiàn)。光場(chǎng)攝影捕獲的同一圖像的常規(guī)2D照相機(jī)，加上大概的方向與光射到透鏡的距離信息，創(chuàng)建了所謂的四維圖像。光場(chǎng)攝影的共同特征是，它允許用戶在拍攝后，使得圖像包括關(guān)于光的位置和方向的信息重新聚焦。

△兩個(gè)138°光場(chǎng)的全景和第二全景的深度預(yù)估（圖片來(lái)源：斯坦福計(jì)算機(jī)成像實(shí)驗(yàn)室和加州大學(xué)圣地亞哥分校光子系統(tǒng)集成實(shí)驗(yàn)室）

△使用簡(jiǎn)單的線性方法提高LF超分辨率

　　相機(jī)具有極寬的視野，有一個(gè)專門設(shè)計(jì)的球面透鏡。然而，這種透鏡也會(huì)有障礙：如何將球形圖像轉(zhuǎn)換到傳感器上。以前的辦法來(lái)解決這個(gè)問題容易出錯(cuò)，但結(jié)合UCSD的光學(xué)系統(tǒng)和專業(yè)技術(shù)以及Wetzstein的實(shí)驗(yàn)室有關(guān)信號(hào)處理、算法的專業(yè)知識(shí)可以解決這個(gè)問題，不僅能創(chuàng)建這些超寬視野圖像，還可以提高成像質(zhì)量。

　　該相機(jī)系統(tǒng)中的角度，詳細(xì)深度信息和潛在嚴(yán)謹(jǐn)?shù)膶捯曇皥?chǎng)尺寸可用于穿戴式裝備，機(jī)器人，自動(dòng)駕駛和虛擬現(xiàn)實(shí)增強(qiáng)并符合成像系統(tǒng)的所有期待指標(biāo)。

△博士后研究員Donald Dansereau手持全景光場(chǎng)相機(jī)的心臟，攻克了的寬視野場(chǎng)具有豐富光場(chǎng)信息的球面透鏡

　　Wetzstein表示：“這個(gè)系統(tǒng)無(wú)論你如何移動(dòng)，都可以在你空間有限任何情況下讓計(jì)算機(jī)了解它周圍的整個(gè)世界”。

　　雖然它也可以像傳統(tǒng)相機(jī)在遠(yuǎn)距離工作，但這臺(tái)相機(jī)的目的是提高特寫圖像。例如以下方面特別有用：包括小區(qū)域導(dǎo)航機(jī)器人、無(wú)人駕駛飛機(jī)和自動(dòng)駕駛汽車。作為增強(qiáng)或虛擬現(xiàn)實(shí)系統(tǒng)的一部分，可能會(huì)導(dǎo)致真實(shí)場(chǎng)景更流暢的渲染深度信息，支持這些場(chǎng)景和虛擬組件之間更好的融合。

　　該版本將有望足夠小、足夠輕，用來(lái)測(cè)試機(jī)器人。

　　Dansereau說(shuō)：“這是我知道的專門為機(jī)器人和增強(qiáng)現(xiàn)實(shí)內(nèi)置了光場(chǎng)相機(jī)的第一個(gè)實(shí)例。