神經(jīng)擬態(tài)視覺傳感器來(lái)了：手機(jī)和車都能用，李開復(fù)雷軍紛紛投資

機(jī)器會(huì)怎樣來(lái)看世界？

通過(guò)幀。

傳統(tǒng)的圖像傳感器會(huì)通過(guò)每秒捕獲多張靜止圖像來(lái)記錄場(chǎng)景運(yùn)動(dòng)。

如果將這一系列圖像通過(guò)足夠快的速度連續(xù)展示，人類視覺就能產(chǎn)生“這是連續(xù)運(yùn)動(dòng)”的錯(cuò)覺。

但對(duì)于計(jì)算機(jī)來(lái)說(shuō)，無(wú)論是多快的速率，幀與幀之間總會(huì)丟失某些運(yùn)動(dòng)信息。

那么，有沒有辦法讓機(jī)器連續(xù)地“看”到運(yùn)動(dòng)場(chǎng)景或事件呢？

今天就來(lái)看看普諾飛思（Prophesee）公司給出的“神經(jīng)擬態(tài)機(jī)器眼”。

來(lái)自人眼的啟發(fā)

要了解這個(gè)“機(jī)器眼”，首先得看看它模仿的源頭：

人眼。

我們是如何通過(guò)人眼來(lái)看世界的呢？

當(dāng)眼睛中的視覺細(xì)胞感測(cè)到場(chǎng)景變化——即發(fā)生了某個(gè)事件時(shí)，它就會(huì)將相關(guān)信息通過(guò)視神經(jīng)傳到大腦皮層。

而收集到的數(shù)據(jù)也是持續(xù)的，是以事件為基礎(chǔ)的。

因此，普諾飛思的研究者們以人眼為啟發(fā)，提出了基于事件的視覺感知技術(shù)。

和傳統(tǒng)圖像傳感器不同，在基于這種技術(shù)的傳感器中，每個(gè)像素都是異步且獨(dú)立的。

因此，圖像信息并不是逐幀發(fā)送，而是通過(guò)連續(xù)的信息流捕獲事件運(yùn)動(dòng)：

而如果從事件的角度來(lái)考慮，靜止和場(chǎng)景并不會(huì)帶來(lái)新的信息。

因此，這種技術(shù)也就不關(guān)注完全靜止的場(chǎng)景：

只有場(chǎng)景中發(fā)生某個(gè)事件，產(chǎn)生了變化時(shí)，傳感器才會(huì)產(chǎn)生輸出：

如果是以幀為單位來(lái)獲取這種圖像信息的變化，那得一張一張固定頻率發(fā)送，然后一個(gè)像素一個(gè)像素的比較。

而現(xiàn)在，只關(guān)注動(dòng)態(tài)變化，也就剔除了很多冗余信息，減少了處理數(shù)據(jù)量。

這不僅加快了處理速度，也意味著對(duì)算力要求的減弱，成本也就隨之降低。

普諾飛思的CEO兼創(chuàng)始人Luca Verre對(duì)此表示：

這是來(lái)自自然界的完美的解決方案。

現(xiàn)在，普諾飛思已將這種基于事件的視覺技術(shù)集成到已有系統(tǒng)中，量產(chǎn)了世界上首個(gè)基于事件的視覺傳感器。

并且隨著更新?lián)Q代，傳感器的性能越來(lái)越好，尺寸也越來(lái)越小了。

更清晰的拍照，更準(zhǔn)確的駕駛

更小，也就意味著離我們的日常生活更近。

比如手機(jī)拍攝。

如果在按下快門的幾毫秒內(nèi)被拍對(duì)象恰好發(fā)生了移動(dòng)，那么圖像的一個(gè)點(diǎn)就會(huì)變成一條線。

這也就是我們?cè)谂臄z很多動(dòng)態(tài)物體時(shí)常常產(chǎn)生模糊的原因。

但現(xiàn)在用基于事件的視覺技術(shù)，就能夠在按快門的這段時(shí)間內(nèi)一直觀測(cè)這一點(diǎn)的移動(dòng)，知道它的移動(dòng)軌跡，再將這條線恢復(fù)成點(diǎn)。

可以看到，采用基于事件的視覺技術(shù)的右圖明顯比左圖要清晰很多。

此外，這一技術(shù)也能提供更大的動(dòng)態(tài)范圍，讓每一個(gè)像素都能按照不同的曝光值來(lái)曝光。

這樣，即使在非常嚴(yán)苛的光線情景（如室內(nèi)或夜景）下，拍攝圖像也不會(huì)得到很大的損失。

然后就是提供更精準(zhǔn)的座艙監(jiān)控技術(shù)。

可以看到，這一監(jiān)控能夠追蹤駕駛員的目光方向。

不僅如此，連眨眼速度也能監(jiān)控，這可是傳統(tǒng)的監(jiān)控解決方案做不到的。

這就是普諾飛思聯(lián)合Xperi開發(fā)的全球首個(gè)基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案。

還有基于事件的高級(jí)駕駛輔助系統(tǒng)，增強(qiáng)了現(xiàn)有的雷達(dá)、激光雷達(dá)和攝像頭系統(tǒng)，能夠更快速、準(zhǔn)確地理解周圍的環(huán)境。

通過(guò)細(xì)胞實(shí)時(shí)無(wú)菌檢測(cè)實(shí)現(xiàn)的下一代細(xì)胞療法，用于減少醫(yī)療制品的生產(chǎn)成本：

也有失明患者借助將基因療法、光刺激醫(yī)療設(shè)備、以及普諾飛思傳感器結(jié)合起來(lái)的光遺傳療法恢復(fù)了部分視力。

除此之外，工業(yè)上也有這種傳感器的應(yīng)用：

比如對(duì)于一些不能直接接觸的大型機(jī)械（如高壓環(huán)境）可以做非接觸性的振動(dòng)檢測(cè)。

在焊接上也可以做到引導(dǎo)和質(zhì)檢。

這是怎樣的一個(gè)公司

普諾飛思（Prophesee）是一個(gè)7年前在巴黎創(chuàng)立的公司。

這家科技公司致力于神經(jīng)擬態(tài)視覺系統(tǒng)的研發(fā)，其基于事件的視覺傳感器已應(yīng)用在攝影、自動(dòng)駕駛、工業(yè)自動(dòng)化、醫(yī)療等多個(gè)領(lǐng)域。

公司CEO兼聯(lián)合創(chuàng)始人Luca Verre擁有米蘭理工大學(xué)和巴黎中央理工學(xué)院的物理學(xué)、電子和工業(yè)工程雙碩士學(xué)位。

還曾任豐田汽車公司和Altis半導(dǎo)體公司的工程師。

在7月6日這場(chǎng)發(fā)布會(huì)上，普諾飛思宣布C輪融資，由創(chuàng)新工場(chǎng)領(lǐng)投、小米及上海韋豪創(chuàng)芯跟投，數(shù)家老股東加碼。

這也是今年繼DeepMind之后，又一家能走進(jìn)中國(guó)視野的歐洲AI創(chuàng)業(yè)公司。

創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO李開復(fù)博士表示：

普諾飛思在神經(jīng)擬態(tài)視覺領(lǐng)域的先進(jìn)技術(shù)，將為AI和機(jī)器視覺技術(shù)的發(fā)展開創(chuàng)更多的可能性與機(jī)會(huì)，幫助更多行業(yè)實(shí)現(xiàn)自動(dòng)化、安全以及效率方面的提升。