加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
    • 從傳統(tǒng)感知到機(jī)器人具身智能傳感
    • 端側(cè)AI賦能下的機(jī)器人感知
    • 具身智能端側(cè)AI傳感,不止于感知
    • 寫(xiě)在最后
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

機(jī)器人也有“五感”?端側(cè)AI加速融合機(jī)器人傳感,具身智能仍然感知先行

3小時(shí)前
90
閱讀需 13 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

作者:李寧遠(yuǎn)物聯(lián)網(wǎng)智庫(kù) 原創(chuàng)

如果說(shuō)去年機(jī)器人行業(yè)上半年發(fā)展的關(guān)鍵詞是“機(jī)器人+”概念,那么去年下半年到今年年末機(jī)器人行業(yè)發(fā)展的關(guān)鍵詞毫無(wú)疑問(wèn)無(wú)疑只有一個(gè),就是“具身智能”。

雖然應(yīng)用側(cè)落地的痛點(diǎn)一直困擾著產(chǎn)業(yè)鏈,但具身智能概念的出現(xiàn)讓機(jī)器人,尤其是人形機(jī)器人的量產(chǎn)及產(chǎn)業(yè)化落地正在超出預(yù)期地加速發(fā)展。在今年的北京2024世界機(jī)器人大會(huì)上,眾多人形機(jī)器人紛紛亮相,數(shù)量創(chuàng)下歷屆大會(huì)之最。

同時(shí),今年也是端側(cè)AI蓬勃發(fā)展的一年,從芯片制造、操作系統(tǒng)開(kāi)發(fā)到終端設(shè)備開(kāi)發(fā)、應(yīng)用開(kāi)發(fā)等各個(gè)環(huán)節(jié)都在不遺余力地進(jìn)行端側(cè)AI技術(shù)的融合,AI得以持續(xù)向端側(cè)應(yīng)用發(fā)力,各類AI智能終端產(chǎn)品在市場(chǎng)上涌現(xiàn)并迅速占領(lǐng)份額。

端側(cè)AI在消費(fèi)電子領(lǐng)域的火熱進(jìn)展自是不必多說(shuō),機(jī)器人也開(kāi)始越來(lái)越多地與端側(cè)AI技術(shù)結(jié)合,向更高階的智能化升級(jí)。黃仁勛曾表示,AI下一個(gè)浪潮將是“具身智能”,即能夠理解、推理并與物理世界互動(dòng)的智能。體現(xiàn)在終端設(shè)備上,智能機(jī)器人是最通用的具身智能終端形態(tài),甚至人形機(jī)器人可能成為真正意義上的自主智能終端,而這一愿景離不開(kāi)背后機(jī)器人與AI技術(shù)的深度融合。

作為集前沿科學(xué)技術(shù)于一身的產(chǎn)品,機(jī)器人的感知層、決策層、執(zhí)行層等等每一類技術(shù)框架里都有著大量可智能化的空間。我們把切入點(diǎn)縮小一些,著重從感知層面來(lái)看傳感與人工智能的結(jié)合到最后實(shí)現(xiàn)具身智能感知。

從傳統(tǒng)感知到機(jī)器人具身智能傳感

機(jī)器人任務(wù)流程的正確執(zhí)行,其源頭都是機(jī)器人對(duì)其自身狀態(tài)、操作對(duì)象以及作業(yè)環(huán)境有正確的認(rèn)知。這依賴于機(jī)器人搭載的傳感系統(tǒng)能搜集足夠的內(nèi)外部信息以便決策層進(jìn)行運(yùn)動(dòng)規(guī)劃。這一點(diǎn)和我們?nèi)祟愂窍嗤ǖ模瑱C(jī)器人的傳感系統(tǒng)就是人類的感官,一方面收集周圍環(huán)境信息,一方面進(jìn)行自身狀態(tài)的感知。通常在一個(gè)機(jī)器人端側(cè)系統(tǒng)中,會(huì)用到傳感器、主控以及必要的通信連接功能,傳感器負(fù)責(zé)采集真實(shí)物理世界的信號(hào),然后將數(shù)據(jù)傳遞到主控中進(jìn)行處理。

對(duì)于像工業(yè)機(jī)器人這樣的傳統(tǒng)機(jī)器人而言,感知部分是較為單一的,有位置傳感器用于運(yùn)控即可,發(fā)展到后來(lái)部分工業(yè)機(jī)器人也僅需要少數(shù)的感知單元來(lái)完成一些額外的功能。而且傳統(tǒng)的機(jī)器人傳感器定位僅僅是一個(gè)單純用于感知器件,屬于完全的被動(dòng)方,只以旁觀者的視角對(duì)目標(biāo)量進(jìn)行記錄,功能點(diǎn)明確且單一。

隨著機(jī)器人整體軟硬件技術(shù)的完善與發(fā)展,越來(lái)越多功能得以實(shí)現(xiàn),機(jī)器人本身也成為傳感器高度集成的端側(cè)設(shè)備,小到電流傳感器、溫度傳感器,大到IMU、編碼器、視覺(jué)、激光雷達(dá)等等一系列傳感器從各個(gè)維度豐富著機(jī)器人對(duì)環(huán)境對(duì)世界的感知。

更重要的是,傳感器不再只是被動(dòng)地去記錄目標(biāo)參數(shù),而是變得更主動(dòng)、更智能,能夠基于收集到的數(shù)據(jù)主動(dòng)去做融合、分類和預(yù)測(cè)等等一系列此前無(wú)法實(shí)現(xiàn)的功能。

這些改變都得益于AI相關(guān)技術(shù)的引入,如果說(shuō)此前這些升級(jí)與革新只是錦上添花的話,到了現(xiàn)在人形機(jī)器人具身智能時(shí)代,端側(cè)設(shè)備上傳感器與AI的結(jié)合絕對(duì)已經(jīng)成為必不可少的技術(shù)棧。

因?yàn)榫呱碇悄芘c傳統(tǒng)智能差別在于具身智能是具有主動(dòng)性的第一人稱智能,能夠在與環(huán)境的交互感知中將數(shù)據(jù)的采集、模型的學(xué)習(xí)、任務(wù)的執(zhí)行融為一體實(shí)現(xiàn)自主學(xué)習(xí),感知層不與AI深度結(jié)合難以實(shí)現(xiàn)這種主動(dòng)智能。

從具身智能整個(gè)實(shí)現(xiàn)的技術(shù)框架來(lái)看,仍舊是感知、決策、執(zhí)行三個(gè)核心技術(shù)環(huán)節(jié)以及配套的通信與交互技術(shù)。具身感知是后續(xù)環(huán)節(jié)的支撐,包括對(duì)世界模型的全感知及與環(huán)境的實(shí)時(shí)交互感知,可以結(jié)合真實(shí)交互反饋數(shù)據(jù)不斷自主修正預(yù)先構(gòu)建的數(shù)據(jù)庫(kù),獲得更精確的世界理解與模型建立。而后通過(guò)構(gòu)建仿真引擎,對(duì)具身任務(wù)進(jìn)行模擬,結(jié)合感知數(shù)據(jù)進(jìn)行想象操作,為機(jī)器人具身執(zhí)行提供支撐。

可以說(shuō),具身傳感是具身智能機(jī)器人的基礎(chǔ),只有一套完整的具身傳感系統(tǒng)才能讓機(jī)器人實(shí)現(xiàn)真正具身智能,通過(guò)感知的傳遞完成對(duì)運(yùn)動(dòng)控制的指導(dǎo)。具身智能機(jī)器人需要多種傳感器,感知帶動(dòng)運(yùn)動(dòng)控制的范式變化。例如在抓取物品的時(shí)候,會(huì)先利用傳感器組合判斷方位,再識(shí)別物品的大小,調(diào)整伸手距離等,再通過(guò)力/觸覺(jué)傳感器調(diào)整抓握力,進(jìn)而完成一系列動(dòng)作。其中每一個(gè)環(huán)節(jié),都有著AI能夠助力的空間。

端側(cè)AI賦能下的機(jī)器人感知

端側(cè)的AI與傳感器融合是機(jī)器人發(fā)展較為迅速的一個(gè)領(lǐng)域,不少感知方向的傳感都已經(jīng)有了明顯的智能化提升。各個(gè)不同維度的傳感方向,都有相關(guān)技術(shù)力量在推動(dòng)。

1. 機(jī)器視覺(jué)

AI+3D視覺(jué)主導(dǎo)的機(jī)器人視覺(jué)傳感已經(jīng)在行業(yè)內(nèi)發(fā)展了很多年,是AI與傳感器結(jié)合得較為成熟的賽道。以往更多的是在實(shí)時(shí)收集真實(shí)數(shù)據(jù)后不斷在云端優(yōu)化視覺(jué)算法。端側(cè)AI的興起,開(kāi)始直接在端側(cè)進(jìn)行數(shù)據(jù)處理,降低了可能因傳輸數(shù)據(jù)造成的延遲與可靠性問(wèn)題。

同時(shí)基于獲取到的點(diǎn)云/圖像信息,端側(cè)能夠直接進(jìn)行一定計(jì)算量AI功能實(shí)現(xiàn),如進(jìn)行姿態(tài)識(shí)別、手勢(shì)識(shí)別、人臉識(shí)別等等。此外,機(jī)器人向具身智能的發(fā)展更強(qiáng)調(diào)傳感器對(duì)3D空間和動(dòng)態(tài)環(huán)境有更深入的理解。端側(cè)的視覺(jué)信息收集只是第一步,后續(xù)要進(jìn)行視覺(jué)感知和推理,理解場(chǎng)景中的3D關(guān)系,并基于視覺(jué)信息預(yù)測(cè)和執(zhí)行復(fù)雜任務(wù),最終形成主動(dòng)的視覺(jué)感知,結(jié)合真實(shí)交互反饋數(shù)據(jù)不斷自主修正完成從仿真到現(xiàn)實(shí)的跨越。

根據(jù)Yole的調(diào)研數(shù)據(jù),3D視覺(jué)傳感市場(chǎng)在2022年的收入已達(dá)到82億美元,并預(yù)計(jì)到2028年將翻倍增長(zhǎng)至172億美元。同時(shí),MarketsandMarkets的預(yù)測(cè)顯示,到2028年全球AI傳感器市場(chǎng)規(guī)模將達(dá)到221億美元,相比2022年的30億美元,年復(fù)合增長(zhǎng)率高達(dá)41.6%

2. 語(yǔ)義識(shí)別處理

端側(cè)AI在自然語(yǔ)言處理NLP領(lǐng)域上的優(yōu)勢(shì)也正在被機(jī)器人應(yīng)用起來(lái)。借助端側(cè)的大模型進(jìn)行自然語(yǔ)言識(shí)別來(lái)做語(yǔ)音交互、語(yǔ)音喚醒、聊天問(wèn)答等等功能只是最基礎(chǔ)的一部分,也只是第一步。

被下達(dá)任務(wù)指令的機(jī)器人,大語(yǔ)言模型識(shí)別完成后自動(dòng)拆解出涉及的機(jī)器人技能與子技能,根據(jù)給定的最終目標(biāo)任務(wù)進(jìn)行自主地從Language到Action模型構(gòu)建,在端側(cè)AI使能下自主編排復(fù)雜任務(wù)才是具身智能機(jī)器人更前瞻的方向。

國(guó)內(nèi)NLP市場(chǎng)規(guī)模于2021年達(dá)到181.3億元,在AI技術(shù)不斷融合與迭代升級(jí)的背景下,國(guó)內(nèi)NLP市場(chǎng)將于2026年達(dá)到836.6億元。隨著人工智能技術(shù)的不斷融合與提升以及高度智能化機(jī)器人發(fā)展,NLP技術(shù)的應(yīng)用邊界仍在不斷拓展。

3. 機(jī)器觸覺(jué)與多模態(tài)感知

嗅覺(jué)和味覺(jué)較少在機(jī)器人中提及,而觸覺(jué)作為人類感知世界的重要手段,在機(jī)器人中相比于視覺(jué)與聽(tīng)覺(jué)的進(jìn)展則慢得很多。即便到現(xiàn)在,對(duì)觸覺(jué)的感知也很難稱得上完備。

觸覺(jué)本身就是多模態(tài)的,對(duì)力的感知的確占據(jù)了很大一部分,但并不是全部,材質(zhì)、溫度、滑動(dòng)、回彈等等物體觸覺(jué)信息都囊括在其中。想要完整對(duì)觸覺(jué)進(jìn)行定量的標(biāo)注,需要對(duì)傳感器收集到的大量數(shù)據(jù)進(jìn)行處理。一些傳感器廠商會(huì)將原始信號(hào)的復(fù)雜解析函數(shù)映射到一維線性空間完成力學(xué)信號(hào)的快速求解,這樣能降低算力需求,但其他維度的數(shù)據(jù)仍舊需要后期處理。

借助端側(cè)AI硬件,多模態(tài)觸覺(jué)感知會(huì)變得更加簡(jiǎn)單,以數(shù)據(jù)為驅(qū)動(dòng)算力的加持能快速分類各維度信號(hào),解析出完備的多模態(tài)參數(shù)。前端更快的反應(yīng)速度也讓機(jī)器人的觸感反應(yīng)速度能媲美人類。據(jù)知名國(guó)外咨詢機(jī)構(gòu)VMR預(yù)測(cè),2028年觸覺(jué)傳感器市場(chǎng)將達(dá)到260.8億美元。

這些外部信息感知都已經(jīng)開(kāi)始與端側(cè)AI結(jié)合,機(jī)器人內(nèi)部感知同樣不例外。例外意法半導(dǎo)體早在2019年就推出了集成ML內(nèi)核的傳感器,能夠運(yùn)行一些簡(jiǎn)單的AI模型。后續(xù)又在機(jī)器人核心的IMU器件上更新了加持DSPISPU(Intelligent Sensor Processing Unit),能在端側(cè)自動(dòng)分析處理機(jī)器人位置數(shù)據(jù)。

傳感器上的AI算力的增強(qiáng)實(shí)現(xiàn)了海量數(shù)據(jù)處理的分區(qū),根據(jù)算法難度調(diào)配算力資源,大幅提升整個(gè)端側(cè)系統(tǒng)的能效,讓整個(gè)感知更加智能。

具身智能端側(cè)AI傳感,不止于感知

智能決策感知先行,具身智能概念推動(dòng)著機(jī)器人向更自主更智能的未來(lái)發(fā)展,為打好具身智能感知基礎(chǔ),傳感器技術(shù)與端側(cè)AI技術(shù)結(jié)合得越來(lái)越緊密。日后,機(jī)器人會(huì)通過(guò)視覺(jué)/觸覺(jué)等感知方式識(shí)別建立并不斷修正具身多模態(tài)基礎(chǔ)模型,通過(guò)聽(tīng)覺(jué)理解指令,并理解自身的狀態(tài),以實(shí)現(xiàn)復(fù)雜的交互和操作。

同樣,具身智能下的機(jī)器人傳感,始于感知但又不只是感知。傳感器也將不再只是用于感知的硬件,而是在實(shí)時(shí)精準(zhǔn)多維感知的基礎(chǔ)上,拓展更多和AI相關(guān)的功能,借力端側(cè)AI提供更多數(shù)據(jù)處理、分類、融合的價(jià)值,最終通過(guò)融合的多模態(tài)傳感數(shù)據(jù)來(lái)增強(qiáng)智能體的理解和決策。

當(dāng)然,現(xiàn)階段端還面臨著如何更好地融合傳感器與端側(cè)SoC兼顧性能與成本的難題。雖然機(jī)器人并不像其他端側(cè)設(shè)備對(duì)成本很敏感,但對(duì)于想要落地的機(jī)器人來(lái)說(shuō),這一問(wèn)題遲早也會(huì)面對(duì)。雖然多位科技行業(yè)巨頭都表示未來(lái)人形機(jī)器人會(huì)像汽車一樣普及,但機(jī)器人的商業(yè)落地仍舊要考慮這些實(shí)際問(wèn)題。

寫(xiě)在最后

從傳統(tǒng)感知到機(jī)器人具身智能傳感,機(jī)器人傳感器延展出了更多地和AI相關(guān)的計(jì)算、融合的功能。在端側(cè)AI時(shí)代,傳感器將提供更多的數(shù)據(jù)處理的價(jià)值,通過(guò)交互感知、自主挖掘?yàn)闄C(jī)器人構(gòu)建起不斷優(yōu)化的真實(shí)世界模型,推動(dòng)具身智能目標(biāo)的實(shí)現(xiàn)。

相關(guān)推薦

電子產(chǎn)業(yè)圖譜