加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權(quán)保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

傳感器和AI相結(jié)合,ST智能傳感器助力未來可持續(xù)的虛實交融生活

2023/12/25
2220
閱讀需 12 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

[導讀]時間來到2023年,ST在中國召開了其首屆傳感器大會,支持本地端的AI計算的智能傳感器成為了本次大會的焦點。在開幕演講上,意法半導體副總裁·中國區(qū)總經(jīng)理曹志平表示,我們的生活經(jīng)歷了從off-line到on-line的變革,以及從on-line到on-life發(fā)展,目前邁入Sustainable Onlife階段,具備AI能力的傳感器將會是構(gòu)建永久在線的、虛擬交融的可持續(xù)生活的關(guān)鍵。

2019年ST就推出了集成自家ML內(nèi)核的傳感器,這在當時確實是業(yè)界首款。而這款產(chǎn)品并不是ST的淺嘗輒止,而是開啟了其在AI傳感器上的完整生態(tài)布局。

時間來到2023年,ST在中國召開了其首屆傳感器大會,支持本地端的AI計算的智能傳感器成為了本次大會的焦點。在開幕演講上,意法半導體副總裁·中國區(qū)總經(jīng)理曹志平表示,我們的生活經(jīng)歷了從off-line到on-line的變革,以及從on-line到on-life發(fā)展,目前邁入Sustainable Onlife階段,具備AI能力的傳感器將會是構(gòu)建永久在線的、虛擬交融的可持續(xù)生活的關(guān)鍵。

智能傳感器要具備多強的計算能力,才能實現(xiàn)端側(cè)AI應用?傳感器和MCU/SoC之間又該如何分配數(shù)據(jù)的處理任務?帶著這些問題我們有幸采訪到了ST的諸多高層。

智能傳感器布局:從MLC進化到ISPU

“智能傳感器必須要能夠?qū)崿F(xiàn)獨立的決策——通過它收集到的一些數(shù)據(jù),能夠不依賴微控制器(不管是節(jié)點級別的次微控制器,還是主SOC)獨立做出決策。”意法半導體亞太區(qū)模擬器件、MEMS和傳感器產(chǎn)品部 (AMS) MEMS及影像傳感器子產(chǎn)品部市場及應用副總裁、智能手機創(chuàng)新中心負責人Davide BRUNO表示,“所以就ST本身而

言,現(xiàn)在正在努力讓傳感器(不管是運動傳感器、加速記儀,還是影像傳感器方面)最終能夠根據(jù)自己收集和感知到的數(shù)據(jù)做出獨立的決策,并自動采取干預行為,從而得到預期的效果。”

通常在一個端側(cè)系統(tǒng)中,會需要用到傳感器、MCU和其他一些連接的功能。傳感器負責采集真實物理世界的信號以及人體的相關(guān)信息,然后負責將數(shù)據(jù)傳遞到MCU中進行計算。MCU通過對于數(shù)據(jù)的計算分析,然后產(chǎn)出控制信號給到執(zhí)行機構(gòu)。在這其中,復雜的數(shù)據(jù)運算可能需要上傳到云端進行處理和記錄。

而ST在2019年推出的MLC(Machine Learning Core),則是在傳感器內(nèi)增加一個可重新配置的單元,被稱為rPU。該rPU可以通過寄存器重新配置,能夠運行一些簡單的AI模型。其中FSM是用于設計邏輯連接的數(shù)學抽象。它是由有限數(shù)量的狀態(tài)和狀態(tài)之間的轉(zhuǎn)換組成的行為模型,類似于流程圖,可以在流程圖中檢查滿足某些條件時邏輯的運行方式。FSM允許可以將一些算法從應用處理器轉(zhuǎn)移到傳感器中運行,從而持續(xù)降低功耗

而在傳感器峰會上,我們聽到了一個更新的產(chǎn)品類型叫做——ISPU,即Intelligent Sensor Processing Unit。據(jù)了解,ISPU其實是早在2022年初就已經(jīng)發(fā)布,這是一款內(nèi)置了DSP的IMU產(chǎn)品,ISPU是集成在傳感器的ASIC中的一個專門用于機器學習和處理器的DSP,可采用專用指令集進行編程,能夠運行1位NN精度的AI算法。Davide表示,ISPU能夠在邊緣自動分析處理數(shù)據(jù),并根據(jù)特定應用的需求,采取干預行為,并確保所需的精確度,從而讓終端應用變得更為豐富。而這一理念可以從IMU延伸到ST所有類型的MEMS和imaging傳感器當中。

意法半導體MEMS傳感器產(chǎn)品市場經(jīng)理Francesco BIANCHI表示,ISPU是意法半導體跨向人工智能領域的最大一步。目前,可以通過ISPU來幫助客戶實現(xiàn)在他們自己的神經(jīng)網(wǎng)絡端,以及包括在他們自己的人工智能算法上的解決方案的打造。

數(shù)據(jù)分區(qū)處理,帶來系統(tǒng)能效提升

通過在傳感器中集成NN單元,像ISPU這樣的產(chǎn)品,可以讓用戶的數(shù)據(jù)做到分區(qū)處理:在傳感器上運行特定級別的一些數(shù)據(jù)的處理,比如說一些比較簡單的或者是中等難度的數(shù)據(jù)處理;并將比較復雜的算法和比較密集強度的一些問題,留給MCU進行處理。

因為傳感器上的AI算力增強而實現(xiàn)的這種數(shù)據(jù)分區(qū)處理,能夠大大提升整個端側(cè)系統(tǒng)的能效。

Francesco表示,如果從傳統(tǒng)的系統(tǒng)優(yōu)化的角度來說,大家都認為傳感器本身就是一個低功耗的產(chǎn)品,是整體技術(shù)架構(gòu)里面低功耗的一個部分。而對于MCU微控制器來說,因為它要進行大量數(shù)據(jù)的處理,所以它處理數(shù)據(jù)數(shù)量的高低,直接決定了它的功耗的多少。如果我們能夠讓一些原始數(shù)據(jù)實現(xiàn)本地(傳感器側(cè))的處理,就可以幫助為微控制器留出更多的空間來進行復雜任務的處理。這是可以幫助進一步地優(yōu)化系統(tǒng)及整體的功耗的。“更多原始數(shù)據(jù)的處理,都可以在ISPU實現(xiàn)本地完成。這樣就能夠提供更多的信息,提供更多的原數(shù)據(jù),幫助我們和客戶通過數(shù)據(jù)的方式執(zhí)行更多的任務。通過這樣的方法,可以幫助客戶實現(xiàn)其解決方案極大的系統(tǒng)化的升級和優(yōu)化?!?/p>

此外,數(shù)據(jù)分區(qū)處理還可以提高安全等級。因為通過傳感器所收集到的大部分數(shù)據(jù)都是原始數(shù)據(jù),如果采用傳統(tǒng)意義的傳感器,這些數(shù)據(jù)可能會放到云端,或者是放到應用端去進行處理。因此,這些數(shù)據(jù)如果保護不好,就會出現(xiàn)外泄并為第三方所獲取。但如果傳感器本身就能夠?qū)崿F(xiàn)對數(shù)據(jù)的一些處理的話,它就幫助降低了數(shù)據(jù)外泄的可能性。

正如Davide所講到的,智能傳感器的概念并不僅僅局限在MEMS傳感器、IMU類型的傳感器上,而是也貫穿到了Imagining的傳感器產(chǎn)品布局中。意法半導體影像傳感器總監(jiān)Marc VASSEUR就強調(diào)到,ST的Imagine傳感器可以在計算數(shù)據(jù)之間實現(xiàn)有效的平衡。

影像傳感器的原始數(shù)據(jù)量非常龐大,要基于其進行算法開發(fā)需要花費巨大的時間——很多可供終端用戶使用的算法需要花2年以上的開發(fā)時間?!八?,我們提供的算法之所以能夠為客戶所使用,是要確保當我們在數(shù)據(jù)處理的分區(qū)的過程當中,特別是在圖像處理的過程當中,我們非常接近這個層級數(shù)據(jù)的采集,確保我們的傳感器能實現(xiàn)有效的數(shù)據(jù)的收集,數(shù)據(jù)的處理和數(shù)據(jù)的存儲?!盡arc分享到。

超級傳感器的融合之力,賦能未來應用

傳感器除了智能化外,也存在著融合的趨勢,通過多種傳感器融合,一方面可以實現(xiàn)系統(tǒng)中更好的BOM和面積優(yōu)化,另一方面還可以帶來安全冗余的特性。Francesco將這種融合的傳感器稱為超級傳感器:“對于任何的應用來說,如果想進一步提升它的性能,都可以考慮使用這樣的多傳感器融合之后的超級傳感器。我們之所以稱之為超級傳感器?!?/p>

除了ISPU外,ST在此次傳感器峰會上還介紹了一個獨具特色的模塊——vAFE。該類器件是在MEMS傳感器上增加了一個模擬前端,從而實現(xiàn)了機電感知+模擬感知技術(shù)的融合。Francesco表示,通過vAFE,客戶就能夠有效地連接到MEMS傳感器,從而能夠更好地使用其內(nèi)部的處理邏輯,能夠更好地嫁接和外部任何的模擬器件之間的聯(lián)系。

據(jù)了解,vAFE提供的信號和運動傳感器的信號本質(zhì)上是同步的,所以可以在傳感器的邊緣完成獨特的上下文感知分析,從而實現(xiàn)低功耗和最小可能的延遲。這也同樣契合ST的智能傳感器的概念。集成了vAFE的產(chǎn)品,在體積上更具優(yōu)勢,非常適用于TWS耳機可穿戴設備的應用。

傳感器融合的技術(shù)和強大的AI算力結(jié)合,能夠賦能諸多的新興終端產(chǎn)品形態(tài)。例如針對折疊屏手機,ST就將陀螺儀加速度計的數(shù)據(jù)相結(jié)合,然后在傳感器的算法中進行融合,進而可以持續(xù)跟蹤精確的屏幕開合角度、速度和位移等信息的判斷。這一專利技術(shù)基于LID系列的產(chǎn)品,因此被稱為LID角度解決方案。

Francesco表示,ST在三年前就已經(jīng)開始投入在這一專利技術(shù)的研發(fā)中,目前已經(jīng)進一步推出了新的傳感器產(chǎn)品,可以支持多屏和折疊屏上的數(shù)據(jù)的傳感收集和處理。

同時Francesco也表示,多傳感器融合的超級傳感器可以適用于多種新興的應用,這不僅包括折疊屏手機,也包括新一代筆記本電腦等。而在XR設備上,超級傳感器可以為用戶呈現(xiàn)出一些混合現(xiàn)實的影像和效果;而在汽車應用上,這一技術(shù)也早就廣泛使用,通過多個高精度傳感器的數(shù)據(jù)進行融合,從而形成超級傳感器來進一步賦能ADAS的性能。

結(jié)語

此次在北京召開的ST傳感器峰會,是ST首次在中國召開的、以傳感器為主題的大型峰會活動。而我們透過ST的分享,觀察到了傳感器技術(shù)的趨勢變化。傳感器已經(jīng)不再是單純的一個感知器件,而是在追求精準感知的基礎上,延展出更多的和AI相關(guān)的計算、融合的功能。在端側(cè)AI的浪潮中,傳感器在系統(tǒng)優(yōu)化層面上,可以提供更多的數(shù)據(jù)處理的價值,助力未來真正的“可持續(xù)的、虛實交融的生活”。

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風險等級 參考價格 更多信息
MLX90316KGO-BCG-000-TU 1 Melexis Microelectronic Integrated Systems Hall Effect Sensor, 0deg Min, 360deg Max, -8-8mA, Rectangular, Surface Mount, 0.173 INCH, ROHS COMPLIANT, PLASTIC, TSSOP-16
暫無數(shù)據(jù) 查看
ADT7410TRZ-REEL 1 Analog Devices Inc ±0.5&deg;C Accurate, 16-Bit Digital I<sup>2</sup>C Temperature Sensor

ECAD模型

下載ECAD模型
$3.02 查看
TMP112AIDRLT 1 Texas Instruments &plusmn;0.5&deg;C 1.4V to 3.6V digital temperature sensor with I2C/SMBus in 2.56mm2 package 6-SOT-5X3 -40 to 125

ECAD模型

下載ECAD模型
$3.68 查看
意法半導體

意法半導體

意法半導體(ST)集團于1987年6月成立,是由意大利的SGS微電子公司和法國Thomson半導體公司合并而成。1998年5月,SGS-THOMSON Microelectronics將公司名稱改為意法半導體有限公司。意法半導體是世界最大的半導體公司之一,公司銷售收入在半導體工業(yè)五大高速增長市場之間分布均衡(五大市場占2007年銷售收入的百分比):通信(35%),消費(17%),計算機(16%),汽車(16%),工業(yè)(16%)。 據(jù)最新的工業(yè)統(tǒng)計數(shù)據(jù),意法半導體是全球第五大半導體廠商,在很多市場居世界領先水平。例如,意法半導體是世界第一大專用模擬芯片和電源轉(zhuǎn)換芯片制造商,世界第一大工業(yè)半導體和機頂盒芯片供應商,而且在分立器件、手機相機模塊和車用集成電路領域居世界前列.

意法半導體(ST)集團于1987年6月成立,是由意大利的SGS微電子公司和法國Thomson半導體公司合并而成。1998年5月,SGS-THOMSON Microelectronics將公司名稱改為意法半導體有限公司。意法半導體是世界最大的半導體公司之一,公司銷售收入在半導體工業(yè)五大高速增長市場之間分布均衡(五大市場占2007年銷售收入的百分比):通信(35%),消費(17%),計算機(16%),汽車(16%),工業(yè)(16%)。 據(jù)最新的工業(yè)統(tǒng)計數(shù)據(jù),意法半導體是全球第五大半導體廠商,在很多市場居世界領先水平。例如,意法半導體是世界第一大專用模擬芯片和電源轉(zhuǎn)換芯片制造商,世界第一大工業(yè)半導體和機頂盒芯片供應商,而且在分立器件、手機相機模塊和車用集成電路領域居世界前列.收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜