專為物聯(lián)網(wǎng)而生的TinyML，正在開啟音頻分析的新藍海

TinyML微型機器學(xué)習(xí)是機器學(xué)習(xí)和物聯(lián)網(wǎng)設(shè)備的交集，它是一門新興的工程學(xué)科，有可能在許多行業(yè)引發(fā)革命。

在3月22到26日，TinyML基金會舉辦了2021 TinyML峰會，這是有史以來的第三屆。

雖然本屆峰會在云端舉辦，但同樣聲勢浩大，而且無論是影響力還是參會者都可謂上了一個新臺階。諸多國際一線企業(yè)、業(yè)內(nèi)獨角獸初創(chuàng)公司和知名院校云集線上。

其中的代表性公司包括：ARM、高通、臉書、微軟、三星、Greenwaves、SensiML、Silicon Labs、Syntiant、Qeexo、普林斯頓大學(xué)、密歇根大學(xué)、埃里克斯霍爾姆大學(xué)、麻省理工學(xué)院、斯坦福大學(xué)等。

在此前的文章中，我曾介紹過微型機器學(xué)習(xí)TinyML，也就是在終端和邊緣側(cè)的微處理器上實現(xiàn)的機器學(xué)習(xí)過程。更準確的說，TinyML是指工程師們在mW功率范圍以下的設(shè)備上，實現(xiàn)機器學(xué)習(xí)的方法、工具和技術(shù)。

TinyML微型機器學(xué)習(xí)是機器學(xué)習(xí)和物聯(lián)網(wǎng)設(shè)備的交集，它是一門新興的工程學(xué)科，有可能在許多行業(yè)引發(fā)革命。

在這次峰會上，大家分享了TinyML的最新進展以及各種應(yīng)用實例，值得關(guān)注的趨勢包括：

用戶對于隱私的關(guān)注推動了TinyML的發(fā)展

TinyML有可能將開啟音頻識別的新藍海

最新發(fā)布的TinyML產(chǎn)品和工具

01、保護隱私成為TinyML發(fā)展的推動力

消費者對于隱私問題的擔(dān)憂，成為TinyML發(fā)展的推動力，很多公司為了響應(yīng)消費者需求，正在開發(fā)功耗更低、響應(yīng)速度更快、隱私保護更佳的設(shè)備。

人工智能與設(shè)備的結(jié)合，經(jīng)歷了三個發(fā)展階段：

第1階段--云端能

在人工智能發(fā)展的初期，機器學(xué)習(xí)模型是在云端訓(xùn)練和托管的。運行AI所需的強大計算能力使云成為理想的選擇。

開發(fā)人員和數(shù)據(jù)科學(xué)家利用高端CPU和GPU訓(xùn)練模型，然后托管它們以進行推理。每個消耗AI的應(yīng)用程序都與云對話。該應(yīng)用程序?qū)⑴c微控制器通信以管理傳感器和執(zhí)行器。

第二階段--邊緣智能

隨著物聯(lián)網(wǎng)的發(fā)展，越來越多的遍布于工業(yè)自動化、智能醫(yī)療、智能聯(lián)網(wǎng)汽車中的場景，都要求人工智能模型能在本地運行。邊緣側(cè)成為在本地托管人工智能模型的理想選擇。邊緣智能可以有效避免云中運行相同AI所帶來的延遲。

但是鑒于邊緣資源有限，AI模型的訓(xùn)練仍然需要云。這種方法提供了兩全其美的優(yōu)勢，既有用于訓(xùn)練的云端強大計算環(huán)境，又能兼顧用于推理的低延遲邊緣托管環(huán)境。但是由于與云端進行協(xié)作，邊緣智能仍舊無法解決消費者對于隱私性的擔(dān)憂。

階段3--微型人工智能

分布最廣的物聯(lián)網(wǎng)設(shè)備往往體積很小、電量有限。它們被作為終端硬件，通過嵌入式傳感器采集各種數(shù)據(jù)；計算能力有限，對功耗極為敏感。某些情況下，將這類設(shè)備連接到邊緣側(cè)以便實現(xiàn)智能，在成本上并不劃算，

直接在微處理器中嵌入人工智能，成為消費和工業(yè)物聯(lián)網(wǎng)場景的關(guān)鍵。這種方法并不依賴于外部程序，也不依賴邊緣和云端。這種方案能夠提供最佳的實時響應(yīng)，同時對隱私提供極大保護。

TinyML峰會上提供的微型機器學(xué)習(xí)的例子包括，智能家居場景中，帶有傳感器洗衣機和冰箱可以在電機損壞之前主動發(fā)送信號。洗衣機可以根據(jù)衣服的重量，精準的調(diào)節(jié)水位。

具備TinyML的可穿戴設(shè)備，可以脫離云端持續(xù)監(jiān)測用戶的睡眠水平、心率體征等健康數(shù)據(jù)。TinyML胰島素泵可以在不必時刻保持網(wǎng)絡(luò)連接的情況下，根據(jù)血糖水平自動釋放胰島素。這些不必時刻聯(lián)網(wǎng)的設(shè)備，讓數(shù)據(jù)處于私有狀態(tài)，更加安全并保護隱私。

02、TinyML開啟音頻分析的新藍海

過去我們極大的發(fā)展了機器視覺，現(xiàn)在我們正在賦予機器聽覺。

和視覺信息一樣，聲音無處不在。語音啟動的設(shè)備，在智能家居的應(yīng)用中非常常見，最典型的比如智能音箱。

還有很多聲音，比如機床震動的聲音、車輛拋錨的聲音、報警器鳴響的聲音…這些聲音不同于語音，沒有語言模型。

目前越來越多的物聯(lián)網(wǎng)企業(yè)正在將分析的重點從視頻轉(zhuǎn)移到音頻。比如在家居場景中，亞馬遜推出了Guard這項在智能音箱中的功能，用來識別窗戶破碎的聲音并報警。在工業(yè)場景中，預(yù)測性維護已經(jīng)取得了長足的發(fā)展，很多企業(yè)監(jiān)測設(shè)備的振動和聲音，用來主動發(fā)現(xiàn)故障，為客戶節(jié)省數(shù)百萬元的維護成本。

在TinyML峰會中，一家名為Audio Analytic的公司分享了關(guān)于音頻分析的最新進展，并且認為TinyML即將開啟音頻分析的新藍海。

他們已經(jīng)建立了包含700種不同聲音的配置文件，可以檢測到從火車進站到嬰兒啼哭，常見的和不常見的各種聲音。

借助TinyML，Audio Analytic公司展示了基于ARM Cortex-M0+處理器檢測聲音的方案。應(yīng)用場景包括墻壁上安裝的小型傳感器，可以檢測玻璃破碎的聲音；降噪耳機通過識別疾馳而來的汽車的聲音，主動關(guān)閉降噪功能，以便讓佩戴者及時作出反應(yīng)。

根據(jù)峰會中的分析，聲音檢測可能在4個場景取得大發(fā)展：

第一個是安全場景：比如根據(jù)玻璃破碎或者煙霧報警器的聲音，通知更多人員。

第二個是個人健康：比如檢測嬰兒的哭聲、打鼾的聲音，并且及時提醒。根據(jù)烹飪時發(fā)出的聲音，自動調(diào)節(jié)房間的空氣質(zhì)量。

第三個是家庭娛樂：比如根據(jù)外部環(huán)境和回聲，根據(jù)房間大小，自動調(diào)整娛樂系統(tǒng)的音效。

第四個是工業(yè)應(yīng)用：比如根據(jù)風(fēng)力發(fā)電機振動的聲音，檢測葉片的裂紋并給予預(yù)警。

03、TinyML產(chǎn)品與工具陸續(xù)發(fā)布

Nordic Semiconductor在其nRF52和nRF53系列低功耗藍牙芯片中引入了TinyML，并且提供相應(yīng)的開發(fā)套件，成為業(yè)界首個支持人工智能技術(shù)的藍牙產(chǎn)品。

Nordic將這些支持TinyML技術(shù)的藍牙SoC應(yīng)用于瀕臨滅絕的動物保護，野生大象佩戴了Nordic提供的藍牙追蹤項圈，幫助護林員防止非法狩獵盜取象牙的事件發(fā)生，取得了很好的效果。

SensiML聯(lián)手Silicon Labs，為開發(fā)者快速研發(fā)支持TinyML的智能傳感應(yīng)用程序提供便利。

使用Silicon Labs提供的Thunderboard Sense 2物聯(lián)網(wǎng)開發(fā)入門套件，配合使用SensiML提供的Analytics Toolkit AI/ ML開發(fā)軟件，開發(fā)者能夠快速創(chuàng)建運行于物聯(lián)網(wǎng)終端設(shè)備的智能方案。

這些方案將特別適用于低功耗和能源敏感型應(yīng)用，包括能源、水表和燃氣表、樓宇自動化、警報及安防，和便攜式醫(yī)療/健身器材。

在峰會上，Raspberry Pi聯(lián)合創(chuàng)始人Eben Upton公布了“Pi Silicon”的未來路線，其內(nèi)部專用集成電路ASIC團隊正在進行下一次迭代，并且正專注于研發(fā)針對超低功耗機器學(xué)習(xí)TinyML應(yīng)用程序的輕量級加速器。

同期，Eben Upton發(fā)布了三款“Pi Silicon”樹莓派板，分別為SparkFun MicroMod RP2040、Arduino Nano RP2040 Connect和ArduCam Pico4ML。三款產(chǎn)品會將機器學(xué)習(xí)、攝像頭、麥克風(fēng)和屏幕集成到Pico軟件包中。

尤其是售價僅為4美元的Pico4ML，提供對于TinyML的支持。比如在上圖展示的樣例中，Pico4ML可以同時檢測到兩張人臉，一個真人以及一個超級馬里奧，Pico4ML以百分比值做出判斷，在提供實時圖像的同時，顯示圖像是真人的概率。

----寫在最后----

劃個重點。

第一，TinyML將為數(shù)以億計的物聯(lián)網(wǎng)終端設(shè)備帶來“生命”，它將引發(fā)的變革不容小覷。

第二，消費者對于隱私問題的擔(dān)憂，成為TinyML發(fā)展的推動力，很多公司為了響應(yīng)消費者需求，正在開發(fā)功耗更低、響應(yīng)速度更快、隱私保護更佳的設(shè)備。

第三，目前越來越多的物聯(lián)網(wǎng)企業(yè)正在將分析的重點從視頻轉(zhuǎn)移到音頻，TinyML可能即將開啟音頻分析的新藍海。

參考資料：

Privacy and new functions will make TinyML big，作者：STACEY HIGGINBOTHAM，來源：staceyoniot.com

2021 TinyML峰會官網(wǎng)：www.tinyml.org/event/summit-2021

SensiML and Silicon Labs Partner to Enable Rapid Development of TinyML Applications，來源：finance.yahoo.com

TinyML is breathing life into billions of devices，作者：Adam Benzion，來源：thenextweb.com

Pico4ML Brings Machine Learning To the Raspberry Pi Pico，作者：Les Pounder，來源：tomshardware.com