端側(cè)AI應(yīng)用提速，AIoT芯片群雄逐鹿

作者：彭昭（智次方創(chuàng)始人、云和資本聯(lián)合創(chuàng)始合伙人）物聯(lián)網(wǎng)智庫 原創(chuàng)

這是我的第351篇專欄文章。

在11月舉辦的2025年AIoT產(chǎn)業(yè)年會上，一個引人深思的話題激發(fā)了業(yè)界的討論，《端側(cè)小模型們的春天來到了嗎？》。

隨著端側(cè)AI技術(shù)的日益成熟和市場需求的不斷釋放，業(yè)界對端側(cè)小模型的進(jìn)展高度關(guān)注，與此同時，AIoT芯片的進(jìn)步也備受矚目。

傳統(tǒng)上，芯片制造商始終將卓越的計算性能視為首要追求。然而，AIoT應(yīng)用的多樣化需求對芯片提出了更高的要求：在計算能力、內(nèi)存、延遲和能效之間實現(xiàn)微妙平衡，以滿足特定領(lǐng)域的差異化需求。

與此同時，我們看到小型、特定于應(yīng)用場景的語言模型正在興起。相比大型語言模型，這些小模型所需的計算資源更加經(jīng)濟(jì)高效，由此推動了端側(cè)AI和AIoT芯片的蓬勃發(fā)展。

然而，讓生成式AI在端側(cè)“跑”起來絕非易事。這不僅需要對大模型進(jìn)行“瘦身”優(yōu)化，更需要在硬件的功耗和算力上取得突破性進(jìn)展。

在本文中，我們將重點剖析端側(cè)AI的最新進(jìn)展，探索AIoT芯片的創(chuàng)新應(yīng)用場景，并聚焦新興芯片供應(yīng)商的前沿布局和技術(shù)探索。

端側(cè)AI的進(jìn)化之路：從感知到理解再到創(chuàng)造

“端側(cè)AI”是指AI可以直接在移動設(shè)備上處理數(shù)據(jù)，無需連接到服務(wù)器或云端，能夠在用戶設(shè)備本地完成復(fù)雜的推理和決策。端側(cè)AI在對硬件提出更高要求的同時，也對其算力、能效以及軟硬件協(xié)同等方面提出了新的挑戰(zhàn)。為了滿足端側(cè)AI的需求，AIoT芯片的能力日益增長。AIoT芯片是一種集成了人工智能和物聯(lián)網(wǎng)技術(shù)的系統(tǒng)級芯片，旨在實現(xiàn)智能化設(shè)備的連接、控制和數(shù)據(jù)處理。

需要說明的是，本文所界定的“端側(cè)”并不包括手機(jī)和電腦，而是特指物聯(lián)網(wǎng)終端設(shè)備，如網(wǎng)關(guān)、攝像頭、眼鏡、耳機(jī)、手表、車載終端、機(jī)器人等。

即使設(shè)備未連接到網(wǎng)絡(luò)，端側(cè)AI也可以隨時使用。要充分實現(xiàn)這一技術(shù)，嵌入式神經(jīng)網(wǎng)絡(luò)處理單元NPU的性能至關(guān)重要。研究機(jī)構(gòu)Counter Points預(yù)測，未來AIoT模塊的計算能力將實現(xiàn)指數(shù)級的大幅增長，7年內(nèi)配備NPU的模塊數(shù)量將達(dá)到目前的31倍。

然而，實現(xiàn)端側(cè)AI并非易事。絲滑的AI體驗通常需要搭配強(qiáng)大的計算能力，而設(shè)備上或邊緣處理需要實時處理數(shù)據(jù)，并需要低功耗和高性能芯片，這增加了專用AIoT芯片開發(fā)的復(fù)雜性。

在文章《從LLM大模型到SLM小模型再到TinyML，這個領(lǐng)域有望增長31倍并催生新的商業(yè)模式》中，我曾介紹過在人工智能的世界里，終端、邊緣和云端扮演著截然不同的角色。它們在形態(tài)、功能和應(yīng)用場景上的差異如此之大，以至于可以將其視為完全不同的實體。

端側(cè)AI經(jīng)歷了一段輾轉(zhuǎn)的旅程，從判別式AI、增強(qiáng)式AI的領(lǐng)域，現(xiàn)在又來到了具有突破性的生成式AI前沿。每一步都讓我們更接近未來，智能系統(tǒng)將無縫融入我們的日常生活，為我們帶來不僅有感知，還有掌上創(chuàng)造的沉浸式體驗。

從信息論的角度來看，這三種范式可以看作是對源熵的不同影響。判別性AI旨在降低熵，增強(qiáng)性AI或多或少地保持熵值不變，而生成性AI則會造成熵增。

獲得感知：判別式AI

判別式AI主要關(guān)注區(qū)分不同類別或結(jié)果的能力。它通過學(xué)習(xí)輸入數(shù)據(jù)的特征和模式，判斷這些數(shù)據(jù)屬于哪個預(yù)定義的類別。例如，在圖像分類任務(wù)中，判別式AI能夠識別出圖片中的物體是貓還是狗。

增強(qiáng)感知：增強(qiáng)型AI

通過對場景物理性質(zhì)的語義理解，神經(jīng)網(wǎng)絡(luò)可以用來增強(qiáng)圖像的視覺質(zhì)量，獲得更令人滿意的結(jié)果，并進(jìn)一步增強(qiáng)感知和分析能力。我們觀察到一個緩慢但穩(wěn)定的轉(zhuǎn)變，從經(jīng)典的視覺相關(guān)功能到人工智能驅(qū)動的視頻增強(qiáng)功能，從低光性能到高動態(tài)范圍、數(shù)字變焦、局部色調(diào)映射等。

超越感知：生成式AI

真正的范式轉(zhuǎn)變是隨著生成式人工智能的興起而發(fā)生的。受自然語言理解的進(jìn)步及其對任何數(shù)據(jù)模式的采用的啟發(fā)，創(chuàng)建與現(xiàn)實難以區(qū)分的新內(nèi)容、圖像和視頻的能力，在不到一年的時間內(nèi)成功地改變了各個行業(yè)。生成式AI致力于學(xué)習(xí)數(shù)據(jù)的生成過程，并生成與訓(xùn)練數(shù)據(jù)相似的新數(shù)據(jù)樣本。這些新數(shù)據(jù)在統(tǒng)計上與原始數(shù)據(jù)具有相似的特征，但又是全新的、獨立的。

受到端側(cè)功耗和算力的限制，端側(cè)AI又呈現(xiàn)出了不同的形態(tài)：

小型語言模型（SLM）

SLM指的是那些參數(shù)量低于100億的輕量級神經(jīng)網(wǎng)絡(luò)模型。與大型模型相比，SLM以更少的參數(shù)和計算資源實現(xiàn)自然語言處理。此外，SLM通常是面向特定任務(wù)、應(yīng)用或用例量身定制的。

微型機(jī)器學(xué)習(xí)（TinyML）

TinyML是一種優(yōu)化機(jī)器學(xué)習(xí)模型的技術(shù)，使其能夠在資源受限的設(shè)備（如微控制器）上高效運行。這些模型通常體積小巧、運算高效，能夠勝任語音識別和傳感器數(shù)據(jù)分析等任務(wù)。

AIoT芯片：功耗、性能與尺寸的平衡

端側(cè)設(shè)備將成為未來智能時代的重要錨點，其形態(tài)豐富多樣，包括攝像頭、智能眼鏡、耳機(jī)、手表、車載設(shè)備，以及未來的元宇宙和機(jī)器人等。

與專注于云AI的芯片市場相比，AIoT芯片市場更加分散，以滿足AIoT應(yīng)用的多樣化需求。在設(shè)計集成數(shù)十億個晶體管的芯片時，AIoT芯片制造商面臨著巨大的壓力，需要在功耗、性能和尺寸之間取得微妙的平衡。

不同邊緣或終端中的芯片性能要求可能存在很大差異。例如，自動駕駛汽車需要更高的性能，并能承受更高的圖像處理功耗；而智能攝像頭處理器可能需要更低成本、更節(jié)能的芯片組。環(huán)境因素也在影響著端側(cè)AI和AIoT芯片市場，研究重點是實現(xiàn)高計算性能、低延遲和最低能耗。

人工智能應(yīng)用中GPU的高功耗問題促使研究人員開發(fā)新型芯片架構(gòu)，為端側(cè)AI的廣泛應(yīng)用鋪平道路。很多新型AIoT芯片的研發(fā)仍在路上。

比如去年弗勞恩霍夫光子微系統(tǒng)研究所IPMS與羅伯特·博世有限公司、坎普爾印度理工學(xué)院和慕尼黑工業(yè)大學(xué)合作開發(fā)了一種針對AIoT應(yīng)用優(yōu)化的芯片設(shè)計，該設(shè)計使用鐵電場效應(yīng)晶體管（FeFET），無需電源即可存儲數(shù)據(jù)，可提供高達(dá)885 TOPS/W的性能，而一般AI芯片的這一數(shù)值為10到20 TOPS/W。

這種創(chuàng)新的芯片架構(gòu)有望大大降低AI運行的能耗。新芯片采用FeFET單元，執(zhí)行相同數(shù)量的操作所需的能量比傳統(tǒng)設(shè)計少44倍。

此類芯片瞄準(zhǔn)端側(cè)AI的一系列用途，將AI部署在數(shù)據(jù)收集點：物聯(lián)網(wǎng)設(shè)備、傳感器和自動駕駛汽車中。新芯片的另一個關(guān)鍵優(yōu)勢是能夠同時在晶體管中存儲和處理數(shù)據(jù)，大大減少了數(shù)據(jù)處理和內(nèi)存之間的瓶頸。

接下來，我們探討端側(cè)AI的主要應(yīng)用場景和市場空間。首當(dāng)其沖的場景是圖像處理和分析，到2033年此類場景中的AIoT設(shè)備數(shù)量將接近40億臺，主要涵蓋游戲機(jī)、智能眼鏡、車載終端、安全攝像頭、便攜式攝像機(jī)等。

此外，聊天機(jī)器人功能和自然語言處理的需求也不容忽視。智能音箱、耳機(jī)、智能手表等設(shè)備占據(jù)主導(dǎo)地位，并可擴(kuò)展至車載主機(jī)和電視等領(lǐng)域。預(yù)計到2033年，約有五分之一的物聯(lián)網(wǎng)設(shè)備具有原生語音需求，這一領(lǐng)域?qū)碛?4億連接，帶來800億美元的收入，約占所有物聯(lián)網(wǎng)連接收入的22%。

從設(shè)備形態(tài)上看，隨著智能眼鏡產(chǎn)品的密集發(fā)布，即將開啟的“百鏡大戰(zhàn)”，有可能成為AIoT芯片的重要試煉場之一。

10家值得關(guān)注的AIoT芯片新秀

由于端側(cè)AI應(yīng)用具有明確的場景，優(yōu)先考慮成本優(yōu)化、功耗和處理能力，為新的市場參與者提供了大量的機(jī)會和創(chuàng)新空間。因此，AIoT芯片組的動態(tài)市場中涌現(xiàn)出許多新玩家，他們通過提供多種增值功能來差異化競爭。

以下篩選了10家值得關(guān)注的海外AIoT芯片新興供應(yīng)商。

1. AonDevices是一家無晶圓廠半導(dǎo)體公司，專門從事超低功耗下提供高精度的應(yīng)用程序特定型邊緣AI處理器。公司總部位于加利福尼亞州爾灣。AonDevices提供的芯片組主要側(cè)重于自然語言處理、語音認(rèn)證、聊天機(jī)器人和數(shù)字助理。該公司發(fā)布的AON1100是一款超低功耗、多模態(tài)解決方案，能夠使用單個麥克風(fēng)，極其準(zhǔn)確地同時識別多個語音命令和聲音事件，例如嬰兒哭泣或汽車逆火，AON1100還同時檢測步行或跌倒等特定運動模式。

2.?Axelera總部位于荷蘭埃因霍溫，其AIPU芯片采用了開源的RISC-V指令集架構(gòu)（ISA）。RISC-V作為一種低成本、高效且靈活的ISA，允許根據(jù)特定的應(yīng)用需求進(jìn)行定制，這為Axelera提供了極大的設(shè)計自由度和創(chuàng)新空間。

3.?BrainChip是一家澳大利亞的技術(shù)公司，專注于研究和開發(fā)神經(jīng)網(wǎng)絡(luò)處理單元NPU和其他高級機(jī)器學(xué)習(xí)解決方案。該公司的旗艦產(chǎn)品是Akida，這是一款可以在物聯(lián)網(wǎng)設(shè)備、汽車和工業(yè)應(yīng)用中應(yīng)用的離散神經(jīng)網(wǎng)絡(luò)處理單元。

4.?Hailo Technologies是一家以色列公司，擁有豐富的邊緣AI處理器產(chǎn)品組合，可用于各種AI用例，例如對象檢測、在邊緣設(shè)備上運行LLM和語義分割。該公司提供用于視頻和圖像處理的Hailo-15系列AI視覺處理器、用于邊緣設(shè)備以運行深度學(xué)習(xí)應(yīng)用程序的Hailo-8AI加速器以及用于運行LLM的生成式AI加速器。

5. Innatera總部位于荷蘭，推出了一款基于SNN的神經(jīng)擬態(tài)加速器，主要用于語音識別、生命體征監(jiān)測和雷達(dá)等。

6. Mythic總部位于美國德克薩斯州，是一家專注于邊緣AI和AIoT的節(jié)能芯片供應(yīng)商，采用單芯片模擬計算內(nèi)存架構(gòu)，無需DRAM。Mythic開發(fā)了統(tǒng)一的軟硬件平臺，以其獨特的模擬計算引擎Mythic ACE為特色，具備高功率、低成本和優(yōu)良的性能參數(shù)，打破了阻礙人工智能創(chuàng)新的數(shù)字障礙。Mythic模擬矩陣處理器Mythic AMP也使人工智能解決方案的部署變得更加經(jīng)濟(jì)便捷。

7. Perceive于2024年8月被亞馬遜收購，是一家邊緣AI和AIoT處理芯片提供商，專注于LLM的邊緣處理。該公司提供低功耗邊緣處理芯片，專為各種應(yīng)用而設(shè)計，包括聯(lián)網(wǎng)攝像頭和家電。該公司最新一代邊緣AI芯片Ergo2的占用空間為7mm x 7mm，不需要外部DRAM。公司稱，該芯片可以在30 FPS的視頻源上運行推理，功耗僅為17 mW。

8. SiMa.ai總部位于加利福尼亞州圣何塞，是嵌入式機(jī)器學(xué)習(xí)系統(tǒng)芯片SoC的提供商，允許客戶在單個芯片上執(zhí)行整個應(yīng)用程序。該公司的目標(biāo)是優(yōu)先考慮低功耗的AIoT用例，具體范圍在5W-25W之間。據(jù)SiMa稱，其芯片可以作為涵蓋計算機(jī)視覺和多模態(tài)生成AI的AI應(yīng)用的單邊緣平臺。

9. Syntiant總部位于美國加利福尼亞州，是一家為邊緣AI和AIoT應(yīng)用提供低功耗處理器的供應(yīng)商，截至2022年3月，該公司已出貨超過2000萬片邊緣AI芯片。公司專注于安全等行業(yè)使用的聲學(xué)事件檢測和視頻處理，以最小的延遲提供實時數(shù)據(jù)處理。

10. Untether AI總部位于加拿大多倫多，芯片名為240 Slim，也是基于RISC-V架構(gòu)，性能出色但能耗卻低得多，適合在自動駕駛汽車、自動農(nóng)業(yè)設(shè)備和一些數(shù)據(jù)中心內(nèi)使用。梅賽德斯-奔馳表示，正在與Untether合作開發(fā)其下一代自動駕駛汽車。

寫在最后

隨著人工智能技術(shù)的不斷進(jìn)步，端側(cè)AI和AIoT芯片的發(fā)展正迎來一個全新的時代。

這場革命不僅僅是關(guān)于更強(qiáng)大的計算能力，更是關(guān)于如何在功耗、性能和尺寸之間取得完美平衡，以滿足不同應(yīng)用場景的特定需求。

從判別式AI到增強(qiáng)式AI，再到生成式AI，端側(cè)智能正在經(jīng)歷一場從感知到理解，再到創(chuàng)造的蛻變。在這個過程中，小型語言模型和微型機(jī)器學(xué)習(xí)等新興技術(shù)正在崛起，推動著AIoT芯片的創(chuàng)新浪潮。無論是自動駕駛汽車、智能眼鏡、智能攝像頭，還是未來的元宇宙和機(jī)器人，AIoT芯片都將扮演著至關(guān)重要的角色。

參考資料：
IoT: new energy-efficient chips could expand the scope of artificial intelligence in edge computing，來源：Orange
The Evolution of AI on the Edge: From Perception to Creation，來源：Hailo
AIoT Chipsets: enhancing the connected devices ecosystem，來源：Transforma Insights