430
作者：彭昭（智次方創(chuàng)始人、云和資本聯(lián)合創(chuàng)始合伙人）物聯(lián)網(wǎng)智庫 原創(chuàng)
前幾篇文章，我們不斷探討小模型（SLM）在端側(cè)和邊緣側(cè)的崛起?，F(xiàn)在，邊緣側(cè)小模型已然成為不可忽視的發(fā)展趨勢。
面對邊緣AI的迅猛發(fā)展，我們不禁要問：邊緣硬件是否已經(jīng)做好準(zhǔn)備了？
生成式AI模型要落地應(yīng)用，離不開邊緣硬件的支撐。對開發(fā)者和最終用戶而言，邊緣硬件就是駕馭AI的利器。
一個優(yōu)秀的硬件“工具”，如同一柄削鐵如泥的神兵，若能遇到善加利用的主人，定能所向披靡，威力驚人。
如今，邊緣設(shè)備的算力與日俱增，從過去的幾個TOPS@INT8（每秒可執(zhí)行數(shù)兆次八位整數(shù)運算），躍升至數(shù)十TOPS的量級。這意味著邊緣硬件即使在斷網(wǎng)狀態(tài)下，也能獨立完成SLM的推理任務(wù)，大大拓寬了應(yīng)用場景。
伴隨SLM的發(fā)展，多家企業(yè)紛紛推出針對SLM優(yōu)化的邊緣智能開發(fā)板。尤其值得關(guān)注的是，在上周，英偉達(dá)發(fā)布了令人矚目的新品，將邊緣硬件的性能和性價比推向了新的高度。
12月17日，英偉達(dá)CEO黃仁勛在發(fā)布的視頻中，從烤箱端出最新“烹飪”的全新邊緣開發(fā)套件Jetson Orin Nano Super。
這款“邊緣AI大腦”不僅性能更為強(qiáng)勁，售價更是直降一半，僅需249美元（人民幣2000元以內(nèi)）。這無疑將掀起邊緣AI的一場革命。
這一產(chǎn)品的問世，不僅將會掀起一場全球范圍內(nèi)的邊緣AI開發(fā)板大戰(zhàn)，也為中國企業(yè)在邊緣AI領(lǐng)域的發(fā)展提供了難得的機(jī)遇。
本文將從英偉達(dá)新品的特點、邊緣AI開發(fā)板的競爭格局、中國企業(yè)的機(jī)遇與挑戰(zhàn)等角度，深入探討這場邊緣AI革命的意義與影響。
讓我們做好準(zhǔn)備，一起迎接即將來臨的端側(cè)AI、邊緣AI硬件的“寒武紀(jì)”物種大爆發(fā)階段。
重新定義邊緣AI的可能性
在介紹英偉達(dá)新品之前，有必要明確端側(cè)AI和邊緣側(cè)AI硬件所涵蓋的范圍相當(dāng)廣泛，從數(shù)十元到數(shù)百萬的解決方案任選，可謂豐儉由君，應(yīng)有盡有。
廣義而言，凡是無需聯(lián)網(wǎng)即可完成AI推理任務(wù)的硬件，都應(yīng)歸入邊緣AI的范疇。相較端側(cè)，邊緣側(cè)對算力和功耗的要求更高。業(yè)界普遍認(rèn)為，AI工業(yè)電腦、嵌入式設(shè)備、電池供電的可穿戴設(shè)備以及服務(wù)機(jī)器人等，都屬于邊緣側(cè)AI的典型應(yīng)用。
當(dāng)然，面向這些邊緣AI設(shè)備的解決方案也是形態(tài)各異，包括微處理器（MPU/SoC）開發(fā)板、類樹莓派型開發(fā)板、TPU加速棒等，當(dāng)然也包括黃仁勛此次端上的“佳肴”：Jetson Orin Nano Super開發(fā)套件。
這款全新發(fā)布的產(chǎn)品是Jetson Nano系列的升級版，堪稱目前該系列中“性價比之王”。在性能大幅提升的同時，售價卻直降一半，僅需249美元（人民幣2000元以內(nèi)）。
與前代產(chǎn)品相比，Nano Super的AI推理性能提高了1.7倍，整體性能飆升70%，達(dá)到驚人的67 TOPS@INT8。此外，Nano Super的內(nèi)存帶寬增加至102GB/s，較前代提升50%：CPU頻率也從1.5GHz升至1.7GHz：而整機(jī)尺寸卻只有一個手掌大小，功耗僅需25瓦。
Jetson Orin Nano Super支持同時調(diào)用多達(dá)四個攝像頭，并提供比前代更高的分辨率和幀率。性能的全面升級，將為主流生成式AI模型和基于Transformer的計算機(jī)視覺算法帶來顯著增益。
這款革命性的AI開發(fā)套件，將讓機(jī)器人、工業(yè)自動化領(lǐng)域的開發(fā)者以及各行各業(yè)的硬件工程師，無需連接云平臺，即可在邊緣側(cè)實現(xiàn)高效AI運算，大幅降低成本和延遲。
在談到英偉達(dá)新品的同時，我們還需要關(guān)注美國對華芯片限制令可能帶來的影響。
就在新品發(fā)布隔日，12月19日，美國商務(wù)部要求英偉達(dá)調(diào)查該公司產(chǎn)品在過去一年中流入中國大陸的情況。
然而，查閱美國商務(wù)部工業(yè)和安全局（BIS）發(fā)布的額外出口管制規(guī)定可以發(fā)現(xiàn)，ECCN 3A090項下的相關(guān)注釋明確指出，非數(shù)據(jù)中心類且TPP未超過4800的芯片不在該項管制范圍內(nèi)。這意味著絕大多數(shù)用于筆記本電腦、智能手機(jī)和游戲機(jī)等消費電子產(chǎn)品的芯片不受影響。
因此，英偉達(dá)Jetson系列產(chǎn)品可以通過正常渠道在中國銷售。這款新品的推出，必將點燃更多創(chuàng)新開發(fā)者和應(yīng)用企業(yè)的熱情。
邊緣AI高性價比時代來臨
英偉達(dá)新品的問世，勢必引發(fā)一場AI開發(fā)板的激烈角逐。
市面上與Jetson Orin Nano相似的產(chǎn)品不在少數(shù)，各家都聲稱自己的算力高、性能強(qiáng)。曾有國外開發(fā)者對當(dāng)時最熱門的三款A(yù)I開發(fā)板進(jìn)行了橫向?qū)Ρ?，分別是樹莓派+英特爾神經(jīng)網(wǎng)絡(luò)計算棒、英偉達(dá)Jetson Orin Nano和Google Coral。、
結(jié)果發(fā)現(xiàn)，沒有任何一款開發(fā)板能夠達(dá)到官方宣稱的最高效率。
測試之后，這名開發(fā)者還很可愛的透露：This post is sponsored by Coral from Google。可見谷歌也是相當(dāng)“心大”，認(rèn)可這份客觀中立、至少沒被打臉的測試結(jié)果。
無論哪家產(chǎn)品更勝一籌，對開發(fā)者而言，高性價比、算力強(qiáng)勁的AI開發(fā)板時代已經(jīng)到來。今后，再也沒有“算力昂貴、難出佳作”的借口了。
由此，圍繞邊緣AI的最新“安迪-比爾定律”之爭也拉開了帷幕。這一定律曾為IT產(chǎn)業(yè)創(chuàng)造了一種完美模式：What Andy gives，Bill takes away。如今，這一法則正在邊緣AI領(lǐng)域重演。
除了本次新品，英偉達(dá)還計劃在2025年推出Jetson Thor，以爭奪更大的AI硬件市場份額：而OpenAI則計劃在2025年1月發(fā)布能夠獨立執(zhí)行任務(wù)的AI代理Operator。
這對“準(zhǔn)安迪-比爾”的持續(xù)迭代，不僅推動了AI技術(shù)的進(jìn)一步成熟，也將重塑未來智能設(shè)備的功能和應(yīng)用場景。
在上篇文章《2025智能代理大戰(zhàn)來襲，2026智能代理+Web3觸發(fā)萬物經(jīng)濟(jì)》中，我曾介紹OpenAI的AI代理Operator不僅在技術(shù)上具備自主性，在功能設(shè)計上也充分考慮了多樣性，能夠控制計算機(jī)并獨立執(zhí)行任務(wù)。與之呼應(yīng)，英偉達(dá)則致力于通過硬件平臺為智能機(jī)器人賦能，二者形成了互補(bǔ)之勢。
在本次邊緣AI開發(fā)板的大戰(zhàn)中，中國企業(yè)有望占據(jù)一席之地。
這一預(yù)測既基于中國在芯片制造領(lǐng)域的快速進(jìn)步，也得益于中國企業(yè)在當(dāng)前“安迪-比爾定律”重構(gòu)中的積極參與。
根據(jù)12月10日中國海關(guān)總署發(fā)布的最新數(shù)據(jù)，2024年前11個月，中國集成電路出口額突破萬億元大關(guān)，同比增長20.3%。這一里程碑式的成就，標(biāo)志著中國在芯片研發(fā)、生產(chǎn)與制造領(lǐng)域的能力已經(jīng)上升到一個新的高度。
經(jīng)歷了6年的貿(mào)易戰(zhàn)考驗，中國已于2023年成為全球最大的芯片生產(chǎn)國，為中國企業(yè)參與邊緣AI硬件的競爭奠定了堅實基礎(chǔ)。
在新一輪“安迪-比爾定律”的演進(jìn)中，中國企業(yè)正積極布局。一方面，中國企業(yè)可以充分利用自身在芯片制造領(lǐng)域的優(yōu)勢，為邊緣AI開發(fā)板提供高性價比的核心組件：另一方面，中國企業(yè)也在加大研發(fā)投入，致力于打造性能卓越、功能豐富的邊緣AI開發(fā)板產(chǎn)品。
邊緣AI是中國實現(xiàn)“硬件+服務(wù)”融合之鑰
除了參與邊緣AI開發(fā)板的爭奪戰(zhàn)之外，英偉達(dá)新一代邊緣AI開發(fā)套件Jetson Orin Nano Super的發(fā)布，為中國企業(yè)在邊緣AI領(lǐng)域的發(fā)展提供了難得的機(jī)遇。
這款高性價比的產(chǎn)品，不僅讓更多開發(fā)者有機(jī)會接觸和應(yīng)用AI技術(shù)，也為中國企業(yè)在硬件制造與AI服務(wù)整合方面開辟了新的可能性。
回顧過去數(shù)十年的國際分工，中國在硬件制造領(lǐng)域積累了顯著的比較優(yōu)勢。然而，這種“硬件強(qiáng)、軟件弱”的非均衡發(fā)展模式，導(dǎo)致內(nèi)需不足、服務(wù)業(yè)滯后等問題日益凸顯。而邊緣AI硬件的興起，恰恰為打破這一困局提供了契機(jī)。
邊緣AI硬件的特點在于，它將強(qiáng)大的AI運算能力與物理設(shè)備緊密結(jié)合，使得智能化服務(wù)能夠在本地實時交付。
這意味著，中國企業(yè)可以充分發(fā)揮自身在硬件設(shè)計和制造方面的優(yōu)勢，同時通過邊緣AI實現(xiàn)服務(wù)能力的跨越式提升，最終實現(xiàn)制造業(yè)和服務(wù)業(yè)的均衡發(fā)展。
以服務(wù)機(jī)器人為例，它集成了先進(jìn)的AI算法和傳感器技術(shù)，能夠根據(jù)用戶需求和環(huán)境狀況提供個性化、智能化的交互服務(wù)。毛茸茸的AI機(jī)器寵物、貼心的家庭陪伴機(jī)器人、懂人心的智能眼鏡等，都是邊緣AI服務(wù)設(shè)備的典型應(yīng)用場景。這些創(chuàng)新產(chǎn)品的問世，將極大地豐富人們的生活體驗。
中國擁有完善的電子制造業(yè)供應(yīng)鏈和龐大的消費市場，這為邊緣AI硬件的規(guī)?；a(chǎn)和應(yīng)用提供了得天獨厚的條件。
如果中國企業(yè)能夠抓住這一機(jī)遇，積極布局邊緣AI硬件領(lǐng)域，不斷強(qiáng)化技術(shù)研發(fā)和產(chǎn)品創(chuàng)新能力，就有望在全球邊緣AI市場中占據(jù)一席之地，并帶動服務(wù)業(yè)的轉(zhuǎn)型升級。
不過，要真正實現(xiàn)“硬件+服務(wù)”的協(xié)同發(fā)展，中國企業(yè)還需要在以下幾個方面進(jìn)行深入探索和實踐：
1. 加強(qiáng)研發(fā)投入。邊緣AI的競爭歸根結(jié)底是技術(shù)的競爭。中國企業(yè)要在算法模型、芯片設(shè)計、傳感器集成等方面加大研發(fā)力度，突破關(guān)鍵核心技術(shù)，提升產(chǎn)品的智能化水平和性能表現(xiàn)。
2. 深化產(chǎn)業(yè)鏈協(xié)同。邊緣AI硬件的研發(fā)和生產(chǎn)涉及芯片、算法、傳感器、結(jié)構(gòu)件等多個環(huán)節(jié)，需要產(chǎn)業(yè)鏈上下游企業(yè)的緊密協(xié)作。中國企業(yè)要充分發(fā)揮產(chǎn)業(yè)集群優(yōu)勢，建立健全的協(xié)同機(jī)制，提升供應(yīng)鏈的效率和柔性。
3. 創(chuàng)新商業(yè)模式。單純的硬件銷售很難獲得豐厚利潤，中國企業(yè)需要探索“硬件+服務(wù)”的創(chuàng)新商業(yè)模式?？梢钥紤]通過硬件產(chǎn)品獲取用戶和數(shù)據(jù)，再通過軟件服務(wù)實現(xiàn)商業(yè)變現(xiàn)：或者針對特定行業(yè)提供端到端的整體解決方案，充分挖掘客戶需求。
4. 培育開發(fā)者生態(tài)。邊緣AI的應(yīng)用開發(fā)離不開廣大開發(fā)者的積極參與。中國企業(yè)要通過開放平臺、開發(fā)工具、社區(qū)活動等方式，積極培育開發(fā)者生態(tài)，激發(fā)開發(fā)者的創(chuàng)造力，共同豐富邊緣AI的應(yīng)用場景。
5. 注重隱私保護(hù)。邊緣AI的普及應(yīng)用將產(chǎn)生大量的用戶數(shù)據(jù)，這對數(shù)據(jù)安全和隱私保護(hù)提出了更高要求。中國企業(yè)要嚴(yán)格遵守相關(guān)法律法規(guī)，加強(qiáng)數(shù)據(jù)全生命周期管理，增強(qiáng)用戶信任。
6. 積極參與標(biāo)準(zhǔn)制定。邊緣AI尚處于起步階段，相關(guān)標(biāo)準(zhǔn)和規(guī)范亟待建立。中國企業(yè)要積極參與國際標(biāo)準(zhǔn)化組織的工作，爭取在關(guān)鍵技術(shù)領(lǐng)域掌握更多話語權(quán)，為邊緣AI產(chǎn)業(yè)的健康發(fā)展貢獻(xiàn)力量。
只有在技術(shù)、產(chǎn)品、服務(wù)、生態(tài)、安全等多個維度形成差異化優(yōu)勢，中國企業(yè)才能在激烈的邊緣AI競爭中搶得先機(jī)。
寫在最后
英偉達(dá)最新發(fā)布的邊緣AI開發(fā)套件Jetson Orin Nano Super，以其強(qiáng)大的性能和超高的性價比，重新定義了邊緣AI的可能性。
這一產(chǎn)品的問世，不僅掀起了一場全球范圍內(nèi)的邊緣AI開發(fā)板大戰(zhàn)，也為中國企業(yè)在邊緣AI領(lǐng)域的發(fā)展提供了契機(jī)。中國企業(yè)可以充分利用自身在硬件制造領(lǐng)域的優(yōu)勢，同時通過邊緣AI實現(xiàn)服務(wù)能力的跨越式提升，最終實現(xiàn)制造業(yè)和服務(wù)業(yè)的均衡發(fā)展。
參考資料：
1. 開發(fā)者如何選擇Edge AI開發(fā)方案，作者：Jack OmniXRI，來源：歐尼克斯實境互動工作室(OmniXRI)
2. The Future is here: NVIDIA’s Pocket-Sized Supercomputer is set to Transform AI，來源：Edge Middle East
3. Benchmarking Edge Computing - Comparing Google, Intel, and NVIDIA accelerator hardware，作者：Alasdair Allan，來源：Medium
