打響大模型「平民化」第一槍，云天勵飛推出“深目”AI 模盒

作者 | 劉路遙 ，編輯?| 余快

面向長尾場景，“深目”AI模盒是如何做到零學(xué)習(xí)成本、秒速訓(xùn)練的？

過去一年，大模型如燎原之火，迅速席卷了人工智能領(lǐng)域的每一個角落，以其規(guī)模和深度，重新定義人工智能的邊界。

這場技術(shù)的盛宴中，AI的新老玩家們都渴望利用嶄新的AI之鑰，打開人工智能應(yīng)用更遼闊的未來之門。

然而，伴隨這一顛覆性機(jī)遇的到來，行業(yè)也面臨大型模型發(fā)展早期的挑戰(zhàn)，即模型層與應(yīng)用層整合之間的鴻溝：以大模型為核心的AI技術(shù)應(yīng)用，雖具有切實(shí)降本增效的前景，但大多數(shù)企業(yè)難以負(fù)擔(dān)訓(xùn)練專屬大模型的成本。

由于大量長尾場景缺乏高性價比的解決方案，AI普惠化也更多停留在口號層面。

一邊是AI企業(yè)面臨技術(shù)轉(zhuǎn)化困難、商業(yè)化挑戰(zhàn)，一邊是中小企業(yè)客戶需求未得到充分滿足，在這樣的背景下，云天勵飛提出大模型“平民化”的目標(biāo)，推出“深目”AI模盒，旨在將大模型變成人人可用的產(chǎn)品，從而解決人工智能落地的最后一公里難題。

解決最后一公里問題包含兩個核心，如何通過技術(shù)上的創(chuàng)新生產(chǎn)出一款低成本的產(chǎn)品，以及如何在數(shù)據(jù)缺乏的情況下，仍能保證算法的精度。

大模型通往落地的一個公式

GPT-4發(fā)布已一周年，AI領(lǐng)域在過去一年的成果已然超越過去十年的積累。

在云天勵飛AI大模型產(chǎn)品發(fā)布會上，CEO陳寧博士表示：未來3年，全球80%的企業(yè)都將運(yùn)行在大模型之上。

經(jīng)過上一波人工智能浪潮的洗禮，在人臉識別、車牌識別等頭部算法問題上，已經(jīng)形成了較為成熟的解決方案。但是，大量低頻的長尾算法并沒有得到很好的解決，成為制約人工智能賦能千行百業(yè)的問題所在。

大模型出現(xiàn)以前，對于AI公司來說，每個小模型的長尾算法與頭部算法在投入成本和周期上相當(dāng)，都需要強(qiáng)大的算力、高效的算法支持及大量的算法工程師，投入產(chǎn)出比極不匹配，絕大多數(shù)企業(yè)也都不會為如此高昂的成本買單。

大模型出現(xiàn)后，技術(shù)底座煥然一新，帶來了高性價比解決各類長尾問題的機(jī)會。

但是，積極擁抱和布局大模型，并沒有想象中那么容易。

本質(zhì)上，大模型由算力、算法、數(shù)據(jù)三者共同構(gòu)成，誰能更好地整合三方面能力，提供更低成本、更高效率的產(chǎn)品，才是競爭的關(guān)鍵點(diǎn)。

因此，大模型的技術(shù)轉(zhuǎn)化能力，實(shí)際是對AI公司綜合實(shí)力的考驗(yàn)，能夠脫穎而出的企業(yè)屬于少數(shù)。

云天勵飛在“算法芯片化”的核心能力下，基于自研多模態(tài)大模型和自研芯片的深度融合，做到了將大模型塞進(jìn)一個小盒子中。

這個小盒子不僅具有物理上的緊湊性，用單手就可以托舉起；還具有技術(shù)上的緊湊性，實(shí)現(xiàn)了模型的精簡和高效化。據(jù)介紹，“深目”AI模盒可以做到“3個90%”——覆蓋場景超過90%、算法精度超過90%，使用成本降低90%。

要做到這一點(diǎn)，需要直面一系列的技術(shù)挑戰(zhàn)，包括如何在邊緣側(cè)完成大模型高性能的推理、高效的訓(xùn)練，如何在內(nèi)存、計(jì)算精度都受限的情況下提升精度等。

那么，云天勵飛是如何將大模型塞進(jìn)千元級的小盒子中的？

“能夠?qū)崿F(xiàn)3個90%，離不開云天勵飛的核心能力——算法芯片化?！标悓幉┦空f。

圍繞“算法芯片化”，云天勵飛用時一年，進(jìn)行了兩大技術(shù)攻關(guān)：一是自研多模態(tài)大模型“云天天書”，二是自研大模型推理芯片DeepEdge10。

“深目”AI模盒的算力基礎(chǔ)，來源于去年云天勵飛推出的14nm Chiplet 大模型推理芯片DeepEdge10。

這款芯片采用自主可控的國產(chǎn)工藝，內(nèi)含國產(chǎn) RISC-V 核，支持大模型推理部署。依托其創(chuàng)新的D2D Chiplet 架構(gòu)打造的推理卡，已適配并可承載SAM CV 大模型、Llama2等百億級大模型運(yùn)算，可廣泛應(yīng)用于 AloT 邊緣視頻、移動機(jī)器人等場景。

云天勵飛首席科學(xué)家肖嶸博士進(jìn)一步補(bǔ)充道：“芯片設(shè)計(jì)時，考慮到模型參數(shù)上升會帶來效果上的改進(jìn)，我們設(shè)計(jì)了Chiplet；其次改進(jìn)了算法，用低成本的INT8和FP16替代FP16和FP32，只把模型1%的計(jì)算放在FP32上，使運(yùn)行成本大幅下降；模型訓(xùn)練的基礎(chǔ)、模型的結(jié)構(gòu)也做了顛覆性改變，空間占用更小?！?/p>

這些技術(shù)突破，使得云天勵飛可以通過算法和芯片一體化設(shè)計(jì)，將芯片設(shè)計(jì)成本做得很低。

“深目”AI模盒的大模型能力，則來源于云天勵飛自主研發(fā)的多模態(tài)大橫型“云天天書”。

云天天書大模型包含語言大模型、多模態(tài)大模型等不同系列，在C-Eval、CMMLU等權(quán)威測試中多次獲得第一名，并于去年正式通過中央網(wǎng)信辦備案。云天天書1.0版本于2023年初正式推出，已完成3個版本的迭代，預(yù)計(jì)今年6月將迭代4.0版本。

以云天天書為底座，云天勵飛與生態(tài)合作伙伴完成預(yù)訓(xùn)練長尾算法，再將預(yù)訓(xùn)練算法提供給廣大中小企業(yè)用戶。

由于大模型具備泛化和算法邊緣側(cè)在線學(xué)習(xí)能力，部署算法后，大模型還能夠根據(jù)現(xiàn)實(shí)應(yīng)用場景情況，在線學(xué)習(xí)、優(yōu)化算法，不斷提升算法精度，幫助客戶在邊緣端完成算法微調(diào)，訓(xùn)練出可實(shí)戰(zhàn)應(yīng)用的算法。

簡單理解，云天勵飛不僅將大模型塞進(jìn)了盒子中，并且還能在限定條件下，根據(jù)實(shí)際情況用少量數(shù)據(jù)做微調(diào)，最終實(shí)現(xiàn)效果的提升。

對于云天勵飛來說，這款“壓縮”了大模型和芯片能力的全新產(chǎn)品，是通過算法芯片化能力平臺，實(shí)現(xiàn)大模型“硬件化”的一次重要嘗試。

在邊緣計(jì)算的趨勢下，未來云天勵飛將繼續(xù)朝著內(nèi)存更小、算力更小、性價比更高的方向不斷改進(jìn)和更新產(chǎn)品。

讓長尾場景客戶輕松使用AI

大模型賦能的數(shù)據(jù)處理產(chǎn)品之所以備受矚目，在于它們具備人類般的思維能力，以及媲美人類的邏輯推理能力。

但對于使用者來說，重要的不是技術(shù)層面深目盒子積累了多么深厚的底蘊(yùn)，而是應(yīng)用層面產(chǎn)品是否足夠簡單易用。

一款能直擊客戶痛點(diǎn)問題的大模型產(chǎn)品，一定是技術(shù)創(chuàng)新與產(chǎn)品體驗(yàn)雙輪驅(qū)動的產(chǎn)物。

“深目”AI模盒正是這樣一款零學(xué)習(xí)成本，真正做到長尾算法秒速訓(xùn)練的產(chǎn)品。

城市治理是一個典型的碎片化場景，由于各個城市的需求不一樣，因此可能存在上百種場景算法，很難尋求一種放之四海而皆準(zhǔn)的解決方案，一勞永逸地解決所有場景問題。

不僅如此，以往針對具體場景的微調(diào)，都需要將數(shù)據(jù)收集好，重新帶回實(shí)驗(yàn)室，經(jīng)過清洗、標(biāo)注、訓(xùn)練、發(fā)布全流程后，再返回現(xiàn)場部署，周期十分漫長。

云天勵飛通過將這一過程拆解為兩個步驟，將原來幾個月的落地周期壓縮到了一兩周。

第一步，訓(xùn)練邊緣大模型。目前云天勵飛與生態(tài)合作伙伴，已在算法訓(xùn)練平臺上搭建了覆蓋14個大類、100+個小類、千余種算法的預(yù)訓(xùn)練算法倉庫；

第二步，在“深目”AI模盒上引入微調(diào)，實(shí)現(xiàn)邊緣端的自學(xué)習(xí)、自進(jìn)化。

這意味著，用戶也只需通過兩步極簡的交互，就能獲得一個高性價比的、聰明的專屬大模型。

第一步，直接調(diào)用云天勵飛的預(yù)訓(xùn)練算法，利用平臺基礎(chǔ)數(shù)據(jù)集，完成算法的初步訓(xùn)練；

第二步，上傳自身場景圖片，直接在現(xiàn)場完成算法的微調(diào)和升級，快速訓(xùn)練出高精度算法。

長尾場景最大的痛點(diǎn)在于樣本數(shù)據(jù)少，但一旦用戶使用了云天勵飛的“深目”AI模盒，這個問題便能迎刃而解。

針對數(shù)據(jù)少的情況，云天勵飛副總裁羅憶用城市治理中的店外經(jīng)營和游攤小販場景舉例，“只需要上傳五張場景照片，進(jìn)行簡單標(biāo)注，就能將初步訓(xùn)練的算法精度從76%提升到95%?！?/p>

針對數(shù)據(jù)幾乎空白的情況，如加油站場景的吸煙識別，可以用AIGC生成在該環(huán)境抽煙的人，這樣既能填補(bǔ)訓(xùn)練數(shù)據(jù)的空白，又能規(guī)避隱私安全等問題。

除此之外，在云天勵飛的算法訓(xùn)練平臺上，借助大模型的泛化能力，還能解決識別對象標(biāo)準(zhǔn)不統(tǒng)一帶來的算法訓(xùn)練難題。

不過，想要用少量數(shù)據(jù)產(chǎn)生很好的效果，還有一個重要的大前提，即培育一個良好的生態(tài)。

站在數(shù)據(jù)角度，當(dāng)下國內(nèi)的互聯(lián)網(wǎng)數(shù)據(jù)、文本數(shù)據(jù)、視頻數(shù)據(jù)已幾乎被挖掘殆盡，與此同時行業(yè)數(shù)據(jù)又不公開，想要獲取高質(zhì)量數(shù)據(jù)，AI公司就需要團(tuán)結(jié)行業(yè)伙伴、高校院所和頭部企業(yè)，前者提供技術(shù)，后者提供數(shù)據(jù)，共創(chuàng)行業(yè)大模型。

站在渠道角度，云天勵飛雖然提供了一個技術(shù)平臺，但僅憑一家企業(yè)，是無法解決整個AI行業(yè)落地過程中，各種各樣的技術(shù)、商業(yè)模式、市場等方方面面挑戰(zhàn)的。

“我們認(rèn)為多模態(tài)大模型在邊緣的訓(xùn)推一體，尤其算法芯片的深入融合方向一定不會錯，共創(chuàng)行業(yè)模型賦能行業(yè)長尾場景一定是未來的趨勢，今天是云天勵飛生態(tài)構(gòu)建的一個重大開端?！标悓幉┦空f。

AI技術(shù)終將解碼物理世界

在云天勵飛CEO陳寧看來，無論通信、互聯(lián)網(wǎng)、電子信息等技術(shù)，都經(jīng)歷了方案化、運(yùn)營化和產(chǎn)品化三個階段，AI也不例外。

與此同時，AI方案化、AI運(yùn)營化和AI產(chǎn)品化，也是云天勵飛的三個核心業(yè)務(wù)板塊。

AI方案化，指AI企業(yè)通過項(xiàng)目制滿足不同行業(yè)客戶的需求。

在2022年底之前，這種趨勢在G端和B端呈現(xiàn)出了蓬勃發(fā)展的跡象，各種行業(yè)解決方案層出不窮。

自2014年成立至今，云天勵飛已經(jīng)沉淀了智慧安防、智慧交通、城市治理、人居生活四大基礎(chǔ)領(lǐng)域的成熟行業(yè)解決方案，并在過去兩年探索了智慧教育、低空經(jīng)濟(jì)等創(chuàng)新領(lǐng)域。

AI運(yùn)營化，指將已開發(fā)的AI解決方案投入實(shí)際項(xiàng)目中，不斷積累行業(yè)認(rèn)知和數(shù)據(jù)，持續(xù)進(jìn)行優(yōu)化改進(jìn)，形成具備越來越強(qiáng)泛化能力的AI平臺。

隨著AI技術(shù)成熟和市場接受度提升，兩年前市場開始走向AI運(yùn)營化，開啟了商業(yè)模式的創(chuàng)新。

云天勵飛基于在大量行業(yè)的落地經(jīng)驗(yàn)，已形成智能算力運(yùn)營、數(shù)據(jù)運(yùn)營和新能源運(yùn)營平臺。

AI產(chǎn)品化，指將AI技術(shù)或解決方案轉(zhuǎn)化為標(biāo)準(zhǔn)化、通用化的產(chǎn)品或服務(wù)，通過物理實(shí)體賦能，滿足更廣泛的市場需求。

從成立之初自研AI芯片，到去年與華為昇騰聯(lián)合推出天舟大模型訓(xùn)推一體機(jī)，再到如今推出面向邊緣訓(xùn)推場景的“深目”AI模盒，以及通過資本紐帶進(jìn)軍智能穿戴市場，云天勵飛一直在致力于做物理世界的“解碼者”，并在日復(fù)一日的堅(jiān)持中，構(gòu)建起日益完善的大模型產(chǎn)品體系。

陳寧博士表示，“多模態(tài)大模型將推動AI從方案化，走向運(yùn)營化，最終走向標(biāo)準(zhǔn)化的智能硬件。在AI產(chǎn)品化方面，最重要的是推出面向C端的產(chǎn)品，如終極形態(tài)的人形機(jī)器人，將成為標(biāo)準(zhǔn)化的智能硬件之一。”

在云天勵飛的布局中，標(biāo)準(zhǔn)化的智能硬件分為端、邊、云三個不同的計(jì)算節(jié)點(diǎn)和產(chǎn)品形態(tài)。

終端和云端更多是整合生態(tài)，在終端設(shè)備上，通過生態(tài)構(gòu)建，并購了一家可穿戴設(shè)備方案供應(yīng)商；云端設(shè)備上，全面擁抱華為昇騰，在天舟大模型訓(xùn)推一體機(jī)后，聯(lián)合探索各類場景；邊緣設(shè)備上，則是端到端的開發(fā)打磨的一系列深目AI模盒，解決過往十年細(xì)分場景精度不夠、成本太高、周期太長、數(shù)據(jù)量太大等一系列痛點(diǎn)問題。

當(dāng)人工智能技術(shù)能夠解決應(yīng)用到實(shí)際場景中的最后一公里難題時，AI將不再僅僅是虛擬世界中的工具，而是真正成為了物理世界的生產(chǎn)力。

結(jié)語

過去一年，創(chuàng)業(yè)者們都在思考如何利用大模型這一顛覆性機(jī)會構(gòu)建新的護(hù)城河，生成式AI的局限性，使得大模型與產(chǎn)業(yè)的結(jié)合，成為一個需要不斷驗(yàn)證和改進(jìn)的過程。

這個過程，恰如云天勵飛十年間對“深目”產(chǎn)品的更新迭代。

CV小模型時代，名為”深目”的人工智能產(chǎn)品，引領(lǐng)了AI產(chǎn)業(yè)化應(yīng)用的浪潮，揭開了“AI+公共安全”市場的新紀(jì)元。

大模型時代，名為“深目”AI模盒的邊緣訓(xùn)推一體產(chǎn)品，基于大模型技術(shù)演進(jìn)和芯片深度融合的聯(lián)合設(shè)計(jì)，已經(jīng)擁有了煥然一新的技術(shù)底座。

從“深目”到“深目”，從“方案化”到“產(chǎn)品化”，從“CV小模型創(chuàng)業(yè)”到“大模型創(chuàng)業(yè)”，云天勵飛向著AI普惠的目標(biāo)，再次出發(fā)了。