小模型“反卷”大模型？適用才是真王道！

隨著“千模大戰(zhàn)”接近尾聲，由大模型掀起的算力競(jìng)賽也逐漸進(jìn)入“下半場(chǎng)”，由“建算力”過(guò)渡到“用算力”上。不同于大模型的參數(shù)量大、成本高、部署復(fù)雜，以“小而美”著稱(chēng)的小模型為行業(yè)提供了新選擇。

近日，大模型頭部廠商微軟和英偉達(dá)紛紛押注小模型，相繼發(fā)布了最新的小型語(yǔ)言模型——Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B。這兩款模型的主要賣(mài)點(diǎn)是實(shí)現(xiàn)了計(jì)算資源使用和功能表現(xiàn)之間良好的平衡。更有消息稱(chēng)，在某些方面，它們的性能甚至可以媲美大模型。

其實(shí)，不僅國(guó)外小模型發(fā)展提速，國(guó)內(nèi)眾多廠商也有小模型問(wèn)世。比如阿里巴巴發(fā)布的Qwen1.5系列，其最小參數(shù)可達(dá)到0.5B；面壁智能發(fā)布的MiniCPM系列模型號(hào)稱(chēng)最強(qiáng)端側(cè)模型。

顧名思義，小模型即在參數(shù)量、計(jì)算資源需求、模型規(guī)模等方面相對(duì)較小的人工智能模型。從已有產(chǎn)品不難發(fā)現(xiàn)，國(guó)內(nèi)外廠商紛紛入局小模型，既是看到了小模型相較于大模型的優(yōu)勢(shì)所在，也是積極助推人工智能模型落地的實(shí)踐。

在成本與資源利用上，小模型參數(shù)量少，對(duì)計(jì)算資源的需求較低，訓(xùn)練和推理成本也更低，這對(duì)于資源有限或預(yù)算緊張的企業(yè)來(lái)說(shuō)極具吸引力。而且小模型體積小，部署相對(duì)簡(jiǎn)單，對(duì)硬件和存儲(chǔ)的要求不是很高，也無(wú)需復(fù)雜的分布式計(jì)算架構(gòu)，能夠有效降低部署和維護(hù)的難度與成本。

在性能與效率平衡上，小模型的價(jià)值更多體現(xiàn)在滿(mǎn)足特定場(chǎng)景需求上，能夠更快地給出結(jié)果，實(shí)現(xiàn)實(shí)時(shí)響應(yīng)。此外，其定制性也更強(qiáng)，企業(yè)可以基于自身業(yè)務(wù)數(shù)據(jù)對(duì)小模型進(jìn)行精調(diào)優(yōu)化，使其更貼合特定任務(wù)和場(chǎng)景。

在應(yīng)用場(chǎng)景拓展上，一方面，小模型更適應(yīng)邊緣計(jì)算需求，可以本地部署到個(gè)人電腦、手機(jī)等終端設(shè)備上并進(jìn)行數(shù)據(jù)處理和分析，降低數(shù)據(jù)傳輸到云端的成本和隱私風(fēng)險(xiǎn)。另一方面，小模型具備靈活性和低成本等特點(diǎn)，更利于新業(yè)務(wù)探索，降低試錯(cuò)成本，幫助企業(yè)在新領(lǐng)域快速迭代和創(chuàng)新。

小模型的優(yōu)勢(shì)有目共睹，行業(yè)逐漸重視其應(yīng)用與開(kāi)發(fā)，也在很大程度上給了其“反卷”大模型的勇氣。但不可否認(rèn)的是，小模型參數(shù)量較小以及訓(xùn)練數(shù)據(jù)有限，在帶來(lái)輕便、易部署等一系列優(yōu)點(diǎn)的同時(shí)，也暴露了可能存在理解深度與廣度不足、復(fù)雜任務(wù)處理能力有限、容易產(chǎn)生“偏見(jiàn)”等問(wèn)題。

既然大模型與小模型各有利弊，行業(yè)應(yīng)用也應(yīng)各有所長(zhǎng)，筆者認(rèn)為不能將大模型與小模型視為簡(jiǎn)單的競(jìng)爭(zhēng)關(guān)系，“適用為王”的理念更符合兩者的價(jià)值所在?！胺淳怼贝竽Ｐ?，體現(xiàn)了小模型多樣化的行業(yè)需求，小模型自身的局限性也注定了其只能作為大模型的補(bǔ)充，以更好地推動(dòng)各行業(yè)智能化進(jìn)程。

為此，筆者認(rèn)為未來(lái)大模型與小模型更趨向于協(xié)同共生。

一是實(shí)現(xiàn)協(xié)同合作。大模型作為基礎(chǔ)支撐，將繼續(xù)在通用智能、復(fù)雜任務(wù)處理、大規(guī)模數(shù)據(jù)理解等方面發(fā)揮重要作用，小模型則在大模型的基礎(chǔ)上，針對(duì)不同的行業(yè)、領(lǐng)域、場(chǎng)景和用戶(hù)需求進(jìn)行個(gè)性化與精細(xì)化處理，支撐更精準(zhǔn)、高效的解決方案。

二是促進(jìn)技術(shù)融合。大模型和小模型在訓(xùn)練和優(yōu)化過(guò)程中所采用的方法可以相互借鑒和融合。將大模型訓(xùn)練中的大規(guī)模數(shù)據(jù)處理技術(shù)、算法優(yōu)化技術(shù)應(yīng)用到小模型的訓(xùn)練中，以提高小模型的性能；同時(shí)，小模型的高效訓(xùn)練和優(yōu)化策略也可為大模型訓(xùn)練提供參考，以降低大模型訓(xùn)練成本和資源消耗。

三是共建生態(tài)體系。正如大模型最終還是要滿(mǎn)足用戶(hù)需求、走入行業(yè)應(yīng)用，可以預(yù)見(jiàn)的是，未來(lái)包括大模型、小模型在內(nèi)的不同規(guī)模和類(lèi)型的模型將有賴(lài)于靈活組合和調(diào)度，根據(jù)開(kāi)發(fā)者和用戶(hù)的具體需求，構(gòu)建最適合的應(yīng)用解決方案。

*本文刊載于《通信世界》總第951期 2024年9月10日 第17期?

作者：包建羽

責(zé)編/版式：王禹蓉

審校：王 濤?梅雅鑫

監(jiān)制：劉啟誠(chéng)