英偉達(dá)版ChatGPT來(lái)了，PC端部署，很GPU

金磊 發(fā)自 凹非寺，量子位 | 公眾號(hào) QbitAI

英偉達(dá)推出了自家版本的ChatGPT，名字很有GPU的味道——Chat With RTX。

英偉達(dá)的這款A(yù)I聊天機(jī)器人和目前主流的“選手”有所不同。

它并非是在網(wǎng)頁(yè)或APP中運(yùn)行，而是需要下載安裝到個(gè)人電腦中。

這波操作，不僅是在運(yùn)行效果上會(huì)更快，也就意味著Chat With RTX在聊天內(nèi)容上或許并沒(méi)有那么多限制。

網(wǎng)友們也紛紛對(duì)這一點(diǎn)發(fā)出了感慨：哇~這是本地運(yùn)行的耶~

當(dāng)然，在配置方面也是要求的，只需要至少8GB的RTX 30或40系列顯卡即可。

那么Chat With RTX的實(shí)際效果如何，我們繼續(xù)往下看。

英偉達(dá)版ChatGPT

首先，值得一提的是，Chat With RTX并非是英偉達(dá)自己搞了個(gè)大語(yǔ)言模型（LLM）。

它背后所依靠的仍是兩款開(kāi)源LLM，即Mistral和Llama 2，用戶在運(yùn)行的時(shí)候可以根據(jù)喜好自行選擇。

Pick完LLM之后，就可以在Chat With RTX中上傳本地文件。

支持的文件類型包括txt，.pdf，.doc/.docx和.xml。

然后就可以開(kāi)始提問(wèn)了，例如：Sarah推薦的餐廳名字是什么？

由于是在本地運(yùn)行，因此Chat With RTX生成答案的速度是極快的，真真兒的是“啪的一下”：Sarah推薦的餐廳名字叫做The Red Le Bernardin。

除此之外，Chat With RTX另一個(gè)亮點(diǎn)功能，就是可以根據(jù)在線視頻做回答。

例如把一個(gè)油管視頻的鏈接“投喂”給它：

然后向Chat With RTX提問(wèn)：英偉達(dá)在CES 2024上宣布了什么？

Chat With RTX也會(huì)以極快的速度根據(jù)視頻內(nèi)容作答。

至于其背后用到的技術(shù)方面，英偉達(dá)官方只是簡(jiǎn)單提了一句：“用到了檢索增強(qiáng)生成 （RAG）、NVIDIA TensorRTLLM軟件和NVIDIA RTX等?！?/p>

如何食用？

正如我們剛才提到的，Chat With RTX的用法很簡(jiǎn)單，只需一個(gè)下載安裝的動(dòng)作。

不過(guò)在配置上，除了GPU的要求之外，還有一些條件，例如：

系統(tǒng)：Windows 10或Windows 11

RAM：至少16GB

驅(qū)動(dòng)：535.11版本或更新

不過(guò)Chat With RTX在大小上并沒(méi)有很輕量，共計(jì)大約35G。

因此在下載它之前，務(wù)必需要檢查一下Chat With RTX所需要的安裝條件。

不然就會(huì)出現(xiàn)各種各樣的悲劇了：

不過(guò)實(shí)測(cè)被吐槽

The Verge在英偉達(dá)發(fā)布Chat With RTX之后，立即展開(kāi)了一波實(shí)測(cè)。

不過(guò)結(jié)論卻是大跌眼鏡。

例如剛才提到的搜索視頻功能，在實(shí)際測(cè)試過(guò)程中，它竟然下載了完全不同視頻的文字記錄。

其次，如果給Chat With RTX“投喂”過(guò)多的文件，例如讓Chat with RTX為25000個(gè)文檔編制索引，它就直接“罷工”崩潰了。

以及它也“記不住”上下文，因此后續(xù)問(wèn)題不能基于上一個(gè)問(wèn)題。

最后還有個(gè)槽點(diǎn)，就是下載Chat with RTX消耗了測(cè)試人員整整半個(gè)小時(shí)……

不過(guò)槽點(diǎn)之外，The Verge也比較中立地肯定了Chat with RTX的優(yōu)點(diǎn)。

例如搜索電腦上的文檔，其速度和精準(zhǔn)度是真香。

并且做總結(jié)也是Chat with RTX較為擅長(zhǎng)的內(nèi)容：

更重要的是，在本地運(yùn)行這樣的機(jī)制，給用戶文件的安全性帶來(lái)了保障。

那么你會(huì)pick英偉達(dá)版的ChatGPT嗎？

參考鏈接：
[1]https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[2]https://news.ycombinator.com/item?id=39357900
[3]https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[4]https://twitter.com/rowancheung/status/1757429733837418610