PerfXCloud快速上手

printf("hello world!");printf("今天給大家?guī)?lái)PerfXCloud快速上手操作");

什么是PerfXCloud？

PerfXCloud是澎峰科技為開發(fā)者和企業(yè)量身打造的AI開發(fā)和部署平臺(tái)。它專注于滿足大型模型的微調(diào)和推理需求，為用戶提供極致便捷的一鍵部署體驗(yàn)。

PerfXCloud為算力中心提供大模型AI、科學(xué)與工程計(jì)算的整體運(yùn)營(yíng)解決方案，助力算力中心升級(jí)成為“AI超級(jí)工廠”。

1、登錄

訪問(wèn)PerfXCloud并點(diǎn)擊控制臺(tái)進(jìn)行登錄、注冊(cè)
https://cloud.perfxlab.cn/

現(xiàn)在我們支持郵箱注冊(cè)，后續(xù)將會(huì)支持手機(jī)號(hào)注冊(cè)。

2、體驗(yàn)中心

在登錄后，在導(dǎo)航欄中點(diǎn)擊體驗(yàn)中心，在“選擇模型”可以選擇你想要體驗(yàn)的模型。然后可以根據(jù)自己需求設(shè)置以下參數(shù)

“stream”設(shè)置選項(xiàng)可以設(shè)置聊天對(duì)話是否使用流式輸出。

“max tokens”選項(xiàng)可設(shè)置體驗(yàn)?zāi)Ｐ屯瓿蓵r(shí)要生成的最大token數(shù)量。

“temperature”選項(xiàng)可設(shè)置使用什么樣的采樣溫度，介于0.0和2.0之間。

“history number”選項(xiàng)可設(shè)置可攜帶的聊天歷史記錄條數(shù)，最大設(shè)置為2條。攜帶歷史記錄可能會(huì)超出模型的max tokens,當(dāng)超出時(shí)請(qǐng)減少歷史記錄的條數(shù)。

完成設(shè)置后，即可在輸入框輸入消息，點(diǎn)擊右側(cè)綠色按鈕發(fā)送消息進(jìn)行模型的體驗(yàn)。輸入框左側(cè)的“垃圾桶”圖標(biāo)，點(diǎn)擊可以清空歷史記錄。

3、API調(diào)用

通過(guò)python等代碼來(lái)調(diào)用PerfXCloud大模型服務(wù)，我們先要在“令牌”中獲取我們的“api_key”，最后通過(guò)OpenAI進(jìn)行調(diào)用PerfXCloud。

獲取“api_key”

通過(guò)OpenAI接口調(diào)用

安裝 Python 3.7.1 或更高版本并設(shè)置虛擬環(huán)境后，即可安裝 OpenAI Python 庫(kù)。從終端/命令行運(yùn)行：

pip install --upgrade openai

通過(guò) openai 的相關(guān)接口進(jìn)行調(diào)用，目前平臺(tái)兼容OpenAI大多數(shù)參數(shù)。

import osfrom openai import OpenAI ? ? ? ? ? ?client = OpenAI( ? ?base_url='https://cloud.perfxlab.cn/v1', ? api_key="YOUR_API_KEY" ? ?) ? ? ? ? ? ?stream = client.chat.completions.create( ? ?model="Qwen-14B-Chat-Int4", ? ?messages=[{"role": "user", ? ? ? ? ? ? ? ? ? ? ? ?"content": "hello "}], ? ?temperature=1, ? ?max_tokens=16, ? ? ? ? ? ?n=1, ? ? ? ? ? ?presence_penalty=0, ? ? ? ? ? ?frequency_penalty=0, ? ? ? ? ? ?stream=True, ? ? ? ?) ? ? ? ? ? ?for chunk in stream: ? ?if chunk.choices[0].delta.content is not None: ? ? ? ?print(chunk.choices[0].delta.content, end="")

??api_key為上一步創(chuàng)建的需要修改