如何快速部署和體驗(yàn)內(nèi)置開源LLM大模型

LLM大模型調(diào)試指南。

原標(biāo)題：如何快速部署和體驗(yàn)內(nèi)置開源LLM大模型
文章來源：智東西
內(nèi)容字?jǐn)?shù)：2027字

騰訊云TI-ONE平臺(tái)一鍵部署開源大模型指南

本文檔簡要介紹如何使用騰訊云TI-ONE平臺(tái)快速部署和體驗(yàn)開源大模型，幫助用戶高效選型適合自身業(yè)務(wù)場景的模型。

1. 瀏覽TI內(nèi)置大模型

   登錄騰訊云TI平臺(tái)，在“大模型精調(diào)”首頁，您可以查看平臺(tái)內(nèi)置的開源大模型清單。點(diǎn)擊模型卡片即可查看每個(gè)模型的詳細(xì)介紹，了解其特性和適用場景。

2. 一鍵部署開源大模型

   在模型詳情頁面，點(diǎn)擊“新建在線服務(wù)”按鈕即可開始部署。以“l(fā)lama_3_8b_chat”模型為例，系統(tǒng)會(huì)引導(dǎo)您配置服務(wù)參數(shù)：

   • 服務(wù)名稱：自定義服務(wù)名稱。
   • 計(jì)費(fèi)模式：選擇“按量計(jì)費(fèi)”或“包年包月”。
   • 服務(wù)實(shí)例模型來源：選擇“鏡像”類型。
   • 模型和運(yùn)行環(huán)境：選擇您所需模型，例如“內(nèi)置大模型/Llama3系列模型/llama_3_8b_chat”。
   • 算力規(guī)格：選擇合適的配置，例如12C44GB A10*1。 支持V100、A100等機(jī)型。

   同意相關(guān)協(xié)議后，點(diǎn)擊“啟動(dòng)服務(wù)”即可。

3. 在線體驗(yàn)?zāi)Ｐ托Ч?/h3>

   服務(wù)部署完成后，狀態(tài)變?yōu)椤斑\(yùn)行中”后，即可體驗(yàn)?zāi)Ｐ托ЧＬ峁﹥煞N調(diào)用方式：

   • API調(diào)用：點(diǎn)擊“操作 > 調(diào)用API”，進(jìn)入API調(diào)用文檔頁面，使用API Explorer配置調(diào)用代碼。 需使用在線服務(wù)頁面展示的“ID”參數(shù)。
   • 在線體驗(yàn)：點(diǎn)擊“操作 > 在線體驗(yàn)”，進(jìn)入快速體驗(yàn)頁面，通過問答形式直接測試模型。

4. 管理模型服務(wù)

   在“模型服務(wù) > 在線服務(wù)列表”頁面，您可以管理已部署的服務(wù)。 點(diǎn)擊服務(wù)名稱，可以：

   • 停止/重啟服務(wù)：控制服務(wù)運(yùn)行狀態(tài)。
   • 查看監(jiān)控/日志：監(jiān)控服務(wù)運(yùn)行情況和查看日志信息。
   • 查看詳細(xì)信息：查看基本信息、實(shí)例列表、監(jiān)控、、日志和更新記錄等。

5. 關(guān)于騰訊云TI-ONE平臺(tái)

   騰訊云TI-ONE訓(xùn)練平臺(tái)是一個(gè)一站式機(jī)器學(xué)習(xí)平臺(tái)，提供從數(shù)據(jù)接入、模型訓(xùn)練、模型管理到模型服務(wù)的全流程支持，支持多種訓(xùn)練方式和算法框架，滿足不同AI應(yīng)用場景的需求。

聯(lián)系作者

文章來源：智東西
作者微信：
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。