扣子羅盤 – 扣子推出的 AI Agent 智能調(diào)優(yōu)平臺

扣子羅盤是什么

扣子羅盤是一款專為個人開發(fā)者與創(chuàng)業(yè)團隊量身定制的工具平臺，旨在快速構(gòu)建 AI Agent。它為開發(fā)者提供了從開發(fā)、調(diào)試到評估和監(jiān)控的全生命周期管理能力，涵蓋 Prompt 開發(fā)、評測及觀測等多項功能。通過可視化的工具和智能調(diào)優(yōu)，扣子羅盤幫助開發(fā)者以更高效的方式構(gòu)建高質(zhì)量的 AI Agent，從而降低試錯成本。此外，平臺還支持團隊協(xié)作和資源共享，以提高開發(fā)效率。

扣子羅盤的主要功能

• Prompt智能中樞：支持Prompt的調(diào)試、版本管理和多版本對比，顯著提升開發(fā)效率。實現(xiàn)Prompt的服務(wù)化，便于進行集成與復(fù)用。
• 實時觀測與預(yù)警：借助Trace數(shù)據(jù)追蹤和性能統(tǒng)計，實時監(jiān)控系統(tǒng)的運行狀態(tài)，并在異常情況下進行即時告警，智能標(biāo)記數(shù)據(jù)，幫助快速定位問題。
• 全鏈路評測體系：在AI Agent的生命周期內(nèi)積累評測集，覆蓋端到端的測試，精確評估AI Agent的效果，確保其性能與穩(wěn)定性。

如何使用扣子羅盤

• 注冊與登錄：訪問扣子羅盤的官方網(wǎng)站，按照指示完成注冊并登錄。
• 進入演示空間：成功登錄后，找到扣子羅盤的入口以開始體驗。
• 體驗 Prompt 開發(fā)：登錄后，默認(rèn)進入Prompt開發(fā)界面。您可以查看平臺預(yù)設(shè)的Prompt，點擊“詳情”了解其設(shè)計細(xì)節(jié)。
• 使用評測模塊：
  • 創(chuàng)建評測集：
    • 在左側(cè)導(dǎo)航欄選擇評測 > 評測集。
    • 在評測集列表頁面，點擊“詳情”查看已經(jīng)創(chuàng)建的評測集數(shù)據(jù)。
    • 示例測試數(shù)據(jù)由輸入數(shù)據(jù)（input 列）和理想的預(yù)期輸出數(shù)據(jù)（reference_output 列）組成，輸入數(shù)據(jù)作為評測對象的輸入，預(yù)期輸出數(shù)據(jù)作為評測標(biāo)準(zhǔn)的參考。
    • 點擊“關(guān)聯(lián)實驗”標(biāo)簽，查看與該評測集相關(guān)的實驗結(jié)果。
  • 準(zhǔn)備評估器：
    • 在左側(cè)導(dǎo)航欄選擇評測 > 評估器。
    • 在評估器列表頁面查看已創(chuàng)建的評估器，并支持版本管理，您可以在發(fā)起評測實驗時選擇不同的評估器版本進行優(yōu)化迭代。
    • 點擊“詳情”查看評估器配置。進入評估器配置頁面后，點擊“調(diào)試”，輸入構(gòu)造的輸入數(shù)據(jù)和標(biāo)準(zhǔn)輸出數(shù)據(jù)，測試評估器的效果。
  • 發(fā)起評測實驗：
    • 在左側(cè)導(dǎo)航欄選擇評測 > 實驗。
    • 在實驗列表頁面，查看已發(fā)起的評測實驗。
    • 選擇一個評測實驗并點擊“詳情”查看評測結(jié)果。扣子羅盤支持對評測結(jié)果進行人工校準(zhǔn)，選擇要校準(zhǔn)的目標(biāo)數(shù)據(jù)后，點擊人工校準(zhǔn)的編輯圖標(biāo)。
    • 點擊“指標(biāo)統(tǒng)計”查看實驗報告。扣子羅盤會根據(jù)實驗結(jié)果自動生成可視化面板，方便對測試結(jié)果進行分析與決策。
• 使用觀測功能：
  • 觀測功能支持：
    • 平臺提示詞（Prompt）開發(fā)。
    • 扣子智能體。
    • 扣子 AI 應(yīng)用的數(shù)據(jù)自動上報。
    • 集成 SDK 上報其他框架（如 Eino/Langchain）開發(fā)的 AI 應(yīng)用。
  • 在觀測 > Trace 頁面，選擇時間范圍、任務(wù)節(jié)點范圍和觀測對象，查看已上報的Trace數(shù)據(jù)。扣子羅盤提供多維度的統(tǒng)計指標(biāo)面板，直觀了解觀測對象的運行狀態(tài)與成本消耗。

扣子羅盤的應(yīng)用場景

• 智能客服系統(tǒng)：開發(fā)智能客服對話模板，評測與觀測優(yōu)化客戶咨詢體驗。
• 內(nèi)容創(chuàng)作工具：幫助生成創(chuàng)意內(nèi)容，評測質(zhì)量并提升創(chuàng)作效率。
• 教育輔導(dǎo)系統(tǒng)：開發(fā)個性化學(xué)習(xí)工具，評測學(xué)生進度并優(yōu)化教學(xué)內(nèi)容。
• 醫(yī)療咨詢系統(tǒng)：提供初步健康建議，確保咨詢結(jié)果科學(xué)合理。
• 企業(yè)知識管理系統(tǒng)：快速回答內(nèi)部問題，優(yōu)化知識庫以提高信息獲取效率。

常見問題

• 扣子羅盤可以支持哪些開發(fā)語言？：目前，扣子羅盤支持多種主流開發(fā)語言，具體可根據(jù)官網(wǎng)信息確認(rèn)。
• 如何獲取支持和幫助？：用戶可以訪問官網(wǎng)的幫助中心，獲取使用指南和技術(shù)支持。
• 扣子羅盤的使用是否收費？：有關(guān)費用信息，請訪問官方網(wǎng)站查看詳細(xì)的價格政策。

欲了解更多信息，請訪問我們的官方網(wǎng)站。