<strike id="00s0a"></strike>

扣子羅盤

AI工具5個月前更新 AI工具集

202 0 0

扣子羅盤 – 扣子推出的 AI Agent 智能調(diào)優(yōu)平臺

扣子羅盤是什么

扣子羅盤是一款專為個人開發(fā)者與創(chuàng)業(yè)團隊量身定制的工具平臺，旨在快速構(gòu)建 AI Agent。它為開發(fā)者提供了從開發(fā)、調(diào)試到評估和監(jiān)控的全生命周期管理能力，涵蓋 Prompt 開發(fā)、評測及觀測等多項功能。通過可視化的工具和智能調(diào)優(yōu)，扣子羅盤幫助開發(fā)者以更高效的方式構(gòu)建高質(zhì)量的 AI Agent，從而降低試錯成本。此外，平臺還支持團隊協(xié)作和資源共享，以提高開發(fā)效率。

扣子羅盤的主要功能

Prompt智能中樞：支持Prompt的調(diào)試、版本管理和多版本對比，顯著提升開發(fā)效率。實現(xiàn)Prompt的服務(wù)化，便于進行集成與復(fù)用。
實時觀測與預(yù)警：借助Trace數(shù)據(jù)追蹤和性能統(tǒng)計，實時監(jiān)控系統(tǒng)的運行狀態(tài)，并在異常情況下進行即時告警，智能標(biāo)記數(shù)據(jù)，幫助快速定位問題。
全鏈路評測體系：在AI Agent的生命周期內(nèi)積累評測集，覆蓋端到端的測試，精確評估AI Agent的效果，確保其性能與穩(wěn)定性。

如何使用扣子羅盤

注冊與登錄：訪問扣子羅盤的官方網(wǎng)站，按照指示完成注冊并登錄。
進入演示空間：成功登錄后，找到扣子羅盤的入口以開始體驗。
體驗 Prompt 開發(fā)：登錄后，默認(rèn)進入Prompt開發(fā)界面。您可以查看平臺預(yù)設(shè)的Prompt，點擊“詳情”了解其設(shè)計細(xì)節(jié)。
使用評測模塊：
- 創(chuàng)建評測集：
  - 在左側(cè)導(dǎo)航欄選擇評測 > 評測集。
  - 在評測集列表頁面，點擊“詳情”查看已經(jīng)創(chuàng)建的評測集數(shù)據(jù)。
  - 示例測試數(shù)據(jù)由輸入數(shù)據(jù)（input 列）和理想的預(yù)期輸出數(shù)據(jù)（reference_output 列）組成，輸入數(shù)據(jù)作為評測對象的輸入，預(yù)期輸出數(shù)據(jù)作為評測標(biāo)準(zhǔn)的參考。
  - 點擊“關(guān)聯(lián)實驗”標(biāo)簽，查看與該評測集相關(guān)的實驗結(jié)果。
- 準(zhǔn)備評估器：
  - 在左側(cè)導(dǎo)航欄選擇評測 > 評估器。
  - 在評估器列表頁面查看已創(chuàng)建的評估器，并支持版本管理，您可以在發(fā)起評測實驗時選擇不同的評估器版本進行優(yōu)化迭代。
  - 點擊“詳情”查看評估器配置。進入評估器配置頁面后，點擊“調(diào)試”，輸入構(gòu)造的輸入數(shù)據(jù)和標(biāo)準(zhǔn)輸出數(shù)據(jù)，測試評估器的效果。
- 發(fā)起評測實驗：
  - 在左側(cè)導(dǎo)航欄選擇評測 > 實驗。
  - 在實驗列表頁面，查看已發(fā)起的評測實驗。
  - 選擇一個評測實驗并點擊“詳情”查看評測結(jié)果。扣子羅盤支持對評測結(jié)果進行人工校準(zhǔn)，選擇要校準(zhǔn)的目標(biāo)數(shù)據(jù)后，點擊人工校準(zhǔn)的編輯圖標(biāo)。
  - 點擊“指標(biāo)統(tǒng)計”查看實驗報告。扣子羅盤會根據(jù)實驗結(jié)果自動生成可視化面板，方便對測試結(jié)果進行分析與決策。
使用觀測功能：
- 觀測功能支持：
  - 平臺提示詞（Prompt）開發(fā)。
  - 扣子智能體。
  - 扣子 AI 應(yīng)用的數(shù)據(jù)自動上報。
  - 集成 SDK 上報其他框架（如 Eino/Langchain）開發(fā)的 AI 應(yīng)用。
- 在觀測 > Trace 頁面，選擇時間范圍、任務(wù)節(jié)點范圍和觀測對象，查看已上報的Trace數(shù)據(jù)。扣子羅盤提供多維度的統(tǒng)計指標(biāo)面板，直觀了解觀測對象的運行狀態(tài)與成本消耗。