字節跳動此次披露為業界提供了寶貴的實踐經驗。

原標題：字節跳動BitsAI-CR解析：基于LLM的代碼審查系統技術
文章來源：智猩猩GenAI
內容字數：4281字

字節跳動BitsAI-CR代碼審查系統：AI賦能軟件開發

在人工智能浪潮下，大語言模型(LLM)正在重塑軟件開發流程。字節跳動近日首次公開其內部廣泛應用的代碼審查系統BitsAI-CR的技術細節，展現了AI在提升企業研發效率方面的顯著進展。該系統在服務超過1.2萬周活開發者的規模化驗證中，實現了75%的審查準確率和26.7%的評論過時率。

1. 解決LLM代碼審查的挑戰

傳統的LLM代碼審查方案存在準確率低、幻覺頻發、低價值評論過多以及缺乏系統化改進機制等問題。為了克服這些挑戰，BitsAI-CR采用了兩階段評論生成架構，并引入了評論過時率(Outdated Rate)作為新的評價指標。

2. 兩階段評論生成架構：RuleChecker和ReviewFilter

BitsAI-CR的核心是“識別+驗證”的兩階段評論生成架構：

1. RuleChecker：利用Tree-sitter進行代碼塊識別和函數邊界檢測，基于字節內部219條多維審查規則(涵蓋代碼缺陷、安全漏洞、可維護性和性能問題等)，通過LoRA微調的Doubao-Pro-32K-0828模型生成審查評論。該模塊還集成了動態規則黑名單，確保審查標準與企業實踐動態對齊。

2. ReviewFilter：對RuleChecker的輸出進行二次驗證，判斷是否保留評論。研究團隊通過實驗比較了三種推理模式，最終選擇“結論在前”模式，準確率達到77.09%。

此外，系統還采用基于Doubao-embedding-large的向量化方法進行評論聚合，避免開發者被過多重復信息打擾。

3. 評論過時率(Outdated Rate)指標

為了更全面地評估審查建議的實際價值，BitsAI-CR引入了評論過時率(Outdated Rate)指標。該指標追蹤被標記代碼行在后續提交中的修改比例，量化審查建議的實際應用情況。 這有效彌補了僅依靠準確率指標的不足。

4. 數據飛輪驅動系統優化

BitsAI-CR通過數據飛輪機制持續優化審查規則集并利用用戶反饋。該機制包含三個關鍵反饋渠道：

1. 用戶的直接反饋(點贊點踩)

2. 人工準確率標注(抽樣率不超過10%)

3. 每周的Outdated Rate監控

通過這些反饋，系統能夠識別準確率高但Outdated Rate低的規則，并進行優化，從而確保系統始終保持高實用性。在過去18周的部署過程中，BitsAI-CR的評論準確率從25%提升至75%，Go語言場景下的Outdated Rate達到了26.7%，接近人工審查水平。

5. 結論

字節跳動的BitsAI-CR系統在規模化應用中取得了顯著成功，證明了LLM在提升企業軟件開發效率方面的巨大潛力。其兩階段評論生成架構、評論過時率指標以及數據飛輪機制為未來AI編程助手的規模化應用提供了寶貴的實踐經驗和參考。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術文章、論文成果與產品信息。