Chitu

Chitu – 清華聯(lián)合清程極智開源的大模型推理引擎

Chitu（赤兔）是由清華大學(xué)高性能計(jì)算研究所與清程極智聯(lián)合開發(fā)的開放源代碼高性能大模型推理引擎，旨在應(yīng)對(duì)大模型推理階段的高昂成本和低效能問題。該引擎具備卓越的硬件適配能力，支持多種英偉達(dá)GPU及國(guó)產(chǎn)芯片，成功打破了對(duì)特定硬件（如英偉達(dá)Hopper架構(gòu)）的依賴。在性能方面，赤兔引擎在A800集群上部署DeepSeek-R1-671B時(shí)，相比于部分國(guó)外開源框架，GPU使用量減少50%，推理速度提升超過3倍，能夠滿足不同規(guī)模和場(chǎng)景的推理需求。

Chitu是什么

Chitu（赤兔）是一款高性能的大模型推理引擎，由清華大學(xué)高性能計(jì)算研究所與清程極智聯(lián)合開源。該引擎特別設(shè)計(jì)用于解決大模型在推理階段面臨的高成本與低效率問題，具備強(qiáng)大的硬件適應(yīng)性，支持多款英偉達(dá)GPU及國(guó)產(chǎn)芯片，成功消除了對(duì)特定硬件的依賴。在性能方面，赤兔引擎在A800集群上部署DeepSeek-R1-671B時(shí)，較部分國(guó)外開源框架GPU使用量減少50%，推理速度提升3.15倍，支持從純CPU到大規(guī)模集群的全面部署，能夠滿足多種規(guī)模和場(chǎng)景的推理需求。

Chitu的主要功能

• 多種算力適配：支持從最新旗艦到舊款的多系列英偉達(dá)GPU，并為國(guó)產(chǎn)芯片提供優(yōu)化支持，打破了對(duì)英偉達(dá)Hopper架構(gòu)的依賴。
• 可擴(kuò)展的全場(chǎng)景部署：無論是純CPU、單GPU還是大規(guī)模集群，赤兔引擎都能提供靈活的解決方案，滿足不同規(guī)模和場(chǎng)景的推理需求。
• 低延遲優(yōu)化：針對(duì)對(duì)響應(yīng)時(shí)間要求嚴(yán)格的場(chǎng)景，諸如金融風(fēng)控，優(yōu)化模型推理速度，減少延遲。
• 高吞吐量?jī)?yōu)化：在高并發(fā)場(chǎng)景下（如智能客服），提高單位時(shí)間內(nèi)處理的請(qǐng)求數(shù)量。
• 顯存占用優(yōu)化：降低單卡顯存的占用，使企業(yè)能夠以更少的硬件資源獲得更高的推理性能。
• 穩(wěn)定運(yùn)行保障：赤兔引擎可在實(shí)際生產(chǎn)環(huán)境中長(zhǎng)期穩(wěn)定運(yùn)行，承載并發(fā)業(yè)務(wù)流量。
• 即插即用的解決方案：清程極智推出了基于赤兔的推理一體機(jī)，提供開箱即用的部署方案和專業(yè)運(yùn)維服務(wù)，簡(jiǎn)化企業(yè)AI落地的流程。

Chitu的技術(shù)原理

• 底層技術(shù)創(chuàng)新：赤兔引擎通過底層技術(shù)創(chuàng)新，實(shí)現(xiàn)了在非英偉達(dá)Hopper架構(gòu)GPU及各類國(guó)產(chǎn)芯片上原生運(yùn)行FP8精度模型，打破了對(duì)高端英偉達(dá)H系列GPU的依賴。
• 算子級(jí)優(yōu)化：赤兔對(duì)關(guān)鍵算子（如GeMM、MoE等）進(jìn)行了指令級(jí)優(yōu)化，直接處理FP8數(shù)據(jù)，確保模型精度無損，同時(shí)顯著提升推理速度。在A800集群測(cè)試中，相比部分國(guó)外開源框架，赤兔引擎在GPU使用量減少50%的情況下，推理速度仍提升3.15倍。
• 全場(chǎng)景性能優(yōu)化：赤兔引擎支持低延遲、高吞吐量和小顯存的優(yōu)化，根據(jù)不同場(chǎng)景需求，在不同硬件配置和系統(tǒng)環(huán)境下提供最佳解決方案。
• 并行計(jì)算與編譯優(yōu)化：赤兔引擎積累了清華大學(xué)團(tuán)隊(duì)多年的并行計(jì)算和編譯優(yōu)化技術(shù)，通過智能編譯加速高性能算子的開發(fā)過程，迅速實(shí)現(xiàn)對(duì)不同硬件架構(gòu)的優(yōu)化。

Chitu的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/thu-pacman/chitu

Chitu的應(yīng)用場(chǎng)景

• 風(fēng)險(xiǎn)識(shí)別與預(yù)警：赤兔引擎可快速處理大量交易數(shù)據(jù)，實(shí)時(shí)監(jiān)測(cè)潛在風(fēng)險(xiǎn)，幫助金融機(jī)構(gòu)提高風(fēng)險(xiǎn)管理的效率。
• 智能客服與客戶體驗(yàn)提升：借助大模型智能知識(shí)庫(kù)，快速響應(yīng)客戶需求，提升服務(wù)體驗(yàn)。
• 疾病診斷輔助：赤兔引擎能迅速處理醫(yī)療數(shù)據(jù)，提高疾病診斷的速度與準(zhǔn)確性，改善患者就醫(yī)體驗(yàn)。
• 交通流量?jī)?yōu)化：赤兔引擎能夠?qū)崟r(shí)處理交通數(shù)據(jù)，優(yōu)化交通流量，緩解城市擁堵。
• 科研數(shù)據(jù)分析：赤兔引擎可高效處理科研數(shù)據(jù)，促進(jìn)科研進(jìn)程的加速。