MiniMax 基于 Apache Doris 升級(jí)日志系統(tǒng)，PB 數(shù)據(jù)秒級(jí)查詢響應(yīng)技術(shù)實(shí)踐

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：MiniMax 基于 Apache Doris 升級(jí)日志系統(tǒng)，PB 數(shù)據(jù)秒級(jí)查詢響應(yīng)技術(shù)實(shí)踐
關(guān)鍵字：日志,數(shù)據(jù),系統(tǒng),架構(gòu),模型
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

作者｜MiniMax 基礎(chǔ)架構(gòu)研發(fā)工程師 Koyomi、香克斯、Tinker 導(dǎo)讀：早期 MiniMax 基于 Grafana Loki 構(gòu)建了日志系統(tǒng)，在資源消耗、寫(xiě)入性能及系統(tǒng)穩(wěn)定性上都面臨巨大的挑戰(zhàn)。為此 MiniMax 開(kāi)始尋找全新的日志系統(tǒng)方案，并基于 Apache Doris 升級(jí)了日志系統(tǒng)，新系統(tǒng)已接入 MiniMax 內(nèi)部所有業(yè)務(wù)線日志數(shù)據(jù)，數(shù)據(jù)規(guī)模為 PB 級(jí)， 整體可用性達(dá)到 99.9% 以上，10 億級(jí)日志數(shù)據(jù)的檢索速度可實(shí)現(xiàn)秒級(jí)響應(yīng)。
MiniMax 是領(lǐng)先的通用人工智能科技公司，自主研發(fā)了不同模態(tài)的通用大模型，其中包括擁有萬(wàn)億參數(shù)的 MoE 文本大模型、語(yǔ)音大模型以及圖像大模型。MiniMax 以“與用戶共創(chuàng)智能”為愿景，通過(guò)對(duì)大模型持續(xù)迭代，MiniMax 在國(guó)內(nèi)率先完成核心 MoE 算法技術(shù)路線的突破。2024 年 4 月，公司推出國(guó)內(nèi)首個(gè)上線商用的 MoE 架構(gòu)、包含萬(wàn)億參數(shù)的大語(yǔ)言模型——“MiniMax-abab 6.5”，模型性能接近國(guó)際領(lǐng)先水平。
隨著模型復(fù)雜度以及模型調(diào)用量的不斷提升，模型訓(xùn)練及推理產(chǎn)生的運(yùn)行日志也在激增，這些數(shù)據(jù)對(duì)于 AI

原文鏈接：MiniMax 基于 Apache Doris 升級(jí)日志系統(tǒng)，PB 數(shù)據(jù)秒級(jí)查詢響應(yīng)技術(shù)實(shí)踐

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：
作者簡(jiǎn)介：