MiniMax 基于 Apache Doris 升級日志系統(tǒng)，PB 數(shù)據(jù)秒級查詢響應技術(shù)實踐

AIGC動態(tài)歡迎閱讀

原標題：MiniMax 基于 Apache Doris 升級日志系統(tǒng)，PB 數(shù)據(jù)秒級查詢響應技術(shù)實踐
關鍵字：日志,數(shù)據(jù),系統(tǒng),架構(gòu),模型
文章來源：AI前線
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

作者｜MiniMax 基礎架構(gòu)研發(fā)工程師 Koyomi、香克斯、Tinker 導讀：早期 MiniMax 基于 Grafana Loki 構(gòu)建了日志系統(tǒng)，在資源消耗、寫入性能及系統(tǒng)穩(wěn)定性上都面臨巨大的挑戰(zhàn)。為此 MiniMax 開始尋找全新的日志系統(tǒng)方案，并基于 Apache Doris 升級了日志系統(tǒng)，新系統(tǒng)已接入 MiniMax 內(nèi)部所有業(yè)務線日志數(shù)據(jù)，數(shù)據(jù)規(guī)模為 PB 級，整體可用性達到 99.9% 以上，10 億級日志數(shù)據(jù)的檢索速度可實現(xiàn)秒級響應。
MiniMax 是領先的通用人工智能科技公司，自主研發(fā)了不同模態(tài)的通用大模型，其中包括擁有萬億參數(shù)的 MoE 文本大模型、語音大模型以及圖像大模型。MiniMax 以“與用戶共創(chuàng)智能”為愿景，通過對大模型持續(xù)迭代，MiniMax 在國內(nèi)率先完成核心 MoE 算法技術(shù)路線的突破。2024 年 4 月，公司推出國內(nèi)首個上線商用的 MoE 架構(gòu)、包含萬億參數(shù)的大語言模型——“MiniMax-abab 6.5”，模型性能接近國際領先水平。
隨著模型復雜度以及模型調(diào)用量的不斷提升，模型訓練及推理產(chǎn)生的運行日志也在激增，這些數(shù)據(jù)對于 AI

原文鏈接：MiniMax 基于 Apache Doris 升級日志系統(tǒng)，PB 數(shù)據(jù)秒級查詢響應技術(shù)實踐