Llama 4 – Meta 推出的多模態(tài)系列模型

Llama 4 是由 Meta 開(kāi)發(fā)的多模態(tài)人工智能模型，采用創(chuàng)新的混合專家（MoE）架構(gòu)，提升了計(jì)算和推理的效率。該模型目前有兩種版本：Scout 和 Maverick。Scout 版本包含 170 億個(gè)活躍參數(shù)和 1090 億個(gè)總參數(shù)，能夠支持 1000 萬(wàn)個(gè)上下文并處理超過(guò) 20 小時(shí)的視頻，運(yùn)行在單個(gè) H100 GPU 上，表現(xiàn)超越了 Gemma 3 等其他模型。Maverick 版本同樣有 170 億個(gè)活躍參數(shù)，但配備了 128 個(gè)“專家”模型，總參數(shù)達(dá)到 4000 億，在圖像理解和創(chuàng)意寫(xiě)作領(lǐng)域表現(xiàn)尤為突出，適合用于多種智能助手和對(duì)話應(yīng)用。此外，Llama 4 Behemoth 仍在訓(xùn)練中，預(yù)計(jì)將擁有 2 萬(wàn)億參數(shù)，已在 STEM 基準(zhǔn)測(cè)試中展現(xiàn)了優(yōu)異的性能。

Llama 4是什么

Llama 4 是 Meta 推出的先進(jìn)多模態(tài)人工智能模型，首次引入混合專家（MoE）架構(gòu)，顯著提高了訓(xùn)練和推理的效率。該模型分為 Scout 和 Maverick 兩個(gè)版本。Scout 版本具有 170 億個(gè)活躍參數(shù)和 1090 億個(gè)總參數(shù)，支持 1000 萬(wàn)個(gè)上下文窗口，能夠處理長(zhǎng)達(dá) 20 小時(shí)的視頻，并且能夠在單個(gè) H100 GPU 上高效運(yùn)行，性能超越了 Gemma 3 等競(jìng)爭(zhēng)模型。Maverick 版本同樣擁有 170 億個(gè)活躍參數(shù)，配備 128 個(gè)“專家”模型，總參數(shù)達(dá)到 4000 億，專注于圖像理解和創(chuàng)意寫(xiě)作，適合用作通用助手和類應(yīng)用，在大模型 LMSYS 排行榜中名列前茅。Llama 4 Behemoth 是一個(gè)仍在開(kāi)發(fā)中的預(yù)覽版本，預(yù)計(jì)將擁有 2 萬(wàn)億參數(shù)，并在 STEM 基準(zhǔn)測(cè)試中表現(xiàn)出色。Llama 4 支持在 200 種語(yǔ)言上進(jìn)行開(kāi)源微調(diào)，其訓(xùn)練數(shù)據(jù)超過(guò) 30 萬(wàn)億個(gè) token。

Llama 4的主要功能

• 卓越的語(yǔ)言理解與生成能力：經(jīng)過(guò)大量文本數(shù)據(jù)的訓(xùn)練，Llama 4 在語(yǔ)言理解上表現(xiàn)精準(zhǔn)，能夠生成邏輯連貫的文本，適用于創(chuàng)意寫(xiě)作、文章撰寫(xiě)及對(duì)話交互。例如，在故事創(chuàng)作中，能基于給定的主題和情節(jié)線索生成生動(dòng)的故事內(nèi)容；在對(duì)話中，能準(zhǔn)確理解用戶意圖并提供合適的回復(fù)。
• 多模態(tài)處理能力：通過(guò)圖像數(shù)據(jù)的訓(xùn)練，模型具備圖像理解能力，能識(shí)別圖像中的物體、場(chǎng)景及顏色等元素，并對(duì)圖像內(nèi)容進(jìn)行準(zhǔn)確描述和分析。Scout 版本支持 1000 萬(wàn) tokens 的上下文窗口，適合處理長(zhǎng)文本總結(jié)、基于大型代碼庫(kù)的推理等任務(wù)。
• 高效的推理與計(jì)算能力：采用混合專家（MoE）架構(gòu)，使模型分為多個(gè)專注于特定任務(wù)的“專家”子模型，從而提高訓(xùn)練和查詢響應(yīng)的效率，降低了模型的服務(wù)成本和延遲。
• 多語(yǔ)言處理能力：通過(guò)在 200 種語(yǔ)言上的預(yù)訓(xùn)練，Llama 4 能處理和生成多種語(yǔ)言文本，支持跨語(yǔ)言的交流與任務(wù)處理，如語(yǔ)言翻譯和文本分析，幫助用戶消除語(yǔ)言障礙。

Llama 4的技術(shù)原理

• 混合專家（MoE）架構(gòu)：Llama 4 是 Llama 系列中首個(gè)采用 MoE 架構(gòu)的模型。在 MoE 模型中，每個(gè) token 僅激活一小部分參數(shù)。例如，Maverick 模型擁有 4000 億個(gè)總參數(shù)，但只有 170 億個(gè)是活躍的。Meta 通過(guò)交替使用稠密層和 MoE 層，確保每個(gè) token 被送至共享專家和 128 個(gè)路由專家中的一個(gè)，從而在運(yùn)行模型時(shí)僅激活部分參數(shù)，提升推理效率，降低服務(wù)成本和延遲。
• 原生多模態(tài)設(shè)計(jì)：Llama 4 是一個(gè)原生多模態(tài)模型，采用早期融合技術(shù)，能夠?qū)⑽谋九c視覺(jué) token 無(wú)縫整合在統(tǒng)一的模型框架中。它可以利用海量的無(wú)標(biāo)簽文本、圖像和視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。Meta 對(duì) Llama 4 的視覺(jué)編碼器進(jìn)行了升級(jí)，編碼器基于 MetaCLIP，訓(xùn)練時(shí)與固定的 Llama 模型分開(kāi)，能夠更好地調(diào)整編碼器以適應(yīng)大語(yǔ)言模型（LLM）。
• 模型超參數(shù)優(yōu)化：Meta 研發(fā)了 MetaP 新訓(xùn)練方法，能夠有效設(shè)置關(guān)鍵的模型超參數(shù)，例如每層的學(xué)習(xí)率和初始化規(guī)模，這些超參數(shù)在不同的批大小、模型寬度、深度及訓(xùn)練 token 量上均能良好適配。
• 高效的模型訓(xùn)練：使用 FP8 精度進(jìn)行訓(xùn)練，確保不損失質(zhì)量的同時(shí)提升模型的 FLOPs 利用率。例如，在使用 FP8 精度和 32K 個(gè) GPU 預(yù)訓(xùn)練 Llama 4 Behemoth 模型時(shí)，能夠?qū)崿F(xiàn)每個(gè) GPU 390 TFLOPs 的性能。訓(xùn)練數(shù)據(jù)涵蓋超過(guò) 30 萬(wàn)億個(gè) token，包括文本、圖像和視頻數(shù)據(jù)集。通過(guò)“中期訓(xùn)練”方式持續(xù)訓(xùn)練模型，擴(kuò)展長(zhǎng)上下文，提升核心能力，使 Llama 4 Scout 能夠解鎖 1000 萬(wàn)輸入上下文長(zhǎng)度的領(lǐng)先性能。
• 后訓(xùn)練流程優(yōu)化：訓(xùn)練流程包含輕量級(jí)監(jiān)督微調(diào)（SFT）、在線強(qiáng)化學(xué)習(xí)（RL）及輕量級(jí)直接偏好優(yōu)化（DPO）。為避免 SFT 和 DPO 對(duì)模型的過(guò)度限制，Meta 利用 Llama 模型作為評(píng)判者，剔除超過(guò) 50% 被標(biāo)記為“簡(jiǎn)單”的數(shù)據(jù)，對(duì)剩余的困難數(shù)據(jù)進(jìn)行輕量級(jí) SFT，并在多模態(tài)在線 RL 階段精心選擇更具挑戰(zhàn)性的提示，實(shí)施持續(xù)在線 RL 策略，交替進(jìn)行模型訓(xùn)練與數(shù)據(jù)篩選，保留中等到高難度的提示，最后進(jìn)行輕量級(jí) DPO，以平衡模型的智能性與對(duì)話能力。

Llama 4的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://ai.meta.com/blog/llama-4
• HuggingFace模型庫(kù)：https://huggingface.co/collections/meta-llama/llama-4

Llama 4的應(yīng)用場(chǎng)景

• 對(duì)話系統(tǒng)：Llama 4 可用于開(kāi)發(fā)智能機(jī)器人，特別是 Maverick 適合用作通用 AI 助手和應(yīng)用，能夠理解用戶的問(wèn)題并生成自然流暢的回答，提供信息、解答疑問(wèn)或進(jìn)行閑聊。
• 文本生成：具備創(chuàng)意寫(xiě)作能力，能夠創(chuàng)作故事、詩(shī)歌和劇本等，也可用于撰寫(xiě)新聞報(bào)道、產(chǎn)品說(shuō)明和文案策劃，根據(jù)特定主題和要求生成高質(zhì)量的文本。
• 代碼生成與輔助：能夠幫助開(kāi)發(fā)者生成代碼，基于功能描述提供相應(yīng)的代碼片段或完整程序，并提供代碼解釋、注釋生成和代碼規(guī)范檢查等輔助功能，提升開(kāi)發(fā)效率。
• 代碼理解與分析：Scout 可基于大型代碼庫(kù)進(jìn)行推理，協(xié)助開(kāi)發(fā)者理解復(fù)雜代碼的邏輯與功能，進(jìn)行代碼審查和漏洞檢測(cè)等工作。
• 圖像理解與描述：Maverick 在圖像精準(zhǔn)理解方面表現(xiàn)出色，能夠識(shí)別圖像中的物體、場(chǎng)景及顏色，對(duì)圖像內(nèi)容進(jìn)行描述和分析，例如輸入一張照片，可以對(duì)照片內(nèi)容進(jìn)行詳細(xì)描述和判斷拍攝地點(diǎn)。
• 信息檢索與推薦：結(jié)合其語(yǔ)言理解與生成能力，能夠用于信息檢索系統(tǒng)，理解用戶的查詢意圖，提供更精準(zhǔn)的搜索結(jié)果，并基于用戶的興趣和行為進(jìn)行個(gè)性化推薦。