論文作者都沒想到會這么受關注

原標題：驚呆網友！微軟論文意外“泄密”OpenAI模型參數引熱議，GPT-4o mini僅8B？
文章來源：大數據文摘
內容字數：5477字

微軟論文“泄露”OpenAI大模型參數？與解讀

近日，一篇微軟發表的預印版論文引發熱議，原因是該論文中意外出現了ChatGPT、GPT-4等OpenAI旗下多個大模型的參數估算值。雖然論文主要關注的是一個名為MEDEC的醫療錯誤檢測與糾正基準，但文中提及的參數信息，例如GPT-4o mini僅有8B參數，迅速引發了網友熱烈討論。

1. 論文內容及參數“泄露”

這篇論文并非專門研究OpenAI模型，而是旨在評估大型語言模型在醫療領域應用的性能。研究人員利用MEDEC基準測試了多個LLM，包括OpenAI的ChatGPT、GPT-4系列、以及谷歌、Anthropic等公司的模型。論文中列出了這些模型的參數估算值，其中OpenAI模型的參數如下：ChatGPT約175B，GPT-4約1.76T，GPT-4o約200B，GPT-4o mini約8B，o1-mini約100B，o1-preview約300B。論文強調這些參數大多為估算值。

2. 網友熱議：GPT-4o mini 8B參數的可信度

GPT-4o mini僅有8B參數的結論尤其引發關注。許多網友質疑其可信度，認為如果屬實，OpenAI應該會公開宣傳這一突破性成果。有人推測8B可能是激活參數而非總參數，也有人認為可能是使用了MoE（混合專家）架構，只有部分參數處于活躍狀態。 一些網友則結合API定價和模型性能進行分析，認為8B參數的推測并非完全沒有道理。

3. 模型參數與性能：大小并非唯一標準

此次也引發了對模型參數與性能關系的討論。論文中，微軟Phi-3（7B參數）和GPT-4o mini（據稱8B參數）在特定任務上的表現，都展現了小模型也能取得優秀性能的可能性。這表明，模型參數大小并非衡量性能的唯一標準，模型架構、訓練方法等因素同樣重要。 Meta AI的Llama-3.1、Mistral AI的Ministral 8B等小模型也印證了這一趨勢。

4. 大模型與小模型的互補發展

目前，大模型和小模型的發展呈現互補趨勢。大模型在海量數據上預訓練，提供強大的基礎能力；小模型則針對特定任務進行微調，在效率和成本上更具優勢。未來，大模型和小模型將協同發展，推動人工智能應用的廣泛落地。

5. 結論：參數估算值需謹慎看待

雖然微軟論文中提供了部分大模型的參數估算值，但這些數值的準確性仍需進一步驗證。 模型參數并非決定性能的唯一因素， 未來需要更多研究來探索模型參數、架構和性能之間的復雜關系，以推動人工智能技術持續進步。

聯系作者

文章來源：大數據文摘
作者微信：
作者簡介：普及數據思維，傳播數據文化