NVIDIA Nemotron Nano 2

NVIDIA Nemotron Nano 2 – 英偉達推出的高效推理模型

核心觀點：NVIDIA Nemotron Nano 2 是一款性的90億參數高效推理模型，憑借其創新的混合Mamba-Transformer架構、超長的128k上下文處理能力以及高達6倍于同類模型的推理速度，為開發者和研究人員帶來了前所未有的靈活性和效率。該模型支持精細的“思考”預算控制，并已開源基礎模型和部分預訓練數據，極大地推動了AI在教育、科研、軟件開發等多個領域的應用。

NVIDIA Nemotron Nano 2 閃耀登場，作為英偉達在高效推理模型領域的又一力作，以其90億的精煉參數，為AI應用注入了澎湃動力。這款模型大膽采用了混合Mamba-Transformer架構，將Mamba-2層的強大能力融入其中，顯著提升了推理速度，尤其是在處理長篇幅的推理過程時，其表現尤為突出。與Qwen3-8B等模型相比，Nemotron Nano 2 在推理速度上實現了高達6倍的飛躍，同時在準確性上不遑多讓，甚至更勝一籌。

Nemotron Nano 2 的卓越之處

Nemotron Nano 2 的核心優勢在于其卓越的性能和前瞻性的設計。它能夠輕松駕馭長達128k的上下文長度，這意味著模型可以在單個NVIDIA A10G GPU上處理極其龐大的文本信息，這對于深度分析長文檔、復雜研究報告或海量代碼庫至關重要。

更具性的是，Nemotron Nano 2 引入了“思考預算”控制功能。用戶可以精確地設定模型在生成答案前所進行的推理步驟數量，從而在效率和深度之間找到最佳平衡點。這種精細化的控制，使得模型在面對不同復雜度的任務時，能夠更加智能地分配計算資源。

此外，Nemotron Nano 2 提供了靈活的輸出模式，用戶既可以選擇查看詳盡的推理過程，也可以選擇直接獲取最終答案，滿足多樣化的需求。

在語言能力方面，Nemotron Nano 2 的預訓練數據集涵蓋了多種語言，使其具備強大的多語言推理能力。同時，其覆蓋數學、代碼、學術、STEM等多個領域的數據，也賦予了它在廣泛應用場景下的出色表現。

驅動 Nemotron Nano 2 的核心技術

Nemotron Nano 2 的強大性能源于其多項創新技術的融合。其核心是混合Mamba-Transformer架構，通過用Mamba-2層替換Transformer中的大部分自注意力機制，極大地優化了推理效率，特別是在生成長推理鏈時優勢盡顯。而保留部分自注意力層，則保證了模型在靈活性和準確性方面依然保持了頂級水準。

在預訓練階段，Nemotron Nano 2 在海量的20萬億token上進行了深度訓練，并采用了FP8精度和優化的學習率調度策略。通過持續的預訓練和長上下文擴展階段，模型成功解鎖了128k的上下文處理能力，并且在其他基準測試中的性能并未受到影響。

為了進一步提升模型能力，Nemotron Nano 2 還經歷了嚴格的后訓練優化，包括監督微調（SFT）以提升特定任務的表現，以及通過策略優化和人類反饋強化學習（RLHF）來增強模型的指令遵循能力和對話體驗。

在模型壓縮方面，英偉達運用了剪枝和知識蒸餾技術，將一個120億參數的基礎模型精煉至90億參數，同時保留甚至提升了性能，顯著降低了推理成本，并實現了在單個A10G GPU上的128k上下文推理。

推理預算控制機制則基于截斷訓練，允許模型根據用戶設定的“思考”預算進行推理，避免了不必要的計算，為用戶提供了前所未有的靈活性。

探索 Nemotron Nano 2 的廣闊天地

Nemotron Nano 2 的開源（包括基礎模型和大部分預訓練數據集）極大地促進了其在各個領域的應用與研究。在教育領域，它可以作為強大的輔助工具，幫助學生解答復雜的數學和科學難題，通過清晰的推理過程加深對知識的理解。對于學術研究人員而言，Nemotron Nano 2 能夠生成詳盡的推理過程和分析報告，有力地支持論文撰寫和實驗設計。

在軟件開發領域，開發者可以利用Nemotron Nano 2 生成高質量的代碼片段，加速開發進程并優化代碼性能。在編程教育中，它能提供生動的代碼示例和解釋，幫助初學者掌握編程語言和算法。而在客戶服務領域，Nemotron Nano 2 可以擔當多語言機器人，提供高效、準確的客戶支持。

欲深入了解 NVIDIA Nemotron Nano 2，可訪問以下鏈接：

• 項目官網：https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/
• HuggingFace模型庫：https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615
• 技術論文：https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf
• 在線體驗Demo：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2