SmolLM2

SmolLM2是一款由Hugging Face推出的緊湊型大型語言模型，專為設備端應用而設計。該模型提供1.7B、360M和135M三種不同參數設置，滿足各種應用需求和資源限制。SmolLM2在理解和執行指令、知識推理以及數學問題解決方面展現了顯著的能力提升。

SmolLM2是什么

SmolLM2是Hugging Face推出的緊湊型大型語言模型，旨在優化設備端應用，提供1.7B、360M和135M三種參數選擇，以應對不同的應用場景和資源條件。該模型在理解和執行復雜指令、進行知識推理及解決數學題目方面表現突出。通過采用監督微調和超反饋優化技術，SmolLM2能夠更精確地理解和響應復雜的指令，并在文本重寫、摘要生成和函數調用等任務中展現出強大的性能。這使得SmolLM2特別適合用作智能助手、機器人及其他需要自然語言理解的設備端服務。

SmolLM2

SmolLM2的主要功能

文本重寫：SmolLM2可以對文本進行優化重寫，使其更加簡潔或符合特定風格與要求。
摘要生成：模型能夠從長文中提煉出關鍵內容，以生成簡明扼要的摘要。
函數調用：SmolLM2支持函數調用，特別適用于自動編碼助手或需要與現有軟件無縫集成的個人AI應用。
設備端運行：SmolLM2可在本地設備上運行，無需依賴云服務，適合對延遲、隱私和硬件限制有高要求的應用場景。
多任務處理：該模型針對多種自然語言處理任務進行了優化，適合各種應用程序，尤其是在與云服務連接受限的環境下。

SmolLM2的技術原理

后訓練技術：SmolLM2系列采用先進的后訓練技術，包括監督微調（SFT）和直接偏好優化（DPO），增強了模型處理復雜指令和提供準確響應的能力。
框架兼容性：SmolLM2與llama.cpp和Transformers.js等框架兼容，能夠在設備上高效運行，包括在本地CPU和瀏覽器環境中，無需專門的GPU支持。
數據集訓練：SmolLM2的訓練使用了來自FineWeb-Edu、DCLM和Stack等數據集的11萬億個標記，覆蓋了廣泛的內容，主要集中在英語文本。
模型結構：SmolLM2的135M和360M模型采用了類似MobileLLM的設計，結合了Grouped-Query Attention結構，而1.7B模型則使用相對傳統的設計。所有模型均采用了embedding tying，并且支持2048個token的上下文長度。