引入URL信息的預訓練方法。

翼支付全新「增強半自回歸投機解碼框架」。

首次用元數據加速預訓練

SparseViT

OpenAI O1模型引發業界對大規模推理模型(large reasoning models ，LRM)研究的熱潮。前文評測結果顯示開源的Marco-o1效果不錯，甚至超越部分閉源產品。今天這...

DeepSeek-v3將算法與基礎設施融合，推動硬件架構創新。

質疑微軟，理解微軟

本文介紹了一套針對于低比特量化的 scaling laws。

模型量化（Model Quantization）是深度學習模型優化中的一項關鍵技術，它通過減少模型參數的位寬來降低模型的存儲和計算需求，從而提高模型在各種硬件平臺上...

大模型不僅有Scaling Law，還有Densing Law

一種基于Sinkhorn距離的知識蒸餾方法

研究團隊針對剪枝多模態大模型以實現高效計算的挑戰進行了研究。