機器之心報道 編輯：澤南谷歌表示，Gemini 1.5 相比 Claude 3.0和 GPT-4 Turbo 實現了代際提升。 今年 2 月，谷歌上線了多模態大模型 Gemini1.5，通過工程和...

機器之心報道 編輯：澤南、陳萍谷歌之后，Meta 也來卷無限長上下文。Transformers 的二次復雜度和弱長度外推限制了它們擴展到長序列的能力，雖然存在線性注意...

點擊上方藍字關注我們“AI21 Labs推出Jamba，一種結合SSM與transformers的新AI模型，旨在提高處理長上下文的效率。Jamba在特定推理任務上超越傳統模型，盡管在...

機器之心報道 編輯：小舟Mamba 時代來了？ 自 2017 年開創性研究論文《Attention is All You Need》問世以來，transformer 架構就一直主導著生成式人工智能領...

機器之心報道 編輯：澤南馬斯克搞大模型，速度也奇快。 Grok 1 開源才剛有 10 天，Grok 1.5 就來了。本周五早上，馬斯克旗下的人工智能公司 xAI 正式推出了 G...

新智元報道編輯：編輯部 【新智元導讀】52B的生產級Mamba大模型來了！這個超強變體Jamba剛剛打破世界紀錄，它能正面硬剛Transformer，256K超長上下文窗口，吞...

點擊上方藍字關注我們“Rutgers University的研究團隊提出了AIOS，一種創新的大型語言模型（LLM）代理操作系統，旨在解決智能代理在資源調度、上下文維護和異...

夕小瑤科技說 原創作者 | 芒果 引言：大語言模型的長上下文理解能力在當今的人工智能領域，大語言模型（Large Language Models，簡稱LLMs）的長上下文理解能...

機器之心報道 機器之心編輯部RAG 還有存在的必要嗎？要說最近最郁悶的公司，谷歌肯定算得上一個：自家的 Gemini 1.5 剛剛發布，就被 OpenAI 的 Sora 搶盡了風...

夕小瑤科技說 原創作者 | Tscom、Python引言：探索語言模型的長上下文能力近日，谷歌推出了Gemini Pro 1.5，將上下文窗口長度擴展到100萬個tokens，目前領先...

大數據文摘受權轉載自將門創投 現階段，上下文窗口長度基本上成為了評估LLM能力的硬性指標，上下文的長度越長，代表大模型能夠接受的用戶要求越復雜，近期Ope...

夕小瑤科技說 原創編輯 | 謝年年隨著LLMs的發展，其支持的上下文長度越來越長。僅一年時間，GPT-4就從一開始的4K、8K拓展到了128k。 128k什么概念？相當于一...

機器之心報道 編輯：rome rome作者重點關注了基于 Transformer 的 LLM 模型體系結構在從預訓練到推理的所有階段中優化長上下文能力的進展。 ChatGPT 的誕生，...

豐色 發自 凹非寺量子位 | 公眾號 QbitAI這兩天，FlashAttention團隊推出了新作：一種給Transformer架構大模型推理加速的新方法，最高可提速8倍。該方法尤其...

機器之心報道編輯：Panda W在處理長上下文方面，LLaMA 一直力有不足，而通過持續預訓練和其它一些方法改進，Meta 的這項研究成功讓 LLM 具備了有效理解上下文...