西風 發自 凹非寺量子位 | 公眾號 QbitAI無情戳穿“長上下文”大模型的虛標現象—— 英偉達新研究發現，包括GPT-4在內的10個大模型，生成達到128k甚至1M上下文長...

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI比斯坦福DPO（直接偏好優化）更簡單的RLHF平替來了，來自陳丹琦團隊。 該方式在多項測試中性能都遠超DPO，還能讓8B...

機器之心報道 編輯：Panda為了將大型語言模型（LLM）與人類的價值和意圖對齊，學習人類反饋至關重要，這能確保它們是有用的、誠實的和無害的。在對齊 LLM 方...

新智元報道編輯：LRS 【新智元導讀】LongRoPE方法首次將LLM的窗口擴展到了2048k個token，只是簡單微調的情況下，就能實現與短上下文窗口相近的性能！大型語言...

大數據文摘受權轉載自微軟亞洲研究院 編者按：大模型的飛速發展給人們的生活帶來了前所未有的便利。我們是否能夠設想利用大模型的潛力，快速掃描整部百科全書...

來源：AI科技評論 作者：張進（ AI科技評論） 2017年谷歌發表的論文《Attention Is All You Need》成為當下人工智能的一篇圣經，此后席卷全球的人工智能熱潮...

智猩猩與智東西將于4月18-19日在北京共同舉辦2024中國生成式AI大會，阿里巴巴通義千問大模型技術負責人周暢，「清華系Sora」生數科技CEO唐家渝，云天勵飛“云...

非 Transformer 面臨的共同考驗依然是證明自己的天花板有多高。作者丨張進 編輯丨陳彩嫻 2017年谷歌發表的論文《Attention Is All You Need》成為當下人工智...

機器之心報道 編輯：蛋醬、澤南在 ChatGPT API 中，系統提示是一項很有亮點的功能，它允許開發人員控制 LLM 輸出的「角色」，包括特殊規則和限制。系統提示中...

克雷西 發自 凹非寺量子位 | 公眾號 QbitAIOpenAI和馬斯克爭得不可開交，卻無意間揭示了Claude 3的新技能。 因為網友吃瓜的心可不只用在了事情本身，就連郵件...

夕小瑤科技說 原創作者 | 芒果 引言：大語言模型的長上下文理解能力在當今的人工智能領域，大語言模型（Large Language Models，簡稱LLMs）的長上下文理解能...

西風 發自 凹非寺量子位 | 公眾號 QbitAI谷歌剛刷新大模型上下文窗口長度記錄，發布支持100萬token的Gemini 1.5，微軟就來砸場子了。 推出大模型上下文窗口拉...

夕小瑤科技說 原創作者 | Tscom、Python引言：探索語言模型的長上下文能力近日，谷歌推出了Gemini Pro 1.5，將上下文窗口長度擴展到100萬個tokens，目前領先...

機器之心報道 編輯：陳萍、小舟模型參數量只有 137M，5 天就能訓練好。一周前，OpenAI 給廣大用戶發放福利，在下場修復 GPT-4 變懶的問題后，還順道上新了 5 ...

機器之心報道 編輯：張倩、蛋醬基于 Mamba 的創新正不斷涌現，但原論文卻被 ICLR 放到了「待定區」。 2023 年，Transformer 在 AI 大模型領域的統治地位被撼...