標(biāo)簽：上下文

作者：李寶珠 & 十九 編輯：三羊 谷歌的對(duì)手可能并非 OpenAI，而是 OpenAI 背后的微軟。3 月中旬，谷歌宣布 Google I/O 定檔北京時(shí)間 5 月 15 日凌晨 1 ...

夕小瑤科技說(shuō) 原創(chuàng)作者 | 謝年年LLMs已經(jīng)進(jìn)入了長(zhǎng)序列時(shí)代。眾多的LLMs已經(jīng)發(fā)布支持從32K到2M tokens的長(zhǎng)序列窗口。 不過(guò)，面對(duì)如此龐大的輸入，我們不禁要問(wèn)...

夕小瑤科技說(shuō) 原創(chuàng)作者 | Axe_越當(dāng)我還是一位懵懂少年的時(shí)候，總認(rèn)為“任務(wù)難度”，“參數(shù)規(guī)模”和“準(zhǔn)確率”是一個(gè)不可兼顧的三角，比如當(dāng)我想要挑戰(zhàn)更難的任務(wù)，...

夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI堂堂開(kāi)源之王Llama 3，原版上下文窗口居然只有……8k，讓到嘴邊的一句“真香”又咽回去了。? 在32k起步，100k尋常的今天...

新智元報(bào)道編輯：LRS 【新智元導(dǎo)讀】LongRoPE方法首次將LLM的窗口擴(kuò)展到了2048k個(gè)token，只是簡(jiǎn)單微調(diào)的情況下，就能實(shí)現(xiàn)與短上下文窗口相近的性能！大型語(yǔ)言...

夕小瑤科技說(shuō) 原創(chuàng)作者 | 任同學(xué)檢索頭的發(fā)現(xiàn)或許將有力地幫助大模型領(lǐng)域在提高長(zhǎng)上下文推理能力、減少幻覺(jué)和壓縮KV緩存方面的研究。 從 Claude100K 到 Gemin...

作者 | KEN KANTZER 譯者 | 平川 策劃 | 褚杏娟 本文最初發(fā)布于 KEN KANTZER 的個(gè)人博客。 在過(guò)去的六個(gè)月里，我的創(chuàng)業(yè)公司 Truss（gettruss.io）發(fā)布了多項(xiàng)...

機(jī)器之心報(bào)道 機(jī)器之心編輯部ChatGPT 正確的使用姿勢(shì)。 自 ChatGPT 問(wèn)世以來(lái)，OpenAI 一直被認(rèn)為是全球生成式大模型的領(lǐng)導(dǎo)者。2023 年 3 月，OpenAI 官方宣布...

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自微軟亞洲研究院 編者按：大模型的飛速發(fā)展給人們的生活帶來(lái)了前所未有的便利。我們是否能夠設(shè)想利用大模型的潛力，快速掃描整部百科全書(shū)...

機(jī)器之心報(bào)道 編輯：澤南、陳萍谷歌之后，Meta 也來(lái)卷無(wú)限長(zhǎng)上下文。Transformers 的二次復(fù)雜度和弱長(zhǎng)度外推限制了它們擴(kuò)展到長(zhǎng)序列的能力，雖然存在線性注意...

新智元報(bào)道編輯：桃子 好困 【新智元導(dǎo)讀】Transformer王座即將被取而代之！Meta、USC、CMU和UCSD聯(lián)合提出了革命性新架構(gòu)Megalodon，能夠處理無(wú)限上下文，在2...

4月18-19日，由智猩猩與智東西共同主辦的2024中國(guó)生成式AI大會(huì)將在北京JW萬(wàn)豪酒店舉行。大會(huì)完整議程出爐，55位嘉賓出席！免費(fèi)票申請(qǐng)通道即將關(guān)閉，大會(huì)通票...

機(jī)器之心報(bào)道 編輯：小舟、陳萍不知 Gemini 1.5 Pro 是否用到了這項(xiàng)技術(shù)。 谷歌又放大招了，發(fā)布下一代 Transformer 模型 Infini-Transformer。 Infini-Trans...

新智元報(bào)道編輯：編輯部 【新智元導(dǎo)讀】初創(chuàng)團(tuán)隊(duì)Mistral AI再次放出一條磁力鏈，281GB文件解禁了最新的8x22B MoE模型。一條磁力鏈，Mistral AI又來(lái)悶聲不響搞...

機(jī)器之心報(bào)道 機(jī)器之心編輯部這次，谷歌要憑「量」打敗其他競(jìng)爭(zhēng)對(duì)手。 當(dāng)?shù)貢r(shí)間本周二，谷歌在 Google’s Cloud Next 2024 上發(fā)布了一系列 AI 相關(guān)的模型更新...