標(biāo)簽：語(yǔ)言

字節(jié)跳動(dòng)李航：對(duì)語(yǔ)言大模型的若干觀察和思考

機(jī)器之心專欄作者：ByteDance Research負(fù)責(zé)人李航本文闡述筆者對(duì) LLM 的一些看法，主要觀點(diǎn)如下：ChatGPT 的突破主要在于規(guī)模帶來的質(zhì)變和模型調(diào)教方式的發(fā)明...
閱讀原文

強(qiáng)化學(xué)習(xí)與視覺語(yǔ)言模型之間的碰撞，UC伯克利提出語(yǔ)言獎(jiǎng)勵(lì)調(diào)節(jié)LAMP框架

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自將門創(chuàng)投作者：seven_在強(qiáng)化學(xué)習(xí)（RL）領(lǐng)域，一個(gè)重要的研究方向是如何巧妙的設(shè)計(jì)模型的獎(jiǎng)勵(lì)機(jī)制，傳統(tǒng)的方式是設(shè)計(jì)手工獎(jiǎng)勵(lì)函數(shù)，并根...
閱讀原文

開源標(biāo)桿！最強(qiáng)中英雙語(yǔ)大模型來了，340億參數(shù)，超越 Llama2-70B等所有開源模型

金磊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI開源界最強(qiáng)的中英雙語(yǔ)大模型，悟道·天鷹 34B，來了！有多強(qiáng)？一言蔽之：中英綜合能力、邏輯推理能力等，全面超越 Lla...
閱讀原文

智源扔出大模型“全家桶”！推最強(qiáng)開源中英雙語(yǔ)LLM，趕超Llama 2

智源推最強(qiáng)開源中英雙語(yǔ)大模型！340億參數(shù)超越Llama 2-70B。編輯|luna智東西10月12日?qǐng)?bào)道，今日，智源研究院宣布悟道·天鷹Aquila大語(yǔ)言模型系列全面升級(jí)到Aqu...
閱讀原文

在圖像、視頻生成上，語(yǔ)言模型首次擊敗擴(kuò)散模型，tokenizer是關(guān)鍵

機(jī)器之心報(bào)道編輯：張倩、陳萍為什么語(yǔ)言模型在視覺生成方面落后于擴(kuò)散模型？來自谷歌、CMU 的研究表明，tokenizer 是關(guān)鍵。大型語(yǔ)言模型（LLM 或 LM）一開始...
閱讀原文

挑戰(zhàn)GPT-4V！清華唐杰&智譜開源多模態(tài)14邊形戰(zhàn)士，在線可玩

夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI看看這張圖中有幾個(gè)房子？如果你回答3個(gè)，就和GPT-4V的答案一樣。但是最新開源的國(guó)產(chǎn)多模態(tài)模型CogVLM-17B，就能看出...
閱讀原文

兩行代碼解決大語(yǔ)言模型對(duì)話局限！港中文賈佳亞團(tuán)隊(duì)聯(lián)合 MIT 發(fā)布超長(zhǎng)文本擴(kuò)展技術(shù)

代碼和Demo地址：https://github.com/dvlab-research/LongLoRA論文地址：https://arxiv.org/pdf/2309.12307.pdf中途迷失、模型偷懶、上下文越長(zhǎng)大模型越笨......
閱讀原文

Hugging Face 大語(yǔ)言模型優(yōu)化技術(shù)

作者 | Sergio De Simone 譯者 | 明知山 策劃 | 丁曉昀 大語(yǔ)言模型的生產(chǎn)部署存在兩個(gè)主要的挑戰(zhàn)，一個(gè)是需要大量的參數(shù)，一個(gè)是需要處理非常長(zhǎng)的用于表示上...
閱讀原文

賈佳亞團(tuán)隊(duì)開源全球首個(gè)70B長(zhǎng)文本大語(yǔ)言模型，讀論文看小說直接ProMax

金磊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI家人們，苦長(zhǎng)文本久矣的大語(yǔ)言模型（LLM），現(xiàn)在終于有解法了！就在最近，香港中文大學(xué)賈佳亞團(tuán)隊(duì)聯(lián)合MIT宣布了一項(xiàng)...
閱讀原文

76頁(yè)綜述+300余篇參考文獻(xiàn)，天大團(tuán)隊(duì)全面介紹大語(yǔ)言模型對(duì)齊技術(shù)

機(jī)器之心專欄作者：熊德意教授團(tuán)隊(duì)天大自然語(yǔ)言處理團(tuán)隊(duì)從更廣泛的 AI 對(duì)齊視角，審視大語(yǔ)言模型對(duì)齊技術(shù)，并從多個(gè)角度進(jìn)行深入討論。近日，天津大學(xué)熊德意...
閱讀原文

斯坦福NLP課程XCS224U視頻全部放出，干貨滿滿，速來聽講

機(jī)器之心報(bào)道編輯：大盤雞50 個(gè)視頻任君學(xué)習(xí)！從對(duì)話智能體到搜索查詢，自然語(yǔ)言理解（NLP）是當(dāng)今許多最令人興奮的技術(shù)的基礎(chǔ)。如何建立這些模型來高效、可...
閱讀原文

400萬token，大模型推理飆升22倍！清華校友爆火一作，GitHub狂攬1.8k星

新智元報(bào)道編輯：潤(rùn)【新智元導(dǎo)讀】大模型上下文限制不是事兒？大語(yǔ)言模型的上下文長(zhǎng)度限制從此不存在了？！Meta、MIT、CMU的研究者最近剛剛發(fā)表了一篇論文，...
閱讀原文

未來的人工智能語(yǔ)言，是 Rust 還是 Mojo ？

作者 | 張漢東本文轉(zhuǎn)載自 覺學(xué)社 公眾號(hào)原文地址：https://mp.weixin.qq.co...7ShPQKn10tTpHyw9 月 7 日，Modular 公司宣布正式發(fā)布 Mojo：Mojo 現(xiàn)在已經(jīng)開放...
閱讀原文

西交、清華等發(fā)布多模態(tài)大模型，有望成為「DALL·E 4」技術(shù)路線？和AI一起「白日作夢(mèng)」

新智元報(bào)道編輯：LRS【新智元導(dǎo)讀】DALL·E 3讓我們看到了生成+理解的大語(yǔ)言模型的魔力。就在其發(fā)布的同一天，國(guó)內(nèi)的一個(gè)新工作引起了社區(qū)的關(guān)注：DreamLLM。D...
閱讀原文

GPT-4太燒錢！微軟撐不住了，被曝悄悄啟動(dòng)Plan B

微軟撥上千塊GPU訓(xùn)練自研語(yǔ)言模型，或引入必應(yīng)聊天。?????????編譯|ZeR0編輯|漠影智東西9月27日消息，據(jù)The Information昨日?qǐng)?bào)道，微軟這廂高調(diào)將GPT-4融入自...
閱讀原文