標(biāo)簽:位置

LongRoPE:超越極限,將大模型上下文窗口擴(kuò)展超過200萬tokens

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自微軟亞洲研究院 編者按:大模型的飛速發(fā)展給人們的生活帶來了前所未有的便利。我們是否能夠設(shè)想利用大模型的潛力,快速掃描整部百科全書...
閱讀原文

上海交大新框架解鎖CLIP長文本能力,多模態(tài)生成細(xì)節(jié)拿捏,圖像檢索能力顯著提升

白交 發(fā)自 凹非寺量子位 | 公眾號 QbitAICLIP長文本能力被解鎖,圖像檢索任務(wù)表現(xiàn)顯著提升! 一些關(guān)鍵細(xì)節(jié)也能被捕捉到。上海交大聯(lián)合上海AI實(shí)驗(yàn)室提出新框架...
閱讀原文

帶攝像頭的 AirPods,蘋果會怎么做出來?

放飛創(chuàng)意 大膽探索蘋果對智能產(chǎn)品的設(shè)計(jì),正在放飛自我。 根據(jù)彭博社記者 Mark Gurman 的爆料,蘋果在「未來設(shè)備」的規(guī)劃里,有兩個(gè)大膽的想法: 一是帶有屏...
閱讀原文

一覽大模型長文本能力

智猩猩和智東西發(fā)起主辦的2024中國生成式AI大會將于4月18-19日在北京舉辦。主會場將進(jìn)行開幕式、大模型專場、AI Infra專場和AIGC應(yīng)用專場;分會場將進(jìn)行具身...
閱讀原文

Transformer的無限之路:位置編碼視角下的長度外推綜述

機(jī)器之心專欄 機(jī)器之心編輯部在自然語言處理(Natural Language Processing,NLP)領(lǐng)域,Transformer 模型因其在序列建模中的卓越性能而受到廣泛關(guān)注。然而,...
閱讀原文

首創(chuàng)pix2emb范式!NUS清華聯(lián)合發(fā)布NExT-Chat:對話/檢測/分割全能多模態(tài)大模型

新智元報(bào)道編輯:LRS 好困 【新智元導(dǎo)讀】研究人員提出了一個(gè)全新的位置建模方式pix2emb,可以在多模態(tài)對話模型中指定位置輸入來回答問題。隨著ChatGPT的爆紅...
閱讀原文

大模型都會標(biāo)注圖像了,簡單對話即可!來自清華&NUS

張傲 投稿量子位 | 公眾號 QbitAI多模態(tài)大模型集成了檢測分割模塊后,摳圖變得更簡單了! 只需用自然語言描述需求,模型就能分分鐘標(biāo)注出要尋找的物體,并做...
閱讀原文

AI繪圖模型不會寫字的難題,被阿里了

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI能準(zhǔn)確寫漢字的AI繪圖工具,終于登場了! 包括中文在內(nèi)一共支持四種語言,而且還能文字的位置還能任意指定。 從此...
閱讀原文

人大高瓴提出“注意力波”方法,70 億參數(shù) Llama 比肩 GPT-4

夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、python最近,隨著大型語言模型(LLM)在人機(jī)交互、多模態(tài)任務(wù)和語言應(yīng)用等領(lǐng)域的廣泛應(yīng)用,研究者們紛紛致力于提升這...
閱讀原文

孩子喜歡飛機(jī),于是我給她做了一個(gè)雷達(dá)

大數(shù)據(jù)文摘出品作者:Caleb今年夏天,我計(jì)劃帶著我的孩子出國。她很興奮。在此之前,我和妻子決定大肆宣傳一下這次的飛行之旅,主要是為了確保女兒能安穩(wěn)地度...
閱讀原文

GPT、Llama等大模型存在「逆轉(zhuǎn)詛咒」,這個(gè)bug該如何緩解?

機(jī)器之心專欄作者:呂昂,張凱翼,解曙方,涂權(quán),陳雨涵,文繼榮,嚴(yán)睿中國人民大學(xué)我們是否正在掉入中等智能陷阱?一個(gè)關(guān)于大語言模型 “逆轉(zhuǎn)詛咒” 的分析與...
閱讀原文

自注意力推理缺陷的奧秘,螞蟻?zhàn)匝行乱淮鶷ransformer或?qū)崿F(xiàn)無損外推

機(jī)器之心專欄作者:螞蟻人工智能團(tuán)隊(duì)隨著大語言模型的快速發(fā)展,其長度外推能力(length extrapolating)正日益受到研究者的關(guān)注。盡管這在 Transformer 誕生...
閱讀原文

LLaMA2上下文長度暴漲至100萬tokens,只需調(diào)整1個(gè)超參數(shù)|復(fù)旦邱錫鵬團(tuán)隊(duì)出品

蕭簫 發(fā)自 凹非寺量子位 | 公眾號 QbitAI只需微調(diào)一下,大模型支持上下文大小就能從1.6萬tokens延長至100萬?!還是在只有70億參數(shù)的LLaMA 2上。要知道,即使...
閱讀原文

最強(qiáng)LLaMA突然來襲!只改一個(gè)超參數(shù),實(shí)現(xiàn)上下文3.2萬token,多個(gè)任務(wù)打敗ChatGPT、Claude 2

明敏 豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI悄無聲息,羊駝家族“最強(qiáng)版”來了!與GPT-4持平,上下文長度達(dá)3.2萬token的LLaMA 2 Long,正式登場。在性能上全...
閱讀原文

韓國科學(xué)技術(shù)院最新成果:調(diào)動全身感官,機(jī)器狗也能在做中學(xué)

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自機(jī)器人大講堂作者:bilibili鐵山靠作為一種來自傳統(tǒng)武術(shù)的動作,主要是通過肩和胯來發(fā)力,在實(shí)際使用中往往可以爆發(fā)出驚人的力量……要是...
閱讀原文
123