標簽:位置

LongRoPE:超越極限,將大模型上下文窗口擴展超過200萬tokens

大數據文摘受權轉載自微軟亞洲研究院 編者按:大模型的飛速發展給人們的生活帶來了前所未有的便利。我們是否能夠設想利用大模型的潛力,快速掃描整部百科全書...
閱讀原文

上海交大新框架解鎖CLIP長文本能力,多模態生成細節拿捏,圖像檢索能力顯著提升

白交 發自 凹非寺量子位 | 公眾號 QbitAICLIP長文本能力被解鎖,圖像檢索任務表現顯著提升! 一些關鍵細節也能被捕捉到。上海交大聯合上海AI實驗室提出新框架...
閱讀原文

帶攝像頭的 AirPods,蘋果會怎么做出來?

放飛創意 大膽探索蘋果對智能產品的設計,正在放飛自我。 根據彭博社記者 Mark Gurman 的爆料,蘋果在「未來設備」的規劃里,有兩個大膽的想法: 一是帶有屏...
閱讀原文

一覽大模型長文本能力

智猩猩和智東西發起主辦的2024中國生成式AI大會將于4月18-19日在北京舉辦。主會場將進行開幕式、大模型專場、AI Infra專場和AIGC應用專場;分會場將進行具身...
閱讀原文

Transformer的無限之路:位置編碼視角下的長度外推綜述

機器之心專欄 機器之心編輯部在自然語言處理(Natural Language Processing,NLP)領域,Transformer 模型因其在序列建模中的卓越性能而受到廣泛關注。然而,...
閱讀原文

首創pix2emb范式!NUS清華聯合發布NExT-Chat:對話/檢測/分割全能多模態大模型

新智元報道編輯:LRS 好困 【新智元導讀】研究人員提出了一個全新的位置建模方式pix2emb,可以在多模態對話模型中指定位置輸入來回答問題。隨著ChatGPT的爆紅...
閱讀原文

大模型都會標注圖像了,簡單對話即可!來自清華&NUS

張傲 投稿量子位 | 公眾號 QbitAI多模態大模型集成了檢測分割模塊后,摳圖變得更簡單了! 只需用自然語言描述需求,模型就能分分鐘標注出要尋找的物體,并做...
閱讀原文

AI繪圖模型不會寫字的難題,被阿里了

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI能準確寫漢字的AI繪圖工具,終于登場了! 包括中文在內一共支持四種語言,而且還能文字的位置還能任意指定。 從此...
閱讀原文

人大高瓴提出“注意力波”方法,70 億參數 Llama 比肩 GPT-4

夕小瑤科技說 原創作者 | 智商掉了一地、python最近,隨著大型語言模型(LLM)在人機交互、多模態任務和語言應用等領域的廣泛應用,研究者們紛紛致力于提升這...
閱讀原文

孩子喜歡飛機,于是我給她做了一個雷達

大數據文摘出品作者:Caleb今年夏天,我計劃帶著我的孩子出國。她很興奮。在此之前,我和妻子決定大肆宣傳一下這次的飛行之旅,主要是為了確保女兒能安穩地度...
閱讀原文

GPT、Llama等大模型存在「逆轉詛咒」,這個bug該如何緩解?

機器之心專欄作者:呂昂,張凱翼,解曙方,涂權,陳雨涵,文繼榮,嚴睿中國人民大學我們是否正在掉入中等智能陷阱?一個關于大語言模型 “逆轉詛咒” 的分析與...
閱讀原文

自注意力推理缺陷的奧秘,螞蟻自研新一代Transformer或實現無損外推

機器之心專欄作者:螞蟻人工智能團隊隨著大語言模型的快速發展,其長度外推能力(length extrapolating)正日益受到研究者的關注。盡管這在 Transformer 誕生...
閱讀原文

LLaMA2上下文長度暴漲至100萬tokens,只需調整1個超參數|復旦邱錫鵬團隊出品

蕭簫 發自 凹非寺量子位 | 公眾號 QbitAI只需微調一下,大模型支持上下文大小就能從1.6萬tokens延長至100萬?!還是在只有70億參數的LLaMA 2上。要知道,即使...
閱讀原文

最強LLaMA突然來襲!只改一個超參數,實現上下文3.2萬token,多個任務打敗ChatGPT、Claude 2

明敏 豐色 發自 凹非寺量子位 | 公眾號 QbitAI悄無聲息,羊駝家族“最強版”來了!與GPT-4持平,上下文長度達3.2萬token的LLaMA 2 Long,正式登場。在性能上全...
閱讀原文

韓國科學技術院最新成果:調動全身感官,機器狗也能在做中學

大數據文摘授權轉載自機器人大講堂作者:bilibili鐵山靠作為一種來自傳統武術的動作,主要是通過肩和胯來發力,在實際使用中往往可以爆發出驚人的力量……要是...
閱讀原文
123