標(biāo)簽：表征

神經(jīng)網(wǎng)絡(luò)架構(gòu)「殊途同歸」？ICML 2024論文：模型不同，但學(xué)習(xí)內(nèi)容相同

新智元報道編輯：喬楊 【新智元導(dǎo)讀】深度神經(jīng)網(wǎng)絡(luò)有多種規(guī)模和架構(gòu)，大家普遍認(rèn)為這會影響到模型學(xué)習(xí)到的抽象表示。然而，UCL兩位學(xué)者發(fā)表在ICML 2024上第一...
閱讀原文

Llama也能做圖像生成！港大字節(jié)推出開源自回歸文生圖模型，在線體驗已開放

LlamaGen團(tuán)隊 投稿量子位 | 公眾號 QbitAI只需Image Tokenizer，Llama也能做圖像生成了，而且效果超過了擴(kuò)散模型。 來自港大和字節(jié)的研究人員，提出了基于自...
閱讀原文

CVPR'24收錄！利用技能學(xué)習(xí)的擴(kuò)散策略實現(xiàn)層次化機(jī)器人軌跡生成 | 港大梁志烜博士講座預(yù)告

「智猩猩AI新青年講座」由智猩猩出品，致力于邀請青年學(xué)者，主講他們在生成式AI、LLM、AI Agent、CV等人工智能領(lǐng)域的最新重要研究成果。 AI新青年是加速人工...
閱讀原文

LeCun謝賽寧首發(fā)全新視覺多模態(tài)模型，等效1000張A100干翻GPT-4V

新智元報道編輯：編輯部 【新智元導(dǎo)讀】近日，LeCun和謝賽寧等大佬，共同提出了這一種全新的SOTA MLLM——Cambrian-1。開創(chuàng)了以視覺為中心的方法來設(shè)計多模態(tài)模...
閱讀原文

ICML 2024 | 信號表征指數(shù)級強(qiáng)、內(nèi)存節(jié)省超35%，量子隱式表征網(wǎng)絡(luò)來了

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

今日arXiv最熱大模型論文：大模型對齊告別微調(diào)，直接編輯表征空間即可解決

夕小瑤科技說 原創(chuàng)作者 | Richard人工智能技術(shù)正在飛速發(fā)展，尤其是大語言模型在自然語言處理領(lǐng)域取得了令人矚目的成就。但同時，我們也面臨著如何讓語言模型...
閱讀原文

語言≠思維，大模型學(xué)不了推理：一篇Nature讓AI社區(qū)炸鍋了

機(jī)器之心報道 機(jī)器之心編輯部方向完全搞錯了？大語言模型（LLM）為什么空間智能不足，GPT-4 為什么用語言以外的數(shù)據(jù)訓(xùn)練，就能變得更聰明？現(xiàn)在這些問題有 「...
閱讀原文

ICML 2024 Oral｜外部引導(dǎo)的深度聚類新范式

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

多模態(tài)大模型不夠靈活，谷歌DeepMind創(chuàng)新架構(gòu)Zipper：分開訓(xùn)練再「壓縮」

機(jī)器之心報道 編輯：蛋醬最近的一系列研究表明，純解碼器生成模型可以通過訓(xùn)練利用下一個 token 預(yù)測生成有用的表征，從而成功地生成多種模態(tài)（如音頻、圖像...
閱讀原文

只需單卡RTX 3090，低比特量化訓(xùn)練就能實現(xiàn)LLaMA-3 8B全參微調(diào)

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

從Claude 3中提取數(shù)百萬特征，首次詳細(xì)理解大模型的「思維」

機(jī)器之心報道 編輯：陳萍、小舟剛剛，Anthropic 宣布在理解人工智能模型內(nèi)部運作機(jī)制方面取得重大進(jìn)展。Anthropic 已經(jīng)確定了如何在 Claude Sonnet 中表征數(shù)...
閱讀原文

Ilya離職后第一個動作：點贊了這篇論文，網(wǎng)友搶著傳看

西風(fēng) 發(fā)自 凹非寺量子位 | 公眾號 QbitAI自Ilya Sutskever官宣離職OpenAI后，他的下一步動作成了大家關(guān)注焦點。 甚至有人密切關(guān)注著他的一舉一動。 這不，Ily...
閱讀原文

KAN網(wǎng)絡(luò)技術(shù)最全解析——最熱KAN能否干掉MLP和Transformer？

導(dǎo)讀本文來自知乎，已獲授權(quán)，作者為陳巍博士。本文對KAN網(wǎng)絡(luò)進(jìn)行了深入解析，涉及KAN網(wǎng)絡(luò)的基本思路、架構(gòu)與縮放、可解釋性。 陳巍博士，千芯科技董事長，曾...
閱讀原文

小模型性能飽和、表現(xiàn)不佳，根源是因為Softmax?

機(jī)器之心報道 編輯：陳萍小語言模型的出現(xiàn)是為彌補大語言模型的訓(xùn)練、推理等成本昂貴的缺點，但其自身也存在訓(xùn)練到某個階段后性能下降的事實 (飽和現(xiàn)象)，那...
閱讀原文

AI信任危機(jī)之后，揭秘預(yù)訓(xùn)練如何塑造機(jī)器的「可信靈魂」

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文