標(biāo)簽：序列

AlphaFold 3不開源，統(tǒng)一生物語言大模型阿里云先開了！

西風(fēng) 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI把169861個(gè)生物物種數(shù)據(jù)裝進(jìn)大模型，大模型竟get到了生物中心法則的奧秘—— 不僅能識(shí)別DNA、RNA與相應(yīng)蛋白質(zhì)之間的內(nèi)...
閱讀原文

圖靈獎(jiǎng)得主Bengio等人新作：注意力可被視為RNN，新模型媲美Transformer，但超級(jí)省內(nèi)存

來源：機(jī)器之心 機(jī)器之心編輯部既能像 Transformer 一樣并行訓(xùn)練，推理時(shí)內(nèi)存需求又不隨 token 數(shù)線性遞增，長(zhǎng)上下文又有新思路了？序列建模的進(jìn)展具有極大的...
閱讀原文

Transformer大殺器進(jìn)入蛋白質(zhì)組學(xué)，一文梳理LLM如何助力生命科學(xué)領(lǐng)域大變革

新智元報(bào)道編輯：庸庸 喬楊 【新智元導(dǎo)讀】科學(xué)家們把Transformer模型應(yīng)用到蛋白質(zhì)序列數(shù)據(jù)中，試圖在蛋白質(zhì)組學(xué)領(lǐng)域復(fù)制LLM的成功。本篇文章能夠帶你了解蛋...
閱讀原文

Bengio等人新作：注意力可被視為RNN，新模型媲美Transformer，但超級(jí)省內(nèi)存

機(jī)器之心報(bào)道 機(jī)器之心編輯部既能像 Transformer 一樣并行訓(xùn)練，推理時(shí)內(nèi)存需求又不隨 token 數(shù)線性遞增，長(zhǎng)上下文又有新思路了？序列建模的進(jìn)展具有極大的影...
閱讀原文

單模型斬獲「蛋白質(zhì)突變預(yù)測(cè)」榜一！西湖大學(xué)提出基于結(jié)構(gòu)詞表方法 | ICLR 2024 Spotlight

新智元報(bào)道編輯：LRS 【新智元導(dǎo)讀】Saprot在proteingym蛋白質(zhì)突變預(yù)測(cè)任務(wù)公開基準(zhǔn)榜（由牛津大學(xué)計(jì)算機(jī)與哈佛醫(yī)學(xué)院設(shè)立）排名第一。相比，其他排名靠前的...
閱讀原文

GPT模型的前世今生

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自數(shù)據(jù)派THU 作者：李媛媛 1 GPT模型概述 GPT模型，全稱Generative Pre-trained Transformer，由OpenAI團(tuán)隊(duì)開發(fā)，是一種基于深度學(xué)習(xí)的自...
閱讀原文

多功能RNA分析，百度團(tuán)隊(duì)基于Transformer的RNA語言模型登Nature子刊

將 ScienceAI設(shè)為星標(biāo) 第一時(shí)間掌握 新鮮的 AI for Science 資訊編輯 | 蘿卜芯 預(yù)訓(xùn)練語言模型在分析核苷酸序列方面顯示出了良好的前景，但使用單個(gè)預(yù)訓(xùn)練權(quán)...
閱讀原文

ICML 2024 | 大語言模型預(yù)訓(xùn)練新前沿：「最佳適配打包」重塑文檔處理標(biāo)準(zhǔn)

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

思維鏈不存在了？紐約大學(xué)最新研究：推理步驟可「省略」

新智元報(bào)道編輯：alan 【新智元導(dǎo)讀】思維鏈技術(shù)，可能要被推翻了！來自紐約大學(xué)的最新研究表明：大模型并沒有利用思維鏈的推理能力，它只是偷偷加了計(jì)算！紅...
閱讀原文

AlphaFold 3輕松應(yīng)對(duì)核酸、脂類分子？科學(xué)家迫不及待地更新了評(píng)測(cè)

將 ScienceAI設(shè)為星標(biāo) 第一時(shí)間掌握 新鮮的 AI for Science 資訊編輯 | 蘿卜皮 「如果這可以重現(xiàn)的話，這就是我們所知的世界末日！功能建模的新時(shí)代已經(jīng)開始...
閱讀原文

3倍生成速度還降內(nèi)存成本，超越Medusa2的高效解碼框架終于來了

機(jī)器之心報(bào)道 編輯：亞鸝高效解碼n -token序列，CLLMs+Jacobi解碼框架。?????? 傳統(tǒng)上，大型語言模型（LLMs）被認(rèn)為是順序解碼器，逐個(gè)解碼每個(gè)token。 來自...
閱讀原文

拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3

新智元報(bào)道編輯：?jiǎn)虠?好困 【新智元導(dǎo)讀】來自加州大學(xué)圣地亞哥分校和上海交通大學(xué)的幾位研究者發(fā)表了他們關(guān)于「一致性大語言模型」的研究成果（Consistency...
閱讀原文

Transformer來了：一篇新的論文轟動(dòng)網(wǎng)絡(luò)，它為什么這么厲害？

點(diǎn)擊上方藍(lán)字關(guān)注我們?cè)谌斯ぶ悄艿氖澜缋?，每一次技術(shù)的飛躍都讓我們離真正的智能更近一步。最近，LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）的發(fā)明者們發(fā)布了一篇新論文，介紹...
閱讀原文

30篇論文，就能掌握當(dāng)今科技90%的知識(shí)！ILYA公布神級(jí)論文清單(上）

點(diǎn)擊上方藍(lán)字關(guān)注我們“Ilya Sutskever向John Carmack推薦了一份精選的閱讀清單，內(nèi)含約30篇尖端的研究論文。這份清單不僅僅是學(xué)術(shù)文獻(xiàn)的簡(jiǎn)單羅列，它被賦予了...
閱讀原文

讓機(jī)器準(zhǔn)確「看懂」手物交互動(dòng)作，清華大學(xué)等提出GeneOH Diffusion方法

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文
1…34567…11