清華系細胞大模型登Nature子刊！能對人類2萬基因同時建模，代碼已開源

AIGC動態(tài)歡迎閱讀

原標題：清華系細胞大模型登Nature子刊！能對人類2萬基因同時建模，代碼已開源
關鍵字：模型,細胞,基因,單細胞,任務
文章來源：量子位
內容字數(shù)：0字

內容摘要：

白交 發(fā)自 凹非寺量子位 | 公眾號 QbitAI生命科學領域的基礎大模型來了！
來自清華、百圖生科的團隊提出的單細胞基礎大模型scFoundation，登上Nature Methods。
該模型基于5000萬人類單細胞測序的數(shù)據(jù)進行訓練，擁有1億參數(shù)，能夠同時處理約20000個基因。
團隊在模型架構上進行了創(chuàng)新，相同參數(shù)量下計算時間是傳統(tǒng)Transformer架構的3%左右。相關研究成果也被NeurIPS2024接收。
清華大學自動化系博士研究生郝敏升為該論文的第一作者。清華大學張學工教授，馬劍竹教授，百圖生科宋樂教授為通訊作者。
作為基礎模型，它在細胞測序深度增強、細胞藥物響應預測和細胞擾動預測等下游任務中表現(xiàn)出卓越的性能提升，并為基因網(wǎng)絡推斷和轉錄因子識別提供了新的研究思路。
細胞基礎大模型登Nature子刊通過在大規(guī)模語料庫上的訓練，大模型才具備了基本的語言理解和識別能力。
在生命科學領域，細胞可以被視為擁有自身“語言”的基本結構和功能單元，由DNA序列、蛋白質和基因表達值等構成無數(shù)“詞語”的“句子”。
那么隨之而來的問題是：
能否基于大量細胞的“句子”來開發(fā)細胞的基礎模型？

原文鏈接：清華系細胞大模型登Nature子刊！能對人類2萬基因同時建模，代碼已開源

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業(yè)新突破