LLM學習原子「結構語言」，生成未知化合物的晶體結構，登Nature子刊

來源：ScienceAI編輯：蘿卜皮生成合理的晶體結構通常是預測材料化學成分及其性質的第一步，但當前大多數預測方法計算成本高，制約了創新進程。通過使用優質生成的候選結構來預測晶體結構，可以突破這一瓶頸。在最新的研究中，英國雷丁大學（University of Reading）的研究人員介紹了 CrystaLLM，這是一種基于晶體學信息文件 (CIF) 格式的自回歸大型語言建模 (LLM) 的多功能晶體結構生成方法。CrystaLLM 經過數百萬個 CIF 文件的訓練，專注于通過文本對晶體結構進行建模，它可以為訓練中未涉及的各種無機化合物生成合理的晶體結構。這種方法挑戰了傳統的晶體表示，并展示了 LLM 學習有效晶體化學模型的潛力，這將加速材料科學的發現和創新。該研究以「Crystal structure generation with autoregressive large language modeling」為題，于 2024 年 12 月 6 日發布在《Nature Communications》。在材料科學的計算機輔助發現過程中，晶體結構預測（CSP）方法常用于探索化學系統中的新材料。這類方法旨在通過特定的物理條件推導出給定化學成分的基態晶體結構。CSP 通常依賴于高計算開銷的從頭計算技術，其中通過生成候選結構來優化搜索過程。隨著機器學習和數據科學技術的進步，生成模型，如自動編碼器和生成對抗網絡，已被應用于晶體結構的生成。雖然大語言模型（LLM）在自然語言處理和化學成分生成中取得了顯著成果，但是訓練 LLM 來生成晶體結構的文本表示仍然是一個相對較新的探索領域。CrystaLLM雷丁大學的研究團隊報告了專門為晶體生成而設計的 LLM —— CrystaLLM 。該模型專門針對無機晶體結構的文本表示進行訓練，特別是晶體學信息文件 (CIF) 格式，而不是僅僅依賴于自然語言語料庫或化學成分。Luis M. Antunes 在雷丁大學攻讀博士學位期間主導了這項研究，他說：「預測晶體結構就像解決一個復雜的多維拼圖，而拼圖碎片是隱藏的。預測晶體結構需要大量的計算能力來測試無數種可能的原子排列。」這種方法基于兩個猜想：首先，符號序列（即標記）是許多預測任務（包括涉及化學結構的任務）的適當表示方式。其次，LLM 不僅學習標記的條件概率分布，還可能通過自回歸預訓練學習一個有效的世界模型，即目標現象的因果過程。近期的研究表明，經過棋盤游戲訓練的 LLM 能夠追蹤棋盤狀態并表示領域特定的抽象概念。由此可推測，經過訓練的模型也許能學習晶體結構中隱含的化學性質，并借鑒原子世界的模型生成未知結構。CrystaLLM 是一個基于 Transformer 的 CIF 文件格式的解碼器專用語言模型，在數百萬個 CIF 文件的語料庫上進行自回歸訓練。該模型不是在從 CIF 文件得出的結構表示上進行訓練，而是直接在 CIF 文件的標準化和標記化文本內容上進行訓練。圖示：CIF 文件的大型語言建模。（來源：論文）在訓練期間，模型會從 CIF 文件語料庫中獲取一系列標記，并負責預測每個給定標記后面的標記。模型訓練完成后，便可用它來生成新的 CIF 文件，條件是某些起始標記序列。生成 CIF 文件涉及從模型中反復采樣標記，并對累積的生成內容進行調節，直到達到終止條件。經測試，CrystaLLM 成功生成了逼真的晶體結構，甚至對于以前從未見過的材料也是如此。目前的晶體結構生成方法通常依賴預定義模板，在空間群約束下通過程序化或機器學習輔助的原子替換和晶胞調整來生成結構，并通過調整替換概率和范圍來提高結構多樣性。與此不同，CrystaLLM 通過自回歸訓練吸收隱式模板，自動選擇適合給定組合物的模板。圖示：各種無機化合物的生成結構。（來源：論文）此外，該模型還能自動調整晶胞參數，以適應晶胞中的原子，并根據訓練過程中未顯式遇到的模板生成新結構。與最近報道的基于擴散的晶體生成方法（如 CDVAE 和 DiffCSP）相比，CrystaLLM 不僅在多個方面優于現有基準，還在靈活性（如對稱性輸入）和微調潛力方面展現出額外優勢。「CrystaLLM 通過研究數百萬種已知的晶體結構來理解模式并預測新的模式，從而取得了突破，就像一個專業的解謎者，他能識別出獲勝的模式，而不是嘗試每一個可能的舉動。」Antunes 說。圖示：無條件生成的新結構。（來源：論文）局限性目前該方法仍有幾個局限性。首先，數據集中的任何結構都沒有位點占有無序性（分數位點占有率）。因此，CrystaLLM 無法生成無序結構，并且可能無法成功生成暗示無序結構的晶胞組成和空間群組合的結構。另一個限制是數據集的 CIF 文件并非全部使用同一級別的理論創建。訓練集來自使用不同設置、函數等的 DFT 源的組合，在某些情況下，這可能會使模型難以學習細胞組成和詳細結構之間的一致關系。未來工作盡管如此，研究人員表示，他們相信 CrystaLLM 將成為晶體結構生成的有用工具，晶體結構生成正迅速成為大規模材料發現和材料信息學的關鍵步驟。該團隊計劃探索微調模型以用于物理性質預測任務，例如預測晶格熱導率，因為實驗數據相對稀缺。該模型的架構使其能夠針對基于成分或基于結構的預測任務進行微調。這意味著 CrystaLLM 可能成為通用材料信息學模型的基礎，該模型可用于生成任務，并針對需要成分或結構的屬性預測任務進行微調。如果該模型能夠將其所學到的有關原子世界的知識轉移到這些各種預測問題中，那么它可能被證明是一種與材料化學的許多方面相關的相當靈活的工具。論文鏈接：https://www.nature.com/articles/s41467-024-54639-7相關內容：https://www.eurekalert.org/news-releases/1067087閱讀報告全文，請訪問歐米伽研究所的“未來知識庫”https://wx.zsxq.com/group/454854145828未來知識庫是“歐米伽未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。截止到11月25日 ”未來知識庫”精選的100部前沿科技趨勢報告Air Street Capital《2024 年人工智能現狀報告》未來今日研究所：2024 技術趨勢報告 – 廣義計算篇科睿唯安中國科學院 2024 研究前沿熱度指數報告文本到圖像合成：十年回顧《以人為中心的大型語言模型（LLM）研究綜述》經合組織 2024 年數字經濟展望報告加強連通性創新與信任第二版波士頓咨詢 2024 全球經濟體 AI 成熟度矩陣報告理解世界還是預測未來？世界模型的綜合綜述Google Cloud CSA2024 AI 與安全狀況調研報告英國制造商組織 MakeUK2024 英國工業戰略愿景報告從概念到實施花旗銀行 CitiGPS2024 自然環境可持續發展新前沿研究報告國際原子能機構 2024 聚變關鍵要素報告 – 聚變能發展的共同愿景國際可再生能源署 IRENA2024 年全球氣候行動報告Cell: 物理學和化學 、人工智能知識領域的融合智次方 2025 中國 5G 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 移動性，機器人與無人機篇Deepmind：AI 加速科學創新發現的黃金時代報告PitchBookNVCA2024 年第三季度全球風險投資監測報告德科 2024 年未來全球勞動力報告高工咨詢 2024 年協作機器人產業發展藍皮書國際能源署 IEA2024 年全球能源效率報告基因慧基因行業藍皮書 2024 – 2025普華永道 PwC2024 全球經濟犯罪調查英國報告 – 智對風險直面挑戰中國互聯網協會 2024 面向未來網絡的數字孿生城市場景應用白皮書中移智庫 2024 先進感知新技術及新應用白皮書智次方研究院 2025 中國 AIoT 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 人工智能篇國際電聯：邁向衡量數字經濟的通用框架的路線圖聯合國糧食與農業組織：2024 年世界糧食安全和營養狀況大語言模型綜述李飛飛等，AI 智能體：探索多模式交互的前景綜述哈爾濱工業大學 – ChatGPT 調研報告2024《美國核部署戰略報告》最新文件清華大學：AIGC 發展研究 3.0 發布版 b 版OpenAI：2024 年 OpenAI o1 大模型技術報告Verizon2024 年世界支付安全報告皇家學會哲學學報 從復雜系統角度評估人工智能風險復旦大學 大模型 AI 代理的興起和潛力：綜述經合組織 OECD2024 年氣候行動監測報告Wevolver2024 年邊緣人工智能現狀報告 – 探索各行業邊緣 AI 應用動態2024 全球人形機器人產品數據庫報告 – 人形機器人洞察研究 BTIResearch《全球金融穩定報告》 把舵定航 不確定性、人工智能與金融穩定瑞士洛桑聯邦理工學院 《人工智能中的 – 創造力：進展與挑戰》《你所需要知道的理 – 論：人工智能、人類認知與決策》牛津大學最新 53 頁報告世界經濟論壇 新興技術時代的網絡彈性導航：應對復雜挑戰的協作解決方案 2024ADL 理特咨詢 2024 汽車出行未來展望報告2024 中國硬科技創新發展白皮書 – 開辟未來產業新賽道科學時代的大語言模型中的人工智能Gartner2025 年重要戰略技術趨勢報告CBInsights2024 年第三季度全球人工智能投融資狀況報告TrendHunter2025 年全球趨勢報告 – 全行業頂級創新和變革趨勢前瞻天津大學 2024 大模型輕量化技術研究報告歐洲海洋局 2024 導航未來報告將海洋置于更廣泛的地球系統中第六版美國安全與新興技術中心 2024 AI 生成代碼的網絡安全風險研究報告國際原子能機構 2024 年世界聚變展望報告復旦大學 2024 大語言模型的能力邊界與發展思考報告安盛 AXA2024 年氣候與生物多樣性報告氣候過渡計劃路線圖YouGov2024 美國公眾對人工智能 AI 的態度調研報告麥肯錫中國報告：《中國與世界》完整版麥肯錫全球研究所 2024 下一代競技場報告 – 重塑全球經濟的 18 個新興行業領域Project Sid，一個旨在模擬多智能體交互以研究 AI 文明的項目德國研究與創新專家委員會 德國研究創新與科技成果報告2024 年歐洲關鍵產業的科技重塑研究報告智能體專題報告之二 – 智能體時代來臨具身智能有望成為最佳載體ActivateConsulting 2025 年頂級技術和媒體發展趨勢報告蘭德 全球災難風險評估斯坦福李飛飛 《AI agent 綜述》Agent AI 開啟多模態交互新紀元中國聯通研究院 2024 中國生成式人工智能應用與實踐展望白皮書中文版普華永道 2024 第五次工業研究報告邁向彈性可持續和以人為本的未來大成 Dentsons2024 年全球智慧城市與互聯社區智庫年度報告TechUK2024 量子技術挑戰與機遇并存構筑量子韌性的策略與實踐研究報告Emakina 將塑造 2024 年的技術趨勢報告圖靈獎得主 Yann LeCun《機器如何才能達到人類智能水平？》——Yann LeCun， 附 Slides 及視頻華為：2024 鴻蒙生態應用開發白皮書 V3.0（最新版）CASA：2023 第三代半導體產業發展報告大型視覺語言模型中幻覺現象的綜述IEA PVPS：2024 光伏應用趨勢報告（英文版）ABI Research：82 個將會或不會在 2024 年發生的技術趨勢白皮書《美國反無人機系統未來趨勢報告（2024 – 2029 年）》《軍事自主系統：未來之路》美空間智能如何？牛津大學博士論文《深度具身智能體的空間推理與規劃》2024 低空經濟場景白皮書 v1.0戰略與國際研究中心（CSIS）人類地月空間探索的總體狀況研究報告（2024）Artificial Intelligence Review：人工智能與物理學相遇的綜述麥肯錫：全球難題，應對能源轉型的現實問題歐米伽理論，智能科學視野下的萬物理論新探索（研究論文）Gartner 2025 年主要戰略技術趨勢研究報告2024 人工智能國外大模型使用手冊 + 中文大模型使用手冊詳解光刻巨人 ASML 成功之奧妙 – 241015CB Insights：未來變革者：2025 年九大科技趨勢研究報告國際電信聯盟 2023 – 2024 年聯合國人工智能 AI 活動報告《人工智能能力的人類系統集成測試和評估》最新 51 頁，美國防部首席數字和人工智能辦公室（CDAO）2024 瑞典皇家科學院諾貝爾化學獎官方成果介紹報告MHP 2024 全球工業 4.0 晴雨表白皮書世界經濟論壇白皮書《AI 價值洞察：引導人工智能實現人類共同目標》瑞典皇家科學院諾貝爾物理學獎科學背景報告資料AI 智能體的崛起：整合人工智能、區塊鏈技術與量子計算 (研究報告，書）OpenAI o1 評估：AGI 的機遇和挑戰（280 頁）世界知識產權組織：2024 年全球創新指數美國白宮：國家近地天體防御策略與行動計劃上下滑動查看更多