從綜述、實(shí)驗(yàn)到報(bào)告撰寫，一站式搞定

原標(biāo)題：AMD把o1煉成了實(shí)驗(yàn)室助手，自動(dòng)科研經(jīng)費(fèi)節(jié)省84%
文章來源：量子位
內(nèi)容字?jǐn)?shù)：8593字

AMD科研AI“Agent Laboratory”：84%降低科研成本，o1-preview成天選打工人

AMD最新推出的科研AI系統(tǒng)“Agent Laboratory”，利用LLM (大語言模型) 一站式完成科學(xué)研究，從文獻(xiàn)綜述到實(shí)驗(yàn)、報(bào)告撰寫，大幅降低科研成本。該系統(tǒng)在GPT-4o、o1-mini和o1-preview三個(gè)模型中，o1-preview表現(xiàn)最佳，生成的代碼性能達(dá)到SOTA。

1. Agent Laboratory工作流程

Agent Laboratory主要分為三個(gè)階段：文獻(xiàn)綜述、實(shí)驗(yàn)、報(bào)告撰寫。每個(gè)階段都分配不同的AI Agent角色，例如PhD Student、Postdoc、ML Engineer等，協(xié)同完成任務(wù)。

1. 文獻(xiàn)綜述：PhD Student利用arXiv API檢索論文，提取摘要和全文，迭代式地構(gòu)建文獻(xiàn)綜述。
2. 實(shí)驗(yàn)：
   1. 計(jì)劃制定：PhD Student和Postdoc對話制定實(shí)驗(yàn)計(jì)劃，包括實(shí)驗(yàn)步驟、模型選擇、數(shù)據(jù)集選擇等。
   2. 數(shù)據(jù)準(zhǔn)備：ML Engineer使用Python處理數(shù)據(jù)，利用HuggingFace數(shù)據(jù)集搜索所需資源。
   3. 運(yùn)行實(shí)驗(yàn)：ML Engineer使用mle-solver模塊運(yùn)行實(shí)驗(yàn)。mle-solver通過迭代優(yōu)化代碼，并使用LLM獎(jiǎng)勵(lì)模型評分，最終選擇性能最佳的代碼。
   4. 結(jié)果解釋：PhD Student和Postdoc共同分析實(shí)驗(yàn)結(jié)果。
3. 報(bào)告撰寫：PhD Student和Professor利用paper-solver模塊撰寫報(bào)告，該模塊生成初始報(bào)告框架，并支持迭代編輯和論文評審。

2. 模型評估與人工審稿對比

研究人員使用GPT-4o、o1-mini和o1-preview三個(gè)模型完成15篇論文，并邀請人工審稿人進(jìn)行評分。結(jié)果顯示，o1-preview在整體研究幫助上表現(xiàn)最佳，o1-mini的實(shí)驗(yàn)質(zhì)量得分最高，GPT-4o表現(xiàn)最差。人工審稿與自動(dòng)審稿結(jié)果差異顯著，自動(dòng)審稿傾向于高估論文分?jǐn)?shù)。

3. 提升研究效果的技巧

作者在GitHub上分享了提升研究效果的技巧，包括撰寫詳細(xì)的筆記、使用更強(qiáng)大的模型以及利用檢查點(diǎn)恢復(fù)工作進(jìn)度等。

4. 團(tuán)隊(duì)成員背景

Agent Laboratory的研發(fā)團(tuán)隊(duì)成員大部分為華人，他們在人工智能領(lǐng)域擁有豐富的經(jīng)驗(yàn)，來自DeepMind、微軟、谷歌、Meta等知名機(jī)構(gòu)。

總而言之，Agent Laboratory通過AI驅(qū)動(dòng)，實(shí)現(xiàn)了科研流程的自動(dòng)化和高效化，顯著降低了科研成本，并展示了AI與人類協(xié)同的巨大潛力。該系統(tǒng)為未來科學(xué)研究提供了新的范例。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破