標簽:研究者

如何做出頂級AI研究?OpenAI科學家Jason Wei《AI研究思考》演講,講述杰出與普通研究之差別

來源:專知如何做出世界級影響力的AI研究?我們來聽聽OpenAI科學家Jason Wei在伯克利的報告《AI研究思考》,非常值得關注!OpenAI科學家Jason Wei。Jason Wei...
閱讀原文

?參數少近一半,性能逼近谷歌Minerva,又一個數學大模型開源了

機器之心報道編輯:大盤雞、杜偉大模型家族來了一個專門解決數學問題的「新成員」——Llemma。如今,在各種文本混合數據上訓練出來的語言模型會顯示出非常通用...
閱讀原文

把LLM視作操作系統,它就擁有了無限「虛擬」上下文,伯克利新作已攬1.7k star

機器之心報道編輯:杜偉、小舟當前,讓大語言模型擁有更強的上下文處理能力是業界非常看重的熱點主題之一。本文中,加州大學伯克利分校的研究者將 LLM 與操作...
閱讀原文

大模型無法替代碼農!普林斯頓芝大驚人發現:GPT-4解決GitHub編程問題成功率為0

新智元報道編輯:編輯部【新智元導讀】ChatGPT之類的AI編碼工具來勢洶洶,Stack Overflow又裁員了!不過,普林斯頓和芝大竟發現,面對真實世界GitHub問題,GP...
閱讀原文

語言、機器人破壁,MIT等用GPT-4自動生成模擬任務,并遷移到真實世界

機器之心報道編輯:杜偉、小舟GPT-4 與機器人又擦出了新的火花。在機器人領域,實現通用機器人策略需要大量數據,而在真實世界收集這些數據又耗時費力。盡管...
閱讀原文

輕量級持續學習: 0.6%額外參數把舊模型重編程到新任務

機器之心專欄機器之心編輯部持續學習的目的是模仿人類在連續任務中持續積累知識的能力,其主要挑戰是在持續學習新任務后如何保持對以前所學任務的表現,即避...
閱讀原文

手把手教你剪「羊駝」,陳丹琦團隊提出LLM-Shearing大模型剪枝法

機器之心報道機器之心編輯部給 Llama 2(羊駝)大模型剪一剪駝毛,會有怎樣的效果呢?今天普林斯頓大學陳丹琦團隊提出了一種名為 LLM-Shearing 的大模型剪枝...
閱讀原文

和谷歌搜索搶活,FRESHLLM「緊跟時事」,幻覺更少,信息更準

機器之心報道機器之心編輯部LLM 能更新知識的話,還有谷歌搜索什么事?大型語言模型的能力有目共睹,如 BARD 和 CHATGPT/GPT-4,被設計成多功能開放域聊天機...
閱讀原文

鼠鼠我呀,也有VR頭顯了!康奈爾給小鼠開顱,沉浸式研究大腦和行為

新智元報道編輯:Aeneas【新智元導讀】最近,康奈爾大學的研究者們,給老鼠也戴上VR頭顯了。雖然擁有了VR體驗,但鼠鼠們也付出了一些代價——比如,需要提前做...
閱讀原文

如何降低視覺Transformer計算成本?時間冗余方法讓人大吃一驚

機器之心編譯編輯:Panda W在為語言領域帶來變革之后,Transformer 正在進軍視覺領域,但其也有著高計算成本的問題。近日,威斯康星大學麥迪遜分校一個研究團...
閱讀原文

最多400萬token上下文、推理提速22倍,StreamingLLM火了,已獲GitHub 2.5K星

機器之心報道編輯:蛋醬如果你體驗過與任何一款對話式 AI 機器人的交流,你一定能想起某些極具「挫敗感」的時刻。比如,你在前一天的對話中講述過的要點,被 ...
閱讀原文

詞表的選擇如何影響語言模型訓練?這可能是目前見過最好的詞表選擇研究

機器之心報道編輯:趙陽本文初步探討了不同類型的詞表對語言模型訓練所產生的影響,研究者使用了 12 個小型的語言模型及 4 個中型的語言模型作為實驗對象,并...
閱讀原文

將LLaMA2上下文擴展至100k,MIT、港中文有了LongLoRA方法

機器之心報道機器之心編輯部無需過多計算資源即可擴展大模型上下文長度。一般來說,大模型預訓練時文本長度是固定的,如果想要支持更長文本,就需要對模型進...
閱讀原文

如何評估大語言模型是否可信?這里總結了七大維度

機器之心發布作者:劉揚,Kevin Yao本文提出 7 個主要關鍵維度來全面評估 LLM 可信度。實際部署中,如何 “對齊”(alignment)大型語言模型(LLM,Large Langu...
閱讀原文

運行超千億不同電路、可編程,國內團隊DNA計算機論文登Nature

機器之心報道編輯:杜偉、陳萍DNA 計算機新的突破,這次是上海交通大學團隊做出來的。在計算機的龐大宇宙里,有依賴于硅晶片的常規計算機,也有生物形式的 DN...
閱讀原文
110111213