語言模型是如何感知時間的？「時間向量」了解一下

AIGC動態歡迎閱讀

原標題：語言模型是如何感知時間的？「時間向量」了解一下
關鍵字：模型,向量,時間,報告,時間段
文章來源：機器之心
內容字數：9855字

內容摘要：

機器之心報道
編輯：趙陽語言模型究竟是如何感知時間的？如何利用語言模型對時間的感知來更好地控制輸出甚至了解我們的大腦？最近，來自華盛頓大學和艾倫人工智能研究所的一項研究提供了一些見解。他們的實驗結果表明，時間變化在一定程度上被編碼在微調模型的權重空間中，并且權重插值可以幫助自定義語言模型以適應新的時間段。具體來說，這篇論文提出了時間向量（time vectors）的概念，這是一種讓語言模型適應新時間段的簡單方法。論文發布后立即引起了一些研究者的注意。新加坡海事智能公司 Greywing 聯合創始人、CTO Hrishi Olickel 稱贊這篇論文是他今年讀過最好的論文之一。他將本文的核心步驟概括為：
獲取 Twitter 和新聞數據，并按年份和月份進行分類；
選擇一個 LLM，并按月或按年對其副本分別進行微調，更新模型權重；
從原始 LLM 的權重中分別減去微調后模型的權重，得到「時間向量」。
權重差值此時可以作為一種向量，用于探索模型在這段時間內學到了什么。那么具體來說能用這個向量做些什么呢？首先，可以檢查微調是否有效 —— 從結果來說微調確實有效。模型困惑度和 F1 值強烈表明，

原文鏈接：語言模型是如何感知時間的？「時間向量」了解一下

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺