AIGC動態(tài)歡迎閱讀

原標題：前谷歌科學家Yi Tay「LLM演義」系列博客第一彈：BERT為何匿跡江湖？
關(guān)鍵字：模型,目標,架構(gòu),報告,任務
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：庸庸 喬楊
【新智元導讀】前谷歌科學家Yi Tay重磅推出「LLM時代的模型架構(gòu)」系列博客，首篇博文的話題關(guān)于：基于encoder-only架構(gòu)的BERT是如何被基于encoder-decoder架構(gòu)的T5所取代的，分析了BERT滅絕的始末以及不同架構(gòu)模型的優(yōu)缺點，以史為鑒，對于未來的創(chuàng)新具有重要意義。熱衷于寫博客的前谷歌科學家Yi Tay近日坐飛機太無聊，又撰寫了一篇深度文章，探討了當下很多人關(guān)心的一個話題——LLM時代模型架構(gòu)的此消彼長和風云變幻。
他上一篇自述創(chuàng)業(yè)辛酸史的博文就引發(fā)了業(yè)界的廣泛關(guān)注，獲得了Karpathy的轉(zhuǎn)贊。
這次Yi Tay試圖解開在新的LLM時代里正在發(fā)生的所有事情，關(guān)于「BERT和T5發(fā)生了什么」？也關(guān)于Transformer encoder、PrefixLM和去噪目標的興衰。
博客地址：https://www.yitay.net/blog/model-architecture-blogpost-encoders-prefixlm-denoising
為何encoder-only模型「風光不再」？為何BERT這么強，卻不能「scale

原文鏈接：前谷歌科學家Yi Tay「LLM演義」系列博客第一彈：BERT為何匿跡江湖？

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：