張俊林：關于Scaling Law、半合成數據、MOE及長文本

AIGC動態歡迎閱讀

原標題：張俊林：關于Scaling Law、半合成數據、MOE及長文本
關鍵字：模型,數據,侵權,知乎,問題
文章來源：算法邦
內容字數：0字

內容摘要：

直播預告 | 6月18日上午10點，「智猩猩AI新青年講座」第240講正式開講，邀請到德州大學奧斯汀分校劉星超博士將直播講解《利用直線概率流加速Stable Diffusion的訓練推理》，歡迎掃名~導讀本文來自知乎，作者為張俊林博士。本文只做學術/技術分享，如有侵權，聯系刪文。
本文為張俊林博士參加甲子光年圓桌論壇，對AI模型發展的深入討論做的整理，包括Scaling Law的成立性、合成數據的潛力、Transformer以外的模型架構、MOE模型的挑戰以及長文本處理的創新方法。原文鏈接：https://zhuanlan.zhihu.com/p/700622253以下內容是5月15日甲子光年圓桌論壇討論內容，涉及Scaling Law、合成數據與“半合成數據”、與Transformer不同的新模型結構、MOE及Long Context等問題。
一、是否相信Scaling Law？
王藝 ：圍繞Scaling Law有很多的爭議，有些人是堅定的信仰者，覺得只要堆數據、堆算力就能帶領我們達到AGI；但是也有人認為你無限堆數據和算力并不能無限提升模型的性能，它其實會慢慢趨向于一個固定的

原文鏈接：張俊林：關于Scaling Law、半合成數據、MOE及長文本

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。