獨家｜非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資

AIGC動態歡迎閱讀

原標題：獨家｜非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資
關鍵字：模型,架構,參數,人類,版本
文章來源：AI科技評論
內容字數：4004字

內容摘要：

訓練出千億模型依然是 RWKV 當下最能證明自己的事情。作者丨張 進
編輯丨陳彩嫻
AI科技評論獨家獲悉，開源LLM RWKV背后的元始智能，種子輪融資已于1月16日走完工商變更，由陸奇于2018年創立的奇績創壇和某匿名投資者投資，目前元始智能已開始繼續融第二輪。
RWKV是國產開源的首個非Transformer架構的大語言模型，目前已經迭代到第六代RWKV-6。它的作者彭博在2022年5月開始訓練RWKV-2，當時只有1億（100M）參數規模，后續在2023年3月訓練了RWKV-4 140億（14B）參數版本。
RWKV-5的15億和30億參數版本已發布，且70億參數版本會在2024年1月發布。而RWKV-6的15億和30億參數版本將在2024年2月發布，然后將繼續訓練70億和140億參數版本。
RWKV-5和RWKV-6系列的特點是，支持全球100+種語言，也支持幾十種編程語言，目前可以在 https://www.rwkv.com/頁面上的鏈接，體驗在線Demo。
彭博香港大學物理系本科畢業，此前在香港對沖基金做過多年的量化交易，也在深圳做過智能硬件。在2020年，因為對AIGC小

原文鏈接：獨家｜非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資

聯系作者

文章來源：AI科技評論
作者微信：aitechtalk
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。