網易伏羲官網
網易伏羲，ai大模型，虛擬人，機器人，游戲ai研究實驗室
網站服務：網易伏羲，ai導航。
網易伏羲是網易旗下專業從事游戲與AI研究和應用的頂尖機構。專注數字孿生、強化學習、用戶畫像、NLP、分布式引擎等多領域AI技術創新，提供瑤臺沉浸式虛擬活動平臺、虛擬人、有靈機器人、智能挖掘機等產品。
網易伏羲官網，ai大模型，虛擬人，機器人，游戲ai研究實驗室
網易伏羲簡介
國內專業從事游戲AI研究的機構，實驗室以”創建人工智能與游戲交叉領域的世界一流實驗室”為宗旨，運用人工智能尖端技術為玩家營造新世代的游戲體驗，同時借助游戲平臺的海量數據和仿真環境，推動人工智能技術的發展。網易伏羲官網: https://fuxi.163.com/
網易伏羲怎么樣?
從臨近中國的兔年開始，生成式AI（又稱AIGC）的發展可謂“兔”飛猛進。幾乎每周都有許多新的消息和成果發布，更低的門檻和更好的效果不斷沖擊大眾認知，讓越來越多的人認知到生成式AI已經成為推進下一輪技術革新的重要動力。同時，也有越來越多的人開始思考一些問題，比如：為什么最好的生成效果不在中國？中國的生成式AI離國外有多遠？要做出最好的生成式AI，除了模型，我們還需要建設哪些東西？網易伏羲作為國內首個專注數字文娛領域的人工智能研究機構，從17年成立之初開始關注生成式AI的發展和落地可能，這些問題在過去的幾年內不斷在團隊內部被提及、討論，并驅動一系列工作的開展和推進。本文將介紹網易伏羲對這些問題的思考，以及當前的一些進展。自然語言與生成式AI
這一輪生成式AI的爆發，需要從自然語言處理技術的突破說起，17年谷歌提出Transformer架構，使得計算機可以更加高效地進行文本內容知識的學習，從而推動BERT、GPT等一些列大規模文本模型的誕生，從理解和生成的維度都獲得了巨大突破。自然語言處理這門連接人類和計算機交流的基礎學科，也成為驅動包括文本、圖像、音頻、視頻、三維模型等各個維度生成式AI爆發的核心基座。一方面人們從海量的互聯網數據當中整理可以用于生成式AI訓練的數據，另外一方面通過自然語言來對齊各個模態的信息，使得這些知識可以互通。這也可以很好的解釋為什么英文生態的公司和機構在這一輪技術熱潮中更容易占據先機 — 當前規模最大、內容最豐富、質量最高的機器學料是由英文構成的。例如文本下游微調數據，英文領域有像T0-SF，Muffin等大量優質的數據集，圖文領域也有像LAION-2B，MSCOCO等開源數據集。相比于國內，中文領域雖然這兩年也有多個相關數據集的建設，如200G悟道文本預訓練數據集，“悟空”1億圖文對數據集等，但是無論從數量還是質量上來比，與海外的數據還是存在著一定的差距。除此之外，英文生態本身也具備非常明確的先天優勢，其包含了大量其他語種不具備的優質的內容。比如說全球最頂尖的學術論文、編程代碼、多個行業領域的規范標準。這些構成了英文的獨天得天獨厚的優勢，也使得基于英文生態的研究方案可以更好的去推動和落地。如何走出數據困境
面對這樣的數據困境，國內的研究者和機構又采取了哪些辦法？歸結來看大概有4種策略：1、直接用開源模型，走API翻譯這可能是最直接的方案，尤其在圖文生成領域，去年stable diffusion模型開源之后國內有不少創業公司嘗試直接基于該模型進行適配訓練和推理生成，同時利用 API的翻譯接口將中文的輸入轉化成英文實現對中文用戶的支持。這條路線的好處是可以快速地將最新的英文生態的工作應用到國內。缺點也非常明顯，一方面是中文翻譯可能引起語義的缺失，很多英文這個領域當中常用的說法在中文當中是沒有辦法很好的表達的，比如說中國的許多成語以及諺語：
海外數據的內容組成也大多由當地的人文地理，生活歷史構成，對于中文的知識缺乏很好的理解，比如說中國的歷史古跡、名人、美食和生活習俗。
第三點也是最核心的一點：已有開源模型數的數據據存在偏見，合規性和安全性都留有風險。舉例說，這些模型在種族問題上不平等，也存在大量露、暴力的內容。直接將這些數據模型用于國內的生產，存在著巨大的隱患，所以從年初開始，相關部門對生成式AI的能力構成加大了審核力度。 2、海外數據翻譯
這種方案是第一種方案的改進版。具備一定研究能力的機構，會選擇將海外數據整理下來之后進行英文到中文的翻譯，借助英文數據已有的成果，構建更加可靠的自有模型，目前國內有不少研究機構和企業采取了這條路線。優點是可以繼承英文的豐富的數據生態，同時可以對涉黃、涉政的數據進行系統性篩選。缺點還是存在領域差異，包括對一些特定的中文表述、生態、文化習俗的缺失，以及數據本身還是帶有非常強的偏見，甚至是歧視。即使去除了不合規的數據，這些隱性的問題還是很難解決的。比如“穿旗袍的女孩”，“七夕節日”等等。3、中文數據構建
這是一條相對難走的道路，需要大量前期的積累。數據的整理的工作往往在短期內難以獲得成效，其階段性價值也難以衡量。但完善的高質量數據的建設，將對生成式AI后期的工作推進帶來可靠的助力。所以在伏羲以往的討論當中，這也被認定為是一條難走卻又正確的道路。自建中文數據集的好處在于可以解決中文場景的一系列基礎性問題，彌補模型對中文知識的欠缺，更好的去控制數據安全，從而對數據的合規性進行有效審核。國內目前也有一些做了中文數據構建的這些工作，高質量對齊數量例如coco-cn，數據量級別在十萬級別，數據量較少。wukong數據集是目前較大規模的開源圖文數據集，但相比海外的對標數據集目前還是存在一定差距。許多場景之下，相關的研究人員也開始呼吁國內的和企業可以推進高質量的中文數據集的共建，我們也看到有許多國內同行開始加入到這個行列。4、多語言兼容
自建數據集雖好，但依然無法解決其他語言優質內容缺乏的問題。所以多語言兼容是目前看起來大規模預訓練模型技術比較切實可行的方案。當然，這個方案目前依舊在驗證當中，當前已經有一些相關的工作，通過多語言的方案，將英文場景下圖文理解，文圖生成功能，擴展到其他的語種中，打通了英文體系和其他語種的障礙。在ChatGPT的訓練過程當中，已經體現展現出跨語言的可行性以及潛力。由于有大量的多元數據融合，目前GPT的中文能力已經比許多純中文預訓練模型更加出色。在圖文生成領域，Niji模型的跨語言能力和生成效果都是不錯的。伏羲的破境之舉
從生成式AI的整體效果考慮，伏羲選擇了一條比較長期的技術路線。在兼容開源數據的同時，又分為4步推進，首先是建設高質量的大規模中文數據集；其次構建中文領域的優質理解模型；然后基于數據集和理解模型重構圖文生成算法，做到語義的有效提升；最后引入專家和人類的反饋引導模型生成用戶更加需要的高質量內容。1、建設大規模中文數據
伏羲聯合網易多個部門，包括網易雷火、傳媒、云音樂等核心業務，從用戶和業務維度提供對數據的理解和需求，完成對于優質數據的定義，建設包括文本質量，圖像美觀度，版權合規性以及倫理評估等評價標準。以此框架作為約束共同推進數據構建，同時設計了一套基于分布式任務的數據可信系統，各專家團隊各自提供數據質量評審模型，完成共同打分后再交由數據治理引擎統一管理。2、構建中文領域的理解模型
基于伏羲自研千億文本模型的技術積累，“玉言”系列理解模型先后登頂知名中文榜單FewCLUE和CLUE分類榜單，在CLUE1.1分類任務排行榜(包含AFQMC[文本相似度]、TNEWS[短文本分類]、IFLYTEK[長文本分類]、OCNLI[自然語言推理]、WSC[代詞消歧]、CSL[關鍵詞識別]6個理解任務）上超過人類水平。玉言系列中的百億生成模型與對話模型已完成開源，理解模型也會在近期開源。在文本理解的基礎之上，伏羲自2021年起著力打造“玉知”多模態圖文理解大模型，采用圖片-文本雙塔結構和模塊化的訓練思想，基于億級別的中文圖文數據對，先后迭代了三種規格的模型版本，在中文圖文理解水平上達到業界領先水平，并具有良好的泛化性，在下游各類任務如分類，檢索，推薦等方面表現優異；并且，在圖文模型的預訓練過程中，針對包含不同文本長度的圖文對采用不同的訓練策略，這使得“玉知”模型對語義具有較強的理解能力。同時，利用網易伏羲開源的EET高效推理框架，對模型壓縮、算法適配、硬件底層等方面進行優化，使其推理速度提升4倍，滿足了線上的高并發需求，降低了部署資源的損耗。“玉知”多模態理解大模型優于Chinese-CLIP的CN-CLIPViT-H/14玉知模型也成功在網易的多個業務中得到驗證，如網易新聞和網易云音樂的搜索、推薦、智能標注等場景。網易新聞通過圖文大模型構建的圖文內容表征，在推薦環節采用基于該圖文向量的dropoutnet召回優化，對召回源、列表頁視頻試投、列表頁試投整體等效果明顯改進，實現視頻和整體大盤的業務指標提升，已在線上業務中落地使用。網易云音樂通過圖文大模型構建的內容表征引擎和內容相似檢索引擎，已成功應用于云音樂視頻、長音頻、廣告等多個內容業務，對內容冷啟動效率、CTR預估模型等，帶來顯著的線上收益。同時進一步聯合華為團隊，充分分析互聯網行業數據集特性，對多模態模型結構進行優化，優選合適編碼器并采用多階段訓練模式，共建玉知-悟空模型，進一步構建伏羲在中文跨模態理解領域的領先優勢。3、圖文生成算法重構
在圖文理解預訓練模型的基礎上，伏羲進一步推進自研文圖生成模型——“丹青”的研發，一種語義增強的文圖生成擴散模型。依托于擴散模型的原理，在廣泛的（8億）圖文數據上訓練以達到較好的生成結果。不同于常見的基于擴散模型的文圖生成方法，伏羲自研的模型還具備以下特點：1.模型創新：文圖生成的語義能力，非常強依賴對用戶輸入文本的表征能力，依托于伏羲自研的”玉知”模型在中文語境下的表征能力，自研生成模型在中文場景下具有的超強語義表征能力。此外，伏羲自研模型還側重文本與圖片交互的，強化了在文圖引導部分的參數作用，能夠讓文本更好地引導圖片的生成，因此生成的結果也更加貼近用戶意圖。2.圖片多尺度的訓練：在廣泛的數據集中，自研模型在充分考慮圖片的不同尺寸和清晰度問題，將不同尺寸和分辨率的圖片進行分桶，從而進行的多尺度訓練。在充分保證訓練圖片訓練的不失真的前提下，保留盡可能多的信息，自研模型能夠適應不同分辨率的生成。3.數據策略：多階段的訓練能夠保證模型既具有廣泛性，又保證生成結果的質量。初始階段，使用億級別的廣泛分布的數據，讓模型不僅在語義理解上具有廣泛性，可以很好的理解一些成語，古文詩句，例如夫妻肺片，名花傾國等等。同時在生成的畫風上也具有多樣性，可以生成多種風格。在之后的階段分別從圖文關聯度，圖片清晰度，圖片美觀度等多個層面進行數據篩選，以優化生成能力，生成高質量圖片。- 中文場景下超強的語義理解能力：能夠充分理解用戶的輸入，并且返回給用戶想要的東西。尤其在成語，俗語，詩句的理解和生成具備一定優勢：
- 風格的多樣性 & 純正性? ：覆蓋的風格廣泛，例如年輕人熱愛的二次元，動漫風格，傳統的山水國畫風格，以及知名畫家的特殊風格等：
- 中文場景的領域優勢：善于生成中國元素的作品，例如宋代美女，傳統佳節等場景：
4、人機協同增強的數據閉環依賴于機器進行數據篩選，不可避免存在諸多缺陷和不完美。依托于網易伏羲的aop眾包能力，我們從不同角度引入了人工。在訓練階段，人工從多個維度的評估，篩選出來大批高質量圖文匹配、高美觀度數據，以補足自動流程缺失能力，幫助基礎模型獲得更好的效果。同時，我們在模型的生成階段，也引入人工的反饋，對模型的語義生成能力和圖片美觀度進行評分，篩選出大批量優質生成的結果，引入模型當做正反饋，實現數據閉環。更好提升了模型的理解能力和生成能力。后續工作與展望
以上四個維度的建設，使得網易伏羲的圖文生成式AI具備較好的中文理解及美觀度表達能力，在做到與中國用戶“心有靈犀”的工作道路上邁出了第一步。生成式AI技術革新的序幕剛剛開始拉起，隨著生產力的不斷釋放和新的開源生態建立，在聯通算法、數據、算力和人的工作上還有很多事情要做。除了持續優化生成效果，對于AI在將來工作流當中的價值、已有知識產權的保護、AI倫理的規范遵守等一些問題，也需要持續的思考和完善。目前，網易伏羲正在推進中文領域的生成式人工智能平臺-“丹青約”的建設，并攜手集團內部生態共同參與藝術風格和算法模型的設計和訓練。為行業用戶提供高效微調適配、低成本模塊化推斷、開源生態快速集成、生成模型定制加速等完整解決方案，為藝術家們提供更加靈活的生產力工具，尋找更新的藝術形態，為推動中文語義理解和科技創新注入新的力量。
網易伏羲網址入口
https://fuxi.163.com/
OpenI小編發現網易伏羲網站非常受用戶歡迎，請訪問網易伏羲網址入口試用。
粵公網安備 44011502001135號