大模型+多模態的3種實現方法｜文末贈書

AIGC動態歡迎閱讀

原標題：大模型+多模態的3種實現方法｜文末贈書

關鍵字：模型,圖像,步驟,任務,數據

文章來源：AI前線

內容字數：5975字

內容摘要：我們知道，預訓練LLM已經取得了諸多驚人的成就， 然而其明顯的劣勢是不支持其他模態（包括圖像、語音、視頻模態）的輸入和輸出，那么如何在預訓練LLM的基礎上引入跨模態的信息，讓其變得更強大、更通用呢？本節將介紹“大模型+多模態”的3種實現方法。01以LLM為核心，調用其他多模態組件2023年5月，微軟亞洲研究院（MSRA）聯合浙江大學發布了HuggingGPT框架，該框架能夠以LLM為核心，調用其他的多模態組件來合作完成復雜的AI任務（更多細節可參見Yongliang Shen等人發表的論文“HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace”）。HuggingGPT框架的原理示意圖如圖1所示。下面根據論文中提到的示例來一步一步地拆解 HuggingGPT框架的執行過程。圖1假如現在你要執行這樣一個…

原文鏈接：點此閱讀原文：大模型+多模態的3種實現方法｜文末贈書

聯系作者

文章來源：AI前線

作者微信：ai-front

作者簡介：面向AI愛好者、開發者和科學家，提供AI領域技術資訊、一線業界實踐案例、搜羅整理業界技術分享干貨、AI論文解讀。每周一節技術分享公開課，助力你全面擁抱人工智能技術。