AIGC動態歡迎閱讀

原標題：ControlLLM: 使用大語言模型控制工具，輕松定制個性化多模態模型
關鍵字：工具,任務,模型,分解,解決方案
文章來源：算法邦
內容字數：7567字

內容摘要：

直播預告 | 1月17日晚7點，「多模態大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學者，共同探討多模態大模型的發展與應用，歡迎報名。以GPT-4為代表的大語言模型（LLM）對話能力和文字能力已經足夠出色，但我們認為，也許LLM能做的遠不止對話，它也可以作為多模態大模型的控制中樞。但由于用戶提示不明確、工具選擇和參數設置的不精確，以及工具調度低效，它們仍然面臨工具調用的挑戰。一些方法目前基于的假設是每個子任務最多只有一個前置任務，這在現實應用中不夠靈活。
ControlLLM推出了基于圖搜索和任務分解的能夠精確控制工具使用的多模態交互框架。能夠將LLM為主要控制器，整合具有不同功能的工具作為插件，使用自研的圖上搜索（Thoughts on Graph，ToG）算法進行合理的任務分解、工具選擇以及高效的工具執行調度，使得模型可以更高效、更準確的理解用戶需求。未來，用戶可以使用ControlLLM，為大語言模型賦予自己需要的工具，輕松定制自己的多模態模型！論文:
https://arxiv.org/abs/2310.

原文鏈接：ControlLLM: 使用大語言模型控制工具，輕松定制個性化多模態模型

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。