趙晨旭：非標模態的多模態大語言模型如何模擬人類主觀感受

中國品牌在全球化傳播中，需要理解不同文化背景下不同群體的情感反應，并采用全球消費者可接受的方式講述品牌故事和傳播文化。

原標題：趙晨旭：非標模態的多模態大語言模型如何模擬人類主觀感受
文章來源：AI前線
內容字數：9239字

明略科技：利用多模態大模型模擬人類主觀感受

本文總結了明略科技在AICon全球人工智能開發與應用大會上關于“非標模態的多模態大語言模型如何模擬人類主觀感受”的演講內容。演講的核心在于利用AI技術模擬人類主觀感受，這對于全球化品牌傳播至關重要，因為文化背景差異導致消費者對同一內容的情感反應各不相同。

1. 挑戰與價值：模擬人類主觀感受的難點

演講首先指出，即使是參數眾多的現有大語言模型也難以捕捉人類主觀感受。目前的研究主要依靠側面觀察，存在局限性。真正理解人類主觀感受需要從不同用戶的視角出發，分析其自發的情緒反應，這面臨著如何定義和獲取主觀感知指標、如何采集有效數據以及如何實現AI模擬主觀感知能力等三大挑戰。然而，成功模擬人類主觀感受的價值巨大，它能更準確地理解和預測消費者對產品或內容的反應，從而提升品牌傳播效果。

2. Video-SME數據集：構建主觀多模態數據

為了解決現有數據集的局限性，明略科技構建了大規模視頻主觀多模態評估數據集Video-SME。該數據集通過收集腦電波和眼動追蹤數據，分析受試者對視頻內容的認知理解程度。它包含豐富的模態，并設計了主觀任務（預測認知、情緒和眼動注視比例）和客觀任務（開放性文本生成），以更準確地捕捉和分析主觀感受。數據集還考慮了受眾個體差異，例如性別和年齡。

3. 超圖多模態大語言模型(HMLLM): 模擬主觀感受的技術手段

明略科技自研的超圖多模態大語言模型HMLLM，利用超圖理論連接視頻幀間的復雜關系，并通過訓練和推理兩個階段，模擬人類主觀感受。訓練階段分為客觀部分（訓練語言模型）和主觀部分（超圖學習模塊，考慮觀眾信息）。推理階段則根據提示直接給出答案，包括客觀描述和主觀描述（例如不同性別和年齡段觀眾的認知和情緒反應）。模型能夠通過熱力圖展示觀眾注意力分布，揭示不同人群對同一畫面內容的關注點差異。

4. 評測結果與應用場景：模型的有效性和應用前景

實驗結果表明，HMLLM在Video-SME及其他數據集上均取得了優異的成績，優于商用模型。該模型能夠準確識別視頻內容并預測不同人群的主觀反應。明略科技基于此開發了產品Adeff，能夠從主觀和客觀兩個維度對廣告內容進行評測，幫助品牌主理解廣告元素對受眾的影響，降低廣告投放風險，提升廣告效果。該技術在廣告創意評測、消費者行為分析等領域具有廣泛的應用前景。

5. 總結：未來展望

演講總結指出，機器模擬人類主觀感受具有重大意義，是AI技術發展的重要方向。HMLLM的成功為該領域提供了新的可能性，未來隨著大模型的不斷優化，AI在模擬人類主觀感受方面將取得更多突破，為人工智能的發展開辟新的道路。明略科技已公開論文和代碼，并對外開放數據集，以促進該領域的研究和發展。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。