URM – 阿里媽媽推出的世界知識(shí)大模型

URM（Universal Recommendation Model）是由阿里媽媽開發(fā)的一款先進(jìn)的全球知識(shí)大模型，旨在將通用知識(shí)與電商專業(yè)知識(shí)相結(jié)合，以解決傳統(tǒng)大語言模型在電商推薦場(chǎng)景中的不足。URM通過知識(shí)注入和信息對(duì)齊的方式，結(jié)合多模態(tài)商品表征和高效的生成方法，能夠顯著提升各種推薦任務(wù)的效果，包括多場(chǎng)景推薦和長(zhǎng)尾商品推薦等，已經(jīng)在阿里展示廣告中成功應(yīng)用，提升了商家投放效果和消費(fèi)者購物體驗(yàn)。

URM是什么

URM（Universal Recommendation Model）是阿里媽媽推出的一款全球知識(shí)大模型，旨在通過知識(shí)注入和信息對(duì)齊，將大語言模型（LLM）的通用知識(shí)與電商領(lǐng)域的專業(yè)知識(shí)結(jié)合，從而克服傳統(tǒng)LLM在電商推薦中的不足之處。URM采用多模態(tài)融合的商品表征方法和高效的Sequence-In-Set-Out生成機(jī)制，能夠處理多種推薦任務(wù)，如多場(chǎng)景推薦和長(zhǎng)尾推薦等，顯著提高了推薦的效果。目前，URM已在阿里展示廣告場(chǎng)景中投入使用，顯著改善了商家的投放效果和消費(fèi)者的購物體驗(yàn)。

URM的主要功能

• 多任務(wù)處理：能夠同時(shí)處理多種推薦任務(wù)，如多場(chǎng)景推薦、多目標(biāo)推薦和長(zhǎng)尾推薦等。
• 用戶興趣理解：深入理解用戶的興趣和需求，提供更符合用戶當(dāng)前情境的推薦結(jié)果。
• 高效率推薦：在單次前向傳播中快速生成高質(zhì)量的推薦集合，滿足工業(yè)級(jí)推薦系統(tǒng)的低時(shí)延和高QPS需求。
• 多模態(tài)融合：結(jié)合商品的ID表征和多種語義表征（如文本和圖像等），提升商品表達(dá)能力和推薦的準(zhǔn)確度。
• 零樣本學(xué)習(xí)能力：在沒有大量標(biāo)注數(shù)據(jù)的情況下，能夠快速適應(yīng)新任務(wù)和新場(chǎng)景，提供有效的推薦。

URM的技術(shù)原理

• 多模態(tài)融合表征：
  • ID表征：通過分布式哈希表將商品ID映射為獨(dú)特的嵌入向量，捕捉商品之間的協(xié)同信息。
  • 語義表征：利用文本編碼器和圖像編碼器，將商品的文本描述和圖像信息轉(zhuǎn)化為語義嵌入向量。
  • 融合機(jī)制：使用MLP層將ID表征和語義表征進(jìn)行對(duì)齊融合，生成多模態(tài)商品嵌入向量，從而增強(qiáng)商品表達(dá)能力。
• Sequence-In-Set-Out生成方式：輸入序列由用戶行為中的商品ID、任務(wù)提示中的文本token及特殊查詢符（如UM、LM）組成。輸出機(jī)制基于用戶建模頭（hUM）和語言模型頭（hLM）分別生成用戶表征和文本輸出。通過增加UM token數(shù)量，使URM在一次前向傳播中并行生成多個(gè)用戶表征，提升召回指標(biāo)。
• 任務(wù)定義與提示工程：通過文本定義不同的推薦任務(wù)，將商品ID作為特殊token注入文本描述，實(shí)現(xiàn)用戶行為序列的高效表達(dá)。設(shè)計(jì)不同的提示模板，調(diào)整推薦結(jié)果的分布，使模型根據(jù)不同的任務(wù)需求和用戶行為動(dòng)態(tài)調(diào)整推薦策略。
• 訓(xùn)練方式：結(jié)合商品推薦任務(wù)的噪聲對(duì)比估計(jì)（NCE）損失和文本生成任務(wù)的負(fù)對(duì)數(shù)似然損失，采用完整參數(shù)的有監(jiān)督微調(diào)（SFT），僅凍結(jié)商品的原始表征，保留LLM的預(yù)訓(xùn)練知識(shí)。
• 異步推理鏈路：為滿足低時(shí)延和高QPS要求，設(shè)計(jì)面向用戶行為動(dòng)態(tài)捕捉的異步推理鏈路，將推理結(jié)果持久化存儲(chǔ)，供在線召回階段使用。通過多實(shí)例在同一容器中部署，將URM推理的并發(fā)QPS提升200%。

URM的項(xiàng)目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.03041

URM的應(yīng)用場(chǎng)景

• 多場(chǎng)景推薦：根據(jù)不同頁面（如首頁、詳情頁）提供個(gè)性化的推薦。
• 多目標(biāo)推薦：綜合分析用戶點(diǎn)擊、購買等行為，預(yù)測(cè)用戶可能感興趣的商品。
• 長(zhǎng)尾商品推薦：挖掘低頻商品的潛在價(jià)值，豐富用戶的選擇。
• 發(fā)現(xiàn)性推薦：推薦用戶未曾接觸但可能感興趣的新商品類別。
• 搜索增強(qiáng)推薦：結(jié)合查詢意圖和歷史行為，提升搜索結(jié)果的相關(guān)性。

常見問題

• URM如何提升推薦效果？：URM通過多模態(tài)融合和用戶興趣理解，提供更精準(zhǔn)的個(gè)性化推薦，從而顯著提高推薦效果。
• URM支持多少種推薦任務(wù)？：URM支持多種推薦任務(wù)，包括多場(chǎng)景推薦、多目標(biāo)推薦和長(zhǎng)尾推薦等。
• 如何獲取URM的技術(shù)文檔？：可以訪問URM的項(xiàng)目地址，獲取相關(guān)的技術(shù)論文和資料。