KuaiFormer是快手技術(shù)團(tuán)隊開發(fā)的一種基于Transformer的檢索框架，專為大規(guī)模內(nèi)容推薦系統(tǒng)設(shè)計。通過重新定義檢索流程，KuaiFormer將傳統(tǒng)的分?jǐn)?shù)估計任務(wù)轉(zhuǎn)化為Transformer驅(qū)動的“下一個動作預(yù)測”模式，能夠有效實現(xiàn)實時興趣獲取和多興趣提取，顯著提升檢索性能。該框架采用多興趣查詢Token和自適應(yīng)序列壓縮機(jī)制，確保在億級候選集上實現(xiàn)穩(wěn)定的訓(xùn)練。目前，KuaiFormer已于2024年5月集成至快手App的短視頻推薦系統(tǒng)，為超過4億日活躍用戶提供服務(wù)，顯著增加了用戶的日均使用時長。

KuaiFormer是什么

KuaiFormer是一種先進(jìn)的檢索框架，利用Transformer架構(gòu)為大規(guī)模內(nèi)容推薦系統(tǒng)提供支持。其核心在于將傳統(tǒng)的檢索流程進(jìn)行革新，通過“下一個動作預(yù)測”的方式，實時捕捉用戶的多樣化興趣。通過引入多興趣查詢Token和自適應(yīng)序列壓縮機(jī)制，KuaiFormer在億級候選集上實現(xiàn)了高效且穩(wěn)定的訓(xùn)練和檢索性能。

KuaiFormer的主要功能

• 多興趣提取：通過引入多個查詢Token，KuaiFormer能夠捕捉用戶的多樣化興趣，使模型在理解和預(yù)測用戶復(fù)雜興趣方面表現(xiàn)更佳。
• 自適應(yīng)序列壓縮：為提升長序列建模的效率，KuaiFormer設(shè)計了自適應(yīng)序列壓縮機(jī)制，能夠有效減少輸入序列長度，同時保留最新的視頻信息。
• 穩(wěn)定訓(xùn)練技術(shù)：KuaiFormer采用定制的softmax學(xué)習(xí)目標(biāo)和LogQ校正方法，確保在億級候選集下的穩(wěn)定訓(xùn)練與性能保持。
• 實時推薦：能夠快速響應(yīng)用戶請求，從數(shù)十億的選項中篩選出與用戶實時興趣相關(guān)的候選項目。

KuaiFormer的技術(shù)原理

• Transformer架構(gòu)：利用自注意力機(jī)制捕捉用戶行為序列中的復(fù)雜依賴關(guān)系。
• 下一個動作預(yù)測：KuaiFormer將檢索過程轉(zhuǎn)變?yōu)轭A(yù)測用戶的下一個動作，以更精確地捕捉實時興趣。
• 多興趣查詢Token：受BERT中[CLS] Token啟發(fā)，KuaiFormer引入多個可學(xué)習(xí)的Query Token，結(jié)合多興趣訓(xùn)練策略，從歷史項目序列中提取不同的用戶興趣表示。
• 自適應(yīng)項目壓縮機(jī)制：KuaiFormer將早期項目序列分組并壓縮，減少輸入序列長度，同時針對最新項目進(jìn)行細(xì)粒度建模。
• Smooth In-Batch Softmax Loss：KuaiFormer基于In-Batch Softmax作為學(xué)習(xí)目標(biāo)，利用LogQ校正方法修正采樣偏差。

KuaiFormer的項目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.10057

KuaiFormer的應(yīng)用場景

• 短視頻推薦：在快手App中，KuaiFormer分析用戶的歷史觀看行為，為用戶推薦可能感興趣的新視頻。
• 內(nèi)容發(fā)現(xiàn)：KuaiFormer幫助用戶探索新內(nèi)容，增加內(nèi)容多樣性與新穎性，提升用戶體驗。
• 個性化推薦：通過捕捉用戶的多維興趣，提供更加個性化的推薦，滿足用戶個性化需求。
• 實時推薦系統(tǒng)：快速響應(yīng)用戶的行為變化，實時更新推薦列表，適用于需要及時推薦更新的場景。
• 大規(guī)模數(shù)據(jù)處理：在處理數(shù)十億級別的視頻庫時，KuaiFormer以其高效率和可擴(kuò)展性成為理想選擇。

常見問題

• KuaiFormer的主要優(yōu)勢是什么？ KuaiFormer通過引入多興趣查詢Token和自適應(yīng)序列壓縮機(jī)制，顯著提升了檢索性能和用戶體驗。
• KuaiFormer適合哪些類型的應(yīng)用？ KuaiFormer廣泛適用于短視頻推薦、內(nèi)容發(fā)現(xiàn)、個性化推薦及實時推薦系統(tǒng)等場景。
• KuaiFormer如何處理大規(guī)模數(shù)據(jù)？ KuaiFormer具備高效的訓(xùn)練和檢索能力，能夠在億級候選集上保持穩(wěn)定性能，適合大規(guī)模數(shù)據(jù)處理。