螞蟻集團推出Query-as-Anchor用戶畫像革命

這項由螞蟻集團和浙江大學聯合完成的研究發表于2025年，論文編號為arXiv:2602.14492v1，有興趣深入了解的讀者可以通過該編號查詢完整論文。

當你打開支付寶時，系統是如何瞬間知道該向你推薦什么服務的？當銀行需要評估你的信用風險時，它又是如何從海量數據中準確判斷你的還款能力的？這些看似神奇的能力背后，都依賴于一項關鍵技術——用戶畫像。

傳統的用戶畫像就像是給每個人制作一張固定的身份證，無論在什么場景下都是同一個樣子。但現實生活中，你在購物時關心的是價格和品質，在理財時關注的是收益和風險，在社交時重視的是興趣和話題。同一個人在不同場景下會展現出完全不同的特征和需求。

螞蟻集團的研究團隊注意到了這個問題。他們發現，現有的用戶畫像系統就像是用一把萬能鑰匙去開所有的鎖——雖然能用，但效果并不理想。在支付寶這樣的超級應用中，用戶的行為數據極其豐富多樣，包括支付記錄、小程序使用、搜索歷史、應用列表等等，但這些數據在不同業務場景下的重要性截然不同。

更棘手的是，這些數據往往是稀疏的、符號化的，與大語言模型習慣處理的連續文本數據存在巨大差異。就像讓一個只會讀書的人突然去解讀密碼本一樣困難。同時，工業級的用戶畫像系統還面臨著實時性要求高、計算成本限制嚴格等現實挑戰。

為了解決這些問題，研究團隊提出了一個創新的解決方案——Query-as-Anchor（查詢作為錨點）框架。這個名字聽起來很技術化，但其核心思想其實很簡單：與其為每個用戶制作一張固定的身份證，不如根據具體的使用場景，為同一個用戶生成不同版本的畫像。

這就像是一個智能化的變色龍系統。當系統需要進行風險評估時，它會重點關注用戶的支付行為、信用記錄等相關信息，而淡化購物偏好等無關數據。當進行商品推薦時，它又會突出用戶的消費習慣、興趣愛好，而減少對金融數據的依賴。

一、構建工業級用戶理解數據集

要讓AI真正理解用戶，首先需要教會它什么是"理解"。研究團隊面臨的第一個挑戰是，市面上缺乏專門針對用戶畫像訓練的大規模數據集。現有的大語言模型雖然在文本理解方面表現優異，但對于用戶行為數據的理解能力相對薄弱。

為了填補這個空白，團隊構建了一個名為UserU的工業級預訓練數據集。這個數據集的構建過程可以比作教孩子學習的過程——既要教給他事實知識，也要培養他的推理能力。

具體來說，UserU數據集包含兩個核心組成部分。第一部分是基于行為的交互數據集，它通過分析用戶的歷史行為來預測未來行為。這就像是通過觀察一個人過去三個月的消費記錄，來猜測他下個月最可能購買什么。系統會將用戶的多模態行為記錄整理成時間序列，然后通過特定的模板問題，如"這個用戶在下一個時期最可能的行為是什么？"，來訓練模型理解行為模式和時間規律。

第二部分更加有趣，它是一個合成的問答數據集。由于現實中很難獲得大量高質量的用戶理解問答對，研究團隊采用了一種自我反思的合成數據生成方法。他們首先讓大語言模型分析72個與生活相關的用戶理解主題，比如財務規劃、健康管理、購物偏好等。然后，對于每個具體用戶，系統會從這些主題中選擇最相關的10個，并基于用戶的實際行為數據生成相應的問題和答案。

更重要的是，為了確保答案的準確性和一致性，系統還加入了一個"自我反思"機制。生成答案后，模型會重新檢查這個答案是否與用戶的實際行為數據一致，如果發現不匹配或不合理的地方，就會進行修正。這個過程就像是讓AI當自己的老師，不斷檢查和改進自己的理解能力。

通過這種方式，UserU數據集成功地將用戶行為數據與語義理解能力結合起來，為后續的模型訓練提供了堅實的基礎。

二、分層次的用戶行為編碼系統

面對支付寶用戶產生的海量多模態行為數據，如何讓大語言模型有效理解和處理這些信息是一個巨大挑戰。傳統的方法要么過于粗糙，丟失了重要的細節信息，要么過于復雜，導致計算效率低下。

研究團隊設計了一個巧妙的分層編碼架構，這個系統的工作原理就像是一個智能的信息篩選器。它分為三個層次，每個層次都專注于不同粒度的信息提取和整合。

最底層是事件級編碼，它處理的是最原始、最細粒度的用戶行為數據。每一筆支付記錄、每一次小程序使用、每一個搜索查詢都被單獨編碼成向量表示。這就像是為每個具體行為貼上一個專屬標簽，保留了行為的完整細節信息。

中間層是模態級編碼，它的作用是對同類型的行為進行匯總和抽象。比如，將一個月內所有的支付行為整合成一個支付模態的總體特征，將所有的搜索記錄整合成搜索偏好的概括描述。這個過程通過平均池化等技術實現，既保留了關鍵信息，又顯著降低了數據復雜度。

最頂層是用戶級編碼，它將所有模態的信息進一步整合，形成用戶的全局行為特征。這就像是從各個角度觀察一個人后，形成對這個人的整體印象。

這種分層設計的巧妙之處在于，它允許大語言模型根據具體的查詢需求，選擇性地關注不同層次的信息。當需要進行精細分析時，模型可以深入到事件級別；當需要快速判斷時，模型可以依賴用戶級的抽象特征。這種靈活性大大提高了系統的效率和準確性。

更重要的是，這個分層架構還通過專門的適配器網絡，將稀疏的行為數據轉換成與大語言模型兼容的密集向量表示，有效解決了模態差異問題。

三、查詢錨定的雙塔訓練架構

Query-as-Anchor的核心創新在于它的雙塔訓練架構。這個設計可以比作一個智能的翻譯系統，一邊處理用戶的行為"語言"，另一邊處理業務場景的需求"語言"，然后在中間建立起準確的對應關系。

錨點塔負責處理用戶數據和查詢指令。它接收前面提到的分層用戶行為編碼，然后在序列末尾添加一個自然語言查詢作為"錨點"。這個查詢可能是"這個用戶的欺詐風險如何？"或者"這個用戶對外賣服務的興趣程度是多少？"等具體的業務問題。通過將查詢放在序列末尾，大語言模型就像一個專業顧問一樣，會根據具體問題來重新審視和整合用戶信息，最終輸出一個針對性的用戶表示。

語義塔則專門處理答案信息。它將標準答案或目標結果編碼成向量表示，為錨點塔提供學習目標。這兩個塔雖然獨立工作，但共享相同的大語言模型參數，確保它們在同一個語義空間內理解和表示信息。

訓練過程采用了一個精心設計的聯合優化策略。一方面，系統使用對比學習來確保相關的用戶-查詢-答案三元組在向量空間中距離更近，而不相關的組合距離更遠。這就像是訓練系統識別"物以類聚"的規律。

另一方面，系統還使用了下一詞預測任務來增強語義理解能力。錨點塔不僅要生成用戶表示，還要能夠逐詞生成目標答案，這大大提高了模型對用戶行為深層含義的理解能力。

特別值得注意的是，訓練過程還加入了一個智能的負樣本過濾機制。在對比學習中，選擇合適的負樣本至關重要。系統會自動識別和排除那些可能造成誤導的"假負樣本"——即看似不匹配但實際上合理的用戶-答案組合。這種機制顯著提高了訓練效果的穩定性和準確性。

四、場景適應的軟提示調優

雖然Query-as-Anchor框架已經具備了很強的場景適應能力，但研究團隊發現，在面對具體業務場景時，仍然存在通用預訓練與專門業務邏輯之間的語義鴻溝。為了解決這個問題，他們引入了一個巧妙的軟提示調優機制。

這個機制的工作原理就像是給通用模型配備了一副"智能眼鏡"。不同的業務場景對應不同的"鏡片"，當模型需要處理特定任務時，就戴上相應的"眼鏡"，從而能夠更清楚地看到該場景下的關鍵信息。

具體來說，軟提示調優通過引入少量可學習的提示詞向量來實現場景定制化。這些提示詞就像是給模型提供的"小抄"，告訴它在當前場景下應該重點關注哪些信息。重要的是，這個過程只需要訓練這些新增的提示詞參數，而不需要修改龐大的基礎模型參數，因此既高效又經濟。

訓練過程采用了基于聚類的原型對比損失函數。系統為每個業務類別維護一個可學習的原型中心，訓練過程中會將同類用戶的表示向對應的原型中心拉近，同時推開不同類別的表示。這種設計確保了模型在不同場景下能夠形成清晰的決策邊界。

更令人驚喜的是，通過對比分析軟提示調優前后的注意力權重變化，研究團隊發現模型確實學會了場景化的信息篩選。比如，在外賣興趣預測場景下，模型對支付行為數據的關注度提高了26%，因為支付數據更能反映用戶的購買力。而在螞蟻森林參與度預測中，模型對導航路徑數據的關注度提升了6.4%，因為這類數據更能體現用戶的應用內活躍度。

五、高效部署的緩存優化策略

工業級應用的一個關鍵要求是能夠同時支持多個業務場景的實時推理，而且要在嚴格的延遲限制下完成。Query-as-Anchor框架通過一個巧妙的鍵值緩存優化策略完美解決了這個挑戰。

這個優化策略的核心思想是"一次編碼，多次使用"。系統將用戶行為編碼過程分為兩個階段：重計算量的用戶前綴編碼和輕量級的查詢后綴處理。

在用戶前綴編碼階段，系統會將用戶的完整行為數據進行一次性的深度編碼，生成對應的鍵值緩存。這個過程雖然計算量大，但只需要執行一次，生成的緩存可以在多個查詢中重復使用。

當需要針對不同場景生成用戶表示時，系統只需要處理相應的查詢指令，并將其與已緩存的用戶前綴進行拼接。由于查詢指令通常很短，這個過程的計算開銷微乎其微。

這種設計帶來了顯著的效率提升。假設需要為同一用戶生成N個不同場景的表示，傳統方法需要進行N次完整的編碼過程，而Query-as-Anchor只需要一次用戶編碼加上N次輕量級的查詢處理。當N較大時，效率提升非常明顯。

在支付寶的實際部署中，這種優化策略使得系統能夠用單個額外的L20 GPU就支持一個新的業務場景，而傳統方法可能需要重新部署整個100 GPU的集群。這大大降低了多場景服務的成本和復雜度。

六、全面的實驗驗證與效果分析

為了驗證Query-as-Anchor框架的有效性，研究團隊進行了全方位的實驗評估，包括離線實驗和大規模在線A/B測試。

離線實驗覆蓋了支付寶生產系統中的10個真實業務場景，分為用戶參與度、風險控制和營銷敏感度三大類。每個場景都包含約50萬個測試樣本，確保了評估結果的可靠性。

在用戶參與度場景中，Query-as-Anchor在所有4個子任務上都取得了最佳性能。特別是在螞蟻森林參與度預測中，AUC指標達到了0.9716，相比最強基線模型提升了約13%。這表明模型能夠準確識別哪些用戶更可能參與環保活動。

風險控制場景的結果更加令人印象深刻。在反欺詐檢測中，系統的KS值（用于衡量模型區分能力的關鍵指標）達到了0.7086，大幅超越了傳統方法。在反洗錢場景中，AUC指標高達0.9439，這意味著系統能夠以很高的準確率識別可疑的資金流動模式。

營銷敏感度場景的表現同樣出色。在品牌敏感度預測中，Query-as-Anchor的AUC從基礎版本的0.7979提升到軟提示調優版本的0.8535，提升幅度接近7%。這種改進對于精準營銷具有重大意義，能夠顯著提高營銷活動的轉化率。

更重要的是，消融實驗清楚地展示了框架各個組件的貢獻。移除對比學習組件后，平均AUC從0.8104下降到0.7667，證明了對比學習在建立用戶-場景對應關系中的關鍵作用。移除分層編碼結構后，性能也有明顯下降，驗證了這種設計的有效性。

大規模在線A/B測試進一步證實了系統的實用價值。在智能語音外呼的現金儲備推廣場景中，使用Query-as-Anchor的策略使提取率提高了12.5%，人均未償余額增加了5.3%。在信貸風險識別場景中，關鍵的KS指標提升了1.96%，這在風控領域是一個相當顯著的改進。

七、技術創新的深度剖析

Query-as-Anchor框架的技術創新體現在多個層面，每個創新點都針對工業級用戶表示學習的特定挑戰。

首先是數據層面的創新。UserU數據集的構建解決了用戶理解訓練數據稀缺的根本問題。通過結合規則基礎的未來行為預測和大語言模型生成的問答理解任務，系統獲得了豐富的監督信號。特別是自反思數據生成機制，確保了合成數據與真實用戶行為的一致性，這對于提高模型的實用性至關重要。

架構層面的創新主要體現在分層編碼和雙塔設計上。分層編碼有效解決了多模態異構數據的整合問題，而雙塔架構則實現了行為理解和場景適配的解耦。這種設計不僅提高了模型的靈活性，還為后續的優化和擴展提供了便利。

訓練策略的創新體現在聯合對比-生成優化目標上。對比學習確保了表示的判別性，而生成任務增強了語義理解能力。這種結合避免了單一目標可能導致的表示坍縮或語義貧乏問題。

部署優化的創新則解決了工業級應用的效率需求。鍵值緩存策略實現了計算復用，軟提示調優提供了輕量級的場景定制化能力。這些創新使得系統能夠在保持高性能的同時，滿足大規模部署的成本和延遲要求。

八、實際應用效果與業務價值

Query-as-Anchor框架在支付寶的實際部署展現了顯著的業務價值。系統目前每日為數億用戶生成個性化表示，支撐著風險控制、精準營銷、用戶運營等多個核心業務場景。

在風險控制領域，系統的部署大大提高了欺詐檢測和反洗錢的準確性。傳統的規則基礎系統往往存在較高的誤報率，而Query-as-Anchor通過深度理解用戶行為模式，能夠更準確地區分正常用戶和風險用戶。這不僅降低了業務風險，還改善了正常用戶的使用體驗。

精準營銷方面的改進同樣令人印象深刻。通過更準確地識別用戶對不同產品和服務的興趣程度，系統能夠實現更精準的內容推薦和營銷投放。這不僅提高了營銷活動的轉化率，還減少了對用戶的騷擾，提升了整體用戶滿意度。

用戶運營場景中，系統能夠幫助業務團隊更好地理解用戶需求和行為模式，從而制定更有效的用戶增長和留存策略。比如，通過分析用戶對不同功能的使用模式，可以優化產品設計和功能布局。

從技術角度來看，Query-as-Anchor的部署也帶來了顯著的運維效益。傳統的多場景用戶表示系統需要為每個場景維護獨立的模型，導致系統復雜度高、維護成本大。而Query-as-Anchor通過統一的框架支持多個場景，大大簡化了系統架構和運維流程。

九、局限性分析與未來展望

盡管Query-as-Anchor框架取得了顯著成功，但研究團隊也誠實地分析了其局限性和改進空間。

首先是模型規模的悖論問題。實驗發現，在固定的訓練數據和計算預算下，更大的模型（1.5B和3B參數）并不一定帶來更好的性能，有時甚至出現性能下降。這種現象被稱為"嵌入縮放悖論"，表明嵌入質量的提升更多依賴于訓練數據的質量和多樣性，而非簡單的參數增加。

其次是跨領域泛化能力的限制。雖然系統在支付寶生態內表現優異，但在遷移到其他平臺或領域時可能面臨適應性挑戰。這主要是因為不同平臺的用戶行為模式和業務邏輯存在差異。

另外，軟提示調優雖然提供了場景定制化能力，但對于快速變化的業務需求，仍然需要一定的重訓練時間。如何實現更加靈活和快速的場景適配仍是一個待解決的問題。

針對這些局限性，研究團隊提出了幾個重要的未來研究方向。首先是探索梯度恢復和自適應參數調優技術，以克服大模型訓練中的優化平臺期，從而充分發揮大模型的潛力。其次是研究更加通用的跨域遷移方法，使系統能夠更容易地適應不同的應用場景。

此外，團隊還計劃探索更加動態的場景適配機制，比如基于元學習的快速適應方法，以及實時的用戶行為模式檢測和適配技術。這些創新有望進一步提升系統的靈活性和實用性。

說到底，Query-as-Anchor框架代表了用戶表示學習領域的一個重要進展。它不僅解決了工業級應用中的多個技術挑戰，還為這一領域的未來發展指明了方向。隨著技術的不斷成熟和完善，我們可以期待看到更多基于這一框架的創新應用，進一步改善我們的數字生活體驗。

這項研究的成功也展示了產學合作的力量。通過結合螞蟻集團的豐富應用場景和數據資源，以及學術機構的理論創新能力，研究團隊能夠開發出既具有理論深度又有實用價值的技術方案。這種合作模式值得在更多領域推廣和借鑒。

Q&A

Q1：Query-as-Anchor框架解決了什么核心問題？

A：Query-as-Anchor解決了傳統用戶畫像"一刀切"的問題。傳統方法為每個用戶生成固定的表示，無法根據不同業務場景調整。而這個框架能根據具體查詢（如風險評估或商品推薦）動態生成針對性的用戶表示，就像一個智能變色龍，在不同場景下展現不同特征。

Q2：這個技術在支付寶的實際應用效果如何？

A：在支付寶的大規模A/B測試中，Query-as-Anchor在多個場景都取得顯著提升。智能語音外呼場景中提取率提高12.5%，信貸風險識別的KS指標提升1.96%。同時大大降低了系統復雜度，新增業務場景只需一個額外GPU，而傳統方法需要整個100-GPU集群。

Q3：軟提示調優技術是如何工作的？

A：軟提示調優就像給通用模型配備智能眼鏡。不同業務場景對應不同鏡片，當模型處理特定任務時戴上相應眼鏡，就能更清楚看到關鍵信息。它只訓練少量提示詞參數，不修改基礎模型，既高效又經濟。實驗顯示，外賣場景下模型對支付數據關注度提高26%。