GDC對話魔方AI負責人廖詩飏：AI應用要看游戲的重點與痛點

成為全球游戲行業最具影響力的價值連接者

游戲日報2026 GDC全球合作與報道通道（點擊圖片了解）

AI已經在深刻影響頭部游戲公司的旗艦新品了。3月10日（太平洋時間），在美國舊金山舉辦的GDC 2026現場，騰訊魔方工作室AI負責人廖詩飏以《異人之下》的開發應用為例，分享了魔方AI探索的最新成果。

演講中，廖詩飏談及傳統動作游戲無法以動捕做100%填充，游戲進程中許多關鍵動作依賴數學模型計算，以至于存在僵硬、穿模等問題。AI技術部署后，路徑從“游戲程序去播放”轉為“體驗過程中實時生成相關動作”，保證了更多細節上的流暢合理性。

據其所言，這一探索的核心原因是“追求更佳美術表現”但“傳統方案難以滿足”。

AI是今年GDC最受關注的話題之一，騰訊游戲也是其中唯一體系化、規模化分享游戲AI應用和實踐案例的廠商，強調“具體應用和實踐AI，解決研發生產問題、優化玩家體驗”。而GDC 2024就開始講AI應用的魔方，是我最早關注到騰訊在該方向做出探索的團隊。

借GDC的機會，我們與廖詩飏就此進行了交流。廖詩飏告訴我，魔方思考方式與“大數據喂AI”的普遍做法不同，更多參考“人類學習知識并思考應用”的模式，朝輕量化、小數據的實用路徑走。團隊也更強調如何用AI提升體驗，與騰訊游戲務實風格一脈相承。

以下為采訪實錄：

游戲日報：今年GDC演講聚焦《異人之下》案例和2024年的《火影忍者》均是動作游戲，魔方AI在它們的應用探索上有何區別？

廖詩飏：2024年主要是講強化學習在動作游戲里應用，我們開發了一套針對動作游戲的訓練系統，同一套技術也應用在了《異人之下》，但今年并沒有單獨拿出來說。

簡單介紹下，體驗上與玩家對戰的經強化學習訓練出來的AI是比較聰明的，動作沒有那么重復，而且不容易讓玩家找到行為模式，這是強化學習比起傳統行為樹做法比較大的優勢。相比《火影忍者》，《異人之下》不再只是一對一的游戲，因此AI訓練也會有所改變。

今年我們聚焦談的是AI做動作動畫生成，《火影忍者》項目上我們嘗試不多，而《異人之下》畢竟是一款較為逼真/像真人動作的3D產品，我們重視動作呈現的效果，也因此為它探索了新技術來提升動畫品質，這對玩家而言可能也是新體驗，“沒以前那樣容易穿模”。

游戲日報：所以決定我們探索方向的是產品？

廖詩飏：是的，應用要看游戲的重點、痛點在哪里，魔方AI團隊是幫助產品團隊去解決他們的訴求，一直以來我們的工作都是如此。

游戲日報：具體來說你們與項目組是怎樣的合作方式？

廖詩飏：魔方的AI團隊成立了五年，一開始就是做《火影忍者》的強化學習技術，當時人力不足，我們就集中地做一件事。后來有了這個成功案例，其他團隊都覺得挺好，他們都想應用，慢慢地探索的領域就越來越多了，包括資產生成、動畫技術、人機交互、大模型等等。

后面幾天也會有《洛克王國：世界》團隊的分享，這款產品里的AI系統也是我們在做，它可能會是魔方工作室應用AI技術最全面的一款產品。

游戲日報：您曾談及AI+游戲的兩大方向AI for Game、AI in Game，在前幾年全球在講的更多是前者，但您自2024年以來在GDC都是聊AI in Game，為什么？

廖詩飏：in Game是改變或者是提升這個游戲的體驗，for Game是用AI來輔助游戲的生產。for Gam相對難以被感知，比如你生產一個美術資產的流程，從100個人/月變成30個人/月，提升了70%，但玩家體驗視角里是不了解的。我個人更想要去做玩家能體驗到的事情（也就是in Game），那感覺會更好玩。

游戲日報：AI發展真能帶出“非AI做不到的體驗”嗎？

廖詩飏：舉個例子，我去年在GDC發表的AI隊友，能夠用自然語言與隊友交互，這是沒有大語言模型時AI完全做不到的，是非常真實的改變。以前完全不行，只能夠通過按熱鍵讓其實現某些動作，但那是沒有目標的，你可以讓它攻擊、防守、撤退，但不能告訴它攻擊哪里，這就是根本的交互模式的改變了。它肯定是真的，是其他技術做不到的。

游戲日報：為什么今年似乎AI in Game突然爆發了？

廖詩飏：我覺得這不是一種轉變，而是一直在做。你能看到我們在講的是AI in Game，以AI NPC為例，它呈現出來非常直觀、非常顯眼，但并不是說在這之前的工作就沒有做。大概三四年前，魔方已經在用AI進行游戲平衡性的測試了。

傳統開發流程中，角色平衡性往往依賴上線后的玩家反饋來修正；AI的應用則支持在新角色發布前完成強度模擬與平衡預研。另外還有AI做地圖BUG的測試，也是很常見的AI輔助游戲生產的領域。

像之前說到的，這些和提效類似，如果我不講，玩家就不會知道。而隨著AI全面應用到不同的生產過程，用戶自己注意到了突出表現，同時大家說的也多了。

游戲日報：國內外目前在AI應用上出現了較大差異，您怎么看？

廖詩飏：中國的公司是全面擁抱AI技術潮流，大規模投入應用。海外目前還普遍存在游戲公司員工、游戲玩家擔心AI介入會帶來負面影響的狀況，這是個大家都能看到的原因。

另一方面我認為是游戲品類不同帶來的差異。國內流行的產品很多偏向PVP，海外內容單機居多，這也會影響AI技術的應用。服務于PVP體驗，國內很多廠商多年前就已經開始研究用機器學習來提升體驗了，海外則更關注智能NPC(追求人與NPC的交互流暢、不重復)以及UGC生成等。這決定了研究方向差異。

舉個例子，之前我們的F.A.C.U.L.技術，即《暗區突圍》智能NPC技術，2025年我在國外做過好幾次研究分享，在歐洲、美國都有。我一講到這個話題的時候就非常受歡迎，那些游戲開發者就有非常多問題想問，他們都想做到這種技術，關注度比其他技術高很多。

游戲日報：如今國內應用AI的維度越來越多了，您認為會引動全球改變嗎？

廖詩飏：有可能吧。起碼我們2025年在GDC發布的F.A.C.U.L.技術在全球來說是有些領先的。我今年1月去了新加坡的AAAI發表F.A.C.U.L.的論文，這是在學術界的AI頂會中首次出現的游戲中人機交互技術論文。技術探索領先，也就會受到國外公司的關注。

附現場演講：

《異人之下》是我們工作室即將推出的免費格斗游戲，游戲中每位角色都有專屬技能、獨特的動作表現和語音臺詞，人物塑造與戰斗策略各有特色。精美的畫面和流暢的動畫，是這款游戲的核心亮點。我們團隊研發了全新解決方案，借助生成式AI技術優化角色動作——角色動作的流暢度直接影響玩家體驗，我們運用動作生成技術優化動作細節和轉場動畫，讓快節奏格斗中的角色動作更絲滑、更自然。

為何我們要為格斗游戲研發這項技術？

格斗游戲中，角色動作狀態需要不斷切換：從戰斗到待機、從攻擊到沖刺再到奔跑，可能的動作轉場組合數量極多。我們無法通過動作捕捉完成所有轉場動作的采集，動畫師也難以手動制作全部轉場效果，因此需要一種能實時生成動作過渡幀的高效方案。

傳統解決方案存在諸多問題：插值算法常會導致角色腳部滑步；逆向運動學（IK）雖能通過調整腳部位置減少滑步，但生成的動作仍顯僵硬、細節不足。而基于高質量動畫數據訓練的AI方案則不同，它能適配不同場景，生成更自然、流暢的動作轉場效果。

和多數同類技術一樣，傳統方案需要龐大的動畫素材庫，占用大量內存，且為每個角色定制轉場動畫的成本極高，泛化能力也很差。比如，若角色更換待機姿勢，就需要對核心功能參數進行大量微調，這也是我們探索生成式AI方案的核心原因。

生成式AI方案具備顯著優勢：能穩定生成動作過渡幀，相關的兩階段Transformer模型和基于視覺的過渡生成技術，可適配多種角色和動作狀態，生成的動作自然、連貫；部分方案還能實現實時可控，效果值得期待。

但AI方案也存在短板：推理耗時過長，難以適配游戲實時運行需求；模型占用內存大，會增加游戲安裝包體積；且現有技術大多在常規場景下驗證，針對功夫格斗這類游戲場景的實際應用案例和相關數據十分匱乏。要將這項技術落地游戲，我們必須解決這些問題。

本項目有三大核心研發目標：從技術美術角度，要在減少人工工作量的同時，保證動畫視覺效果；從游戲設計角度，要保證動作時機和節奏精準，縮短研發周期，避免動作穿模和強制滑步；從游戲開發工程師角度，要控制安裝包體積，縮短推理耗時。唯有同時實現這三個目標，才算形成一套完整的解決方案。

下面為大家介紹我們的整體技術方案：數據層面，采用無標記多視角動作捕捉技術，優化捕捉流程和數據標注方式，同時做好數據篩選與精修；模型層面，采用輕量級設計，精心設計輸入輸出特征，通過損失函數優化提升整體效果；落地層面，實現對不同骨骼結構的適配，處理動態位移與旋轉、動畫節奏、幀同步、穿模規避問題，并針對小幅度奔跑轉場做動作節奏匹配。據我所知，這是AI動作生成技術首次在免費格斗游戲中落地應用。

這是我們的技術流程：當動作轉場觸發時（比如從受擊狀態切換至待機狀態），AI模型會預測轉場過渡幀并完成推理，隨后通過后處理優化效果，最終將生成的動作幀輸出到游戲中展示。整個流程包含數據采集、模型訓練和游戲落地三個核心環節。

接下來講解高質量動作數據的采集與優化方法。傳統動作捕捉需要大型專業場地、昂貴設備，還需在演員身上貼滿標記點才能完成采集；而我們現在僅需在小型空間內，通過7臺運動相機就能實現動作捕捉，成本大幅降低。我們通過三角測量法定位關鍵點位，獲取實時位置信息；采用慣性傳感器修正脊柱旋轉角度，替代傳統面部標記點方案，面部動作捕捉效果良好，且無需在演員身上粘貼標記點，這是一套低成本的動作捕捉方案。

在數據增強方面，我們首先做了空間增強：沿前進軸做鏡像對稱處理，在控制成本的同時，豐富了數據的多樣性。動作捕捉數據的幀率往往與游戲所需幀率不匹配，我們通過縮放處理，讓更多數據適配目標幀率，且盡可能降低失真，這樣就能訓練出更貼合具體游戲場景的模型。基于單條真實的動作樣本，我們能生成更多高質量數據——替換并融合不同的初始動作，保留相似的運動趨勢，既豐富了數據集，又無需額外采集大量原始數據。

接下來介紹模型設計。我們采用多特征編碼器和LSTM模型，輸入為起始姿勢和目標姿勢兩幀畫面；設計了當前狀態編碼器、目標狀態編碼器、偏移編碼器和未來狀態編碼器，分別輸出起始與目標姿勢的位置、旋轉信息，以及兩者的差異和目標姿勢的運動趨勢。這項創新設計，能有效優化大位移的動作轉場效果。

模型的解碼器采用分離式設計：一是混合專家（MoE）解碼器，用于生成過渡幀；同時配備通用解碼器，以及專門的上半身、下半身解碼器，并融入面部和手部動作信息，提升動作完整度。模型每次僅預測一幀畫面，重點優化下半身動作的預測效果，既能提升腿部動作的自然度，又能有效避免滑步問題。

我們采用循環回歸推理方式，模型接收起始姿勢、目標姿勢和當前狀態，逐幀生成過渡幀。這種序列化推理方式能實現高效執行，滿足游戲的實時運行要求，游戲的動畫系統無需等待即可完成動作渲染。

損失函數的設計融合了旋轉、位置、全局坐標等標準指標，同時增加了防腳部滑步、速度和接觸檢測相關的額外損失項；針對腳部接觸規則，還增加了全局速度正則化，避免位置突變。屏幕上的公式，定義了滑步和接觸檢測的相關計算項。

簡單介紹一下模型性能：FP32精度的模型體積約15MB，推理耗時0.75毫秒；我們對模型做了動態量化處理，由于LSTM層占模型權重的80%以上，對LSTM層的量化能實現性能與效果的平衡。量化后的模型體積約6MB，推理耗時僅0.4毫秒，位置偏差控制在1以內。

接下來介紹技術的游戲落地方案，以及如何提升玩家體驗。這是我們的游戲內落地整體架構，采用了上下文模型的通用接口。異步推理模式下，渲染端直接調用推理結果，動畫系統無需阻塞等待。

我們通過偏移動作處理，適配不同的方向和空間變化：位置方面，輸入檢測到的動作位移，輸出實際位置與目標位置的差值，以此生成幀序列；旋轉方面，輸入預測的旋轉值，據此修正全局旋轉角度，屏幕上的公式展示了旋轉差值的應用方法。

模型支持多角色適配，基于統一的骨骼結構完成訓練，通過計算模型骨骼與各角色骨骼的身高比例，實現動作的映射適配，按該比例調整位置和旋轉參數，即可讓同一套動作適配正常身高、矮個子和高個子角色，同時規避武器穿模問題。

武器與角色模型穿模，是游戲動畫制作中最棘手的問題之一，武器的合理位置也是本項目的核心優化點。我們將原有的轉場目標姿勢調整為過渡姿勢，把AI模型生成的轉場動作與美術資源結合，拆分運動捕捉控制器（PMC），避免武器穿透角色模型。這套方案同時適用于“動作轉過渡姿勢”和“過渡姿勢轉待機姿勢”兩種場景。我們將AI生成的轉場動作與奔跑循環動畫做幀匹配，當角色從轉場動作切換回奔跑狀態時，后續動作幀能保持連貫，消除動作卡頓，讓整體表現更自然。

目前，我們已實現方向與空間適配、多角色兼容、動畫幀調整、武器穿模規避和幀匹配等功能。這些后處理和落地環節的技術方案相互配合，最終讓游戲內的角色動作更流暢、更自然。

現在為大家展示游戲內的實際效果，主要有三個案例。第一個案例：角色長距離移動后回到待機狀態。左側采用傳統IK方案的角色，出現了明顯的腳部滑步，姿勢也較為僵硬；右側AI生成的動作則自然很多，即便是大位移的動作轉場，效果也有明顯提升。

AI方案相比傳統方案的優勢十分顯著。比如角色從滑步切換至奔跑的轉場動作：左側傳統方案的角色，轉彎時動作生硬；右側AI生成的動作則自然流暢，同時還能保證操作的響應速度。

最后一個案例：武器展示的穿模問題，這一直是游戲動畫的痛點，傳統方案中角色與武器常會出現互相穿透的情況。大家可以看到，右側AI生成的動畫完美解決了武器穿模的問題。

接下來介紹生產效率的提升效果。針對單個動作：傳統方案需要約30分鐘完成動作捕捉，1小時進行后期精修；而我們的新方案僅需5分鐘捕捉動作，15分鐘完成精修，單動作的制作時間大幅縮短。此外，傳統方案需要930條動作捕捉素材，才能覆蓋930個動作，素材與動作的配比為1:1；而我們的新方案僅需445條素材，就能覆蓋相同數量的動作，配比降至0.48:1。

采用新方案后，美術師無需再制作大量的輔助動畫素材，開發工程師也無需為轉場動畫做大量的參數配置。雖然項目初期需要采集更多數據作為訓練基礎，但后續新增角色時，僅需少量的動作捕捉數據即可適配，素材與動作的配比還會持續降低。

接下來對今天的演講做一個總結。本次我們主要分享了三項核心成果：第一，研發了基于AI的無標記多視角動作捕捉系統，同時優化了工作流程和數據整合方式，提升了數據采集效率，降低了采集成本；第二，精心設計了輕量級模型，實現了游戲內的實時推理應用；第三，結合AI技術與傳統動畫技術，解決了技術落地過程中的各類難題。數據、模型、落地三大環節的技術方案相輔相成，才形成了這套完整的AI動作生成解決方案。

以上就是我今天的全部分享，謝謝大家！

敬請關注↑↑↑

立即登記！