廣東
當前，AI產業已從“追求模型能力的極限” 轉向“追求推理體驗的最優化”，推理成為AI下一階段的發展重心。
推理體驗直接關系到用戶滿意度，也成了衡量模型價值的黃金標尺。
8月12日華為發布的AI推理創新技術UCM（推理記憶數據管理器），作為一款以KV Cache為中心的推理加速套件，融合了多類型緩存加速算法工具，分級管理推理過程中產生的KV Cache記憶數據，擴大推理上下文窗口，以實現高吞吐、低時延的推理體驗，降低每Token推理成本，并已在金融行業內試點應用。
近日，《鳳凰周刊》邀請到華為公司副總裁、數據存儲產品線總裁周躍峰博士，一起聊聊UCM黑科技將對提升AI推理體驗帶來怎樣的變化。
以下為訪談實錄：
《鳳凰周刊》：當前在Token經濟時代，各行各業都出現了各種AI智能體，AI推理又是智能體做決策和響應的關鍵，怎樣才能幫助這些智能體做更多的運算，包括AI推理將對整個行業帶來怎樣的影響？
周躍峰：AI實際上有兩個過程，第一個就是模型的訓練，它主要是培養和訓練一個更好的大腦，具備一定的思考能力，它本質上是一個成本中心。另外一個很重要的是推理，推理才是真正地為我們用戶產生價值的環節。那如何用最少的基礎設施資源提供更好、更優性能的推理服務，是當前最突出的一個問題。
在AI的行業化落地應用過程當中，我們發現有很多問題推不動。比如，我們把一本《紅樓夢》放到推理系統里，讓它分析一下里邊的人物關系，很可能推理系統就推不下去了，因為整部《紅樓夢》的上下文太長了。還有就是我們問一個問題，要等很長時間才能夠出來結果，這就是推理性能的問題。
當然，解決這些問題，我們可以通過堆巨大的算力、存力資源。但是，如何用更少的資源來獲得更好的性能，使AI的商業正循環變好，是當前一個很重要的問題。
《鳳凰周刊》：目前我國AI推理處于怎樣一個階段？
周躍峰：我們國家AI的行業化落地正在蓬勃發展，各行各業都開始用起來了。但實事求是地說，我們的推理相對于領先的國家，比如說美國，我們的推理首Token時延、Token的吞吐率等各項指標還是落后于美國的一些推理系統。
具體我們可以嘗試用中國頭部互聯網的一些大模型和美國頭部互聯網的大模型進行對比，模型的體驗感受會有非常明顯的差距。這就說明我們在基礎設施投入這一塊是不如美國一些科技巨頭的。
如何在有限的基礎設施投入下，讓我們的推理性能和推理的商業回報更高，需要我們做系統性的創新。尤其是在AI推理過程當中，用好每一個硬件，對我們來說是當前迫切要解決的一個問題。
《鳳凰周刊》：本次發布的UCM在業內產生了很大的影響，被視為一項突破性技術。在目前AI推理過程中，UCM發揮了哪些作用？它對于整個AI產業未來發展將產生怎樣的意義？
周躍峰：AI系統和人的思考過程是基本一致的。一個聰明的人，如果分析問題的能力很強的話，一般來說要求他的思維邏輯能力很強。但另外一個很重要的點就是，他的記憶能力也要求很強，就是能夠記下來事情，而且可以很快地回憶起來。
本次我們發布的UCM推理記憶數據管理器，實際上就是發揮了這樣一個作用。我們知道在一個計算中心當中的記憶體，分為高速的記憶體也就是HBM，還有我們動態內存DRAM，然后就是可以讓系統擁有持久記憶能力的專業共享存儲，一般是存在SSD當中。記憶體的成本是從高到低的，但是它的性能也是從高到低。如果說我們把所有在分析問題過程當中的上下文記憶，以及暫存的一些數據都放在HBM當中，當然性能會很好，但是整個系統會非常地昂貴，甚至有的時候實現起來也會很難。
UCM把我們在推理過程中的一些很熱的、需要快速讀取的記憶數據放在HBM當中，相對較熱的放在DRAM內存當中，再其次的放在SSD共享存儲池當中。這樣一個分級緩存的技術可以極大提升整個推理過程當中的效能。
這次我們針對中國銀聯的推理場景做了嘗試和應用，確實印證了這一套算法和軟件可以有效地拉寬記憶窗口。同時，讓首Token的時延極大降低，也讓Token的吞吐率可以極大地提升。
應該說，對于我們國家當前在AI基礎設施投資相對沒有美國高的情況下，是一個非常好的補充，也為很多企業用比較小的推理硬件系統，來完成相對比較復雜問題的推理提供了便利。
《鳳凰周刊》：這些提升大概是一個什么量級的提升？
周躍峰：UCM對普通的推理系統，首Token時延最低可以降低90%，上下文推理窗口可以增大10倍，Token吞吐率可以顯著提升2到22倍。從推理場景的實際應用來看，這些指標是非常優異的。
《鳳凰周刊》：華為在發布會上還公布了UCM的開源計劃，您這邊方便透露一下開源背后有哪些戰略考量嗎？
周躍峰：我們希望中國包括世界上的AI系統，能夠盡快地更多地被應用起來。我們尤其希望很多公司、廠商做了AI基礎設施投資之后，也有更好的商業回報，這是我們的初衷，所以我們希望UCM這套軟件是開源開放的。
我們會在今年9月份將UCM在魔擎社區中開源。同時，我們也會把UCM貢獻給VLLM、MindIE等推理框架社區中，讓更多的廠商和系統提供商能夠用起來。我們不僅僅讓UCM能夠支持華為的專業數據存儲，也可以支持第三方的數據存儲，以產生更大的社會經濟效益。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
