基礎設施建設下一步的著力點在哪里？｜甲子引力

從“有算力”進化到“好用且用得起”。

2025年12月3日，「甲子光年」在北京萬達文華酒店圓滿舉辦“轟然成勢，萬象歸一”2025甲子引力年終盛典。

在下午的AI模型、基礎設施與生態建設專場中，「甲子光年」特邀六位來自基礎設施關鍵環節的實踐者——庭宇科技聯合創始人&CTO陶清乾、清程極智聯合創始人&產品副總裁師天麾、GMI Cloud工程VP錢宇靖、Zilliz合伙人&產品負責人郭人通、科杰科技聯合創始人兼副總裁朱建勇，在主持人共績科技聯合創始人&CMO杜昔熺的引導下，圍繞主題《AI基礎設施建設下一步的著力點在哪里？》展開了一場務實而前瞻的對話。

從算力調度、數據治理到軟件棧優化，AI基礎設施的成熟度，直接關乎技術能否從演示走向規模化，從成本中心轉化為生產力引擎。

然而，當前的基礎設施版圖仍充滿挑戰：算力是否“好用且用得起”？數據如何真正“就緒”？軟件棧又如何彌合硬件與場景的鴻溝？

本場圓桌直擊核心矛盾：在算力、數據、軟件棧與商業模式的“木桶”中，究竟哪一塊是最短的木板？嘉賓們從邊緣云調度、推理引擎優化、全球化算力服務、向量數據庫演進、數據平臺重構等多重維度，剖析了當前制約AI規模化落地的真實瓶頸。

討論進一步延伸至對未來殺手級應用的預測——無論是視頻生成、企業智能體還是AI編程助手，其爆發都將對現有基礎設施提出更為苛刻的要求。

從識別短板到構筑長板，從應對當下到備戰未來，這場對話不僅勾勒出AI基礎設施演進的技術圖譜，更揭示了其背后深刻的產業邏輯與全球化競爭態勢。

以下是本場圓桌的文字實錄，經「甲子光年」編輯，在不改變原意的基礎上略有刪改。

杜昔熺（主持人）：各位嘉賓、朋友們下午好，我是主持人杜昔熺（主持人），也是共績科技聯合創始人。今天很榮幸與各位專家在甲子光年盛會中探討關鍵議題——在全面邁向AI+時代、構建開放協同生態的進程中，扎實的AI基礎設施正是這一切的根基。首先，請各位用一分鐘簡單介紹自己和公司，從陶總開始。

陶清乾：大家好，庭宇科技成立于2019年，是一家邊緣云技術服務商，專注于分布式算力與網絡場景。近年來重點布局AI算力基礎設施與Agent Infra解決方案，已積累多項行業落地經驗。很高興在此與各位交流。

師天麾：大家好，我是清程極智師天麾。公司于2023年底成立，團隊源自清華大學高性能計算所，專注于AI Infra系統軟件層，提供訓練、推理、微調的端到端優化。目前客戶涵蓋多家國產芯片廠商、算力中心，以及石油、金融等行業企業，助力實現降本增效。

錢宇靖：大家好，我是GMI Cloud錢宇靖。GMI Cloud是全球首發六大Reference Platform NVIDIA Cloud Partner之一，總部位于硅谷，業務覆蓋從GPU集群建設、基礎設施即服務到模型即服務的全鏈條；主要服務美國本土及出海企業，目前正在建設亞洲首個萬卡GPU集群的AI Factory。

郭人通：大家好，我是Zilliz的郭人通。Zilliz專注于向量數據庫賽道，開源項目Milvus廣泛應用于RAG、Agent等場景。我們已實現商業化，產品與服務覆蓋全球。面對AI數據指數級增長，我們正探索將向量數據庫演進為AI數據上下文數據庫，以應對基礎設施層面的挑戰。

朱建勇：大家好，我是科杰科技朱建勇。科杰科技專注于人工智能-數據基礎設施領域，核心產品數據智能平臺KeenData Lakehouse服務于大型央國企，構建Data與AI一體化底座，推動數據要素流通與發展。目前已服務超200家客戶，覆蓋20多個行業，并拓展至東南亞、中東等海外市場。很高興今日與各位同行交流。

1.AI基礎設施如何制約AI應用的規模化落地？

杜昔熺（主持人）：謝謝幾位嘉賓。接下來進入核心環節：如果把AI基礎設施比作一個木桶，算力、數據、軟件棧、人才等都是木板。大家認為，當前制約中國AI應用規模化落地的最短的那塊木板是什么？為什么？

陶清乾：我認為是軟件技術棧和工具鏈。國內AI應用落地速度很快，算力等基礎設施也具備優勢，但應用層仍多停留在聊天、問答等場景。要讓Agent真正在“執行層”上替代人、完成任務，實現“最后一公里”，還有很長的路要走。這是我們庭宇科技正在努力探索的方向。

師天麾：我認為短板在算力硬件與軟件棧之間的協同。國內常討論算力緊缺，但實際上不少算力并未被充分利用，核心在于硬件與軟件的適配不夠好，導致硬件“不好用”。我們開源的“赤兔推理引擎”，正致力于屏蔽底層硬件差異，統一接口，讓國產GPU能先被方便地用起來，再逐步優化性能與性價比。

錢宇靖：從出海視角來看，判斷短板其實很簡單——就看token的生命周期：從一個token的需求發起，到它被及時返回，總耗時有多長？空置的token又被浪費了多少？

國內企業出海，首先面臨算力掣肘；其次對海外算力不夠了解，不知道通過什么渠道獲取；當算力不足時，又該如何通過托管服務等方式找到平價替代方案。這正是我們GMI Cloud致力于解決的問題：幫助企業最大化GPU利用率，匹配最合適的算力，從而優化整個token的生命周期。

郭人通：在討論 AI 在國內的大規模落地時，大家通常會從數據、算力、軟件棧等基礎設施維度去尋找瓶頸。但如果只聚焦單一市場，例如僅從中國市場來看，這些要素本身往往并不會構成不可逾越的障礙。真正的問題出現在全球化視角下：當企業不再只服務單一市場，而是面向多區域、多國家同步推進 AI 應用時，人才、組織能力與基礎設施之間的協同短板便會被迅速放大。

如今，行業更多從全球化視角思考問題，例如出海或國際化。AI應用迭代必須迅速，一旦試點成功，就需快速向全球復制擴張。我們看到許多客戶同時耕耘中國市場，并計劃同步拓展歐美、東南亞等地。在運營模式上，有的設立國內外雙實體，有的則將成本中心置于國內，業務面向全球。

無論采取何種模式，在高速擴張過程中，我剛才提到的那些基礎設施要素——我不希望每個市場都成為彼此割裂的“煙囪”。恰恰在此處，現有的基礎軟件棧存在顯著缺口：每進入一個新區域，都不得不重新構建許多組件。此時，短板效應便尤為突出。

以我們所在的向量數據庫領域為例，關鍵在于能否在不同區域快速部署同一套系統，以支持業務的全球高速擴張，同時滿足各地區的合規、安全與隱私要求。我認為，這些在落地實踐中浮現的問題，比通常討論的技術瓶頸更值得關注。

朱建勇：我認為在AI時代，算法、算力和數據是影響落地的三大核心要素。從產業結構看，國內已建設大量超算與智算中心，算力層面并無明顯差距。算法層面，無論是DeepSeek、通義等大模型，國內外也并無本質差異。

最核心的短板在于數據。要將數據真正貨幣化，必須首先解決“數據就緒”問題。當前面臨三大挑戰：

第一，過去互聯網和移動互聯網積累的海量數據，在AI時代如何更高效地存儲、計算和流通利用。

第二，從數據庫、數據平臺到AI基礎設施時代，多元異構數據的融合處理問題。

第三，AI落地需要規模化推進，傳統數據倉庫或平臺已無法滿足大規模、廣泛落地的需求，這對基礎設施提出了全新挑戰。

杜昔熺（主持人）：接下來請陶總從邊緣云與算力調度的視角回答：除了規模擴張，下一代算力基礎設施需要在調度與服務層面實現哪些關鍵突破，才能讓我們從“有算力”進化到“好用且用得起”？

陶清乾：這個問題很多企業都在面對。結合庭宇科技在分布式算力領域的實踐，我認為需要實現三層突破：

第一層是異構適配與池化。無論是早期布局的渲染算力，還是當前的推理算力，核心邏輯都是將分散的算力集中池化使用。因此，首先要解決異構硬件、IDC環境與網絡的通用化接入問題，這是基礎。

第二層是性能與效能的工程優化。在推理算力領域，如何通過軟件工程與大規模實踐，將推理效用最大化，是讓算力“好用”的關鍵。這需要深厚的技術積累與工程化能力。

第三層是場景化調度與服務性價比。基礎設施要具備持續競爭力，最終要看服務性價比。這就需要基于多樣化場景需求，在不同時間、不同場景下靈活調度同一批算力，通過覆蓋更多行業應用來提升整體利用率。

從渲染算力到推理算力，我們始終遵循這三個層次的實踐邏輯。

庭宇科技聯合創始人&CTO陶清乾

杜昔熺（主持人）：謝謝陶總。我們可以進一步聚焦到具體的計算任務和集群內部——如何將每一塊GPU的潛力壓榨到極致，這是個工程上的硬骨頭。錢總，您之前在硅谷頂尖實驗室和科技公司有過全棧經驗，現在在GMI Cloud負責面向全球開發者的高性能推理平臺。在您看來，若要構建一個全球統一的推理引擎，當前制約性能與成本的核心瓶頸是什么？GMI Cloud如何應對？

錢宇靖：這個問題可以從兩個方向看：調度層與推理軟件棧。

首先是調度層。對出海企業而言，業務往往按區域推進，需要在每個區域部署充足算力，或考慮將負載調度到較遠的算力節點。調度層的效率直接影響成本——客戶按卡時計費，既不愿算力閑置，也怕流量高峰時無算力可用。因此，我們建立了涵蓋自運維集群與第三方數據中心的統一管控平臺，以實現高效的GPU全局調度。

其次是推理軟件棧。這方面的優化已從一兩年前的實驗室階段快速普及，如今開源社區的性能已逐步逼近閉源方案。因此，軟件棧層面的性能差距會持續縮小、趨于充分競爭，潛力將被不斷挖掘。

綜合來看，軟件層的優化空間會越來越趨于飽和，而硬件調度層的全局優化，仍然是提升推理性能與成本效率的關鍵。

GMI Cloud工程VP錢宇靖

杜昔熺（主持人）：謝謝錢總從出海視角的分享。師總，您在清程極智專注于大模型落地，在您看來，當企業將大模型投入生產環境時，在推理性能、成本和穩定性方面，最常見的瓶頸是什么？在推理基礎設施層面，我們應該優先解決哪些問題，比如延遲、吞吐還是資源隔離？

師天麾：關于性能，關鍵在于結合具體場景、硬件條件與應用需求進行優化。相同硬件經不同調優，效果可能差距顯著。為此我們通常與客戶深入溝通，明確其硬件配置、并發規模及延遲要求，并由專家協助實現目標性能。

成本問題通常更為根本，主要體現在兩方面：一是算力成本。我們通過軟件優化降低硬件需求，例如將所需機器數量從二十臺減少至十臺。但目前許多企業尚未充分認識到軟件在GPU時代的關鍵作用——不同水平的代碼可能導致數十倍甚至上百倍的性能差異。值得欣慰的是，AI基礎設施軟件層的重要性正日益獲得重視。

二是隱性成本，尤其是人才成本。AI基礎設施領域人才稀缺、薪酬高昂，且培養周期長，企業自建團隊難度大、成本高。因此，我們常與算力運營商合作，整合其硬件資源與我們的軟件能力，形成互補。

至于穩定性，推理階段相比大規模訓練更易把控，局部故障通常不影響整體服務，因此并非主要瓶頸。我們更關注的，始終是在性能與成本之間為用戶實現最優平衡與增效。

清程極智聯合創始人&產品副總裁師天麾

杜昔熺（主持人）：謝謝師總。郭總，我們知道推理服務離不開對模型及數據的管理。RAG是目前增強大模型知識的主流方案，向量數據庫是其核心。但此前業界曾有質疑，認為向量數據庫可能只是過渡方案。站在當下，您認為向量數據庫在AI基礎設施中的核心價值是什么？與一兩年相比有何變化？下一步發展的關鍵點又是什么？

郭人通：這個問題在去年討論很多，但近半年已很少聽到。當前AI落地主要分兩個方向：一是大模型廠商追求的通用智能，二是企業在垂直領域解決大模型不擅長的問題。

如今大家更傾向于將模型能力與外部知識分開：模型負責決策，垂直領域的事實性知識則通過向量數據庫等方式提供。這不僅是為了對抗幻覺，行業還在結合知識圖譜乃至更嚴格的邏輯建模方法來提升可靠性。

我們觀察到，AI處理復雜任務時所依賴的上下文數據正呈指數級增長。僅看向量數據，頭部客戶的規模每年就以約十倍的速度增長。從成本與效果上看，將所有事實知識都編碼進大模型是不現實的。因此，未來一定是數據基礎設施與上層大模型決策能力緊密協作的格局。

Zilliz合伙人&產品負責人郭人通

杜昔熺（主持人）：確實，無論是訓練還是RAG，根基都在于高質量的數據。沒有可靠的數據，再好的算力和模型都是空轉。朱總，在AI時代，傳統的數據湖、數據倉庫與新興的AI數據管理需求之間，您認為出現了怎樣的差距？

朱建勇：當前企業推進AI落地時確實感受到明顯挑戰。傳統數據庫主要處理結構化數據，用于經營分析；數據湖技術則引入了非結構化數據處理能力。而AI時代的需求更進一步，需要統一存儲和處理多模態數據，并實現數據工程與AI工程的深度融合。

從技術產品層面，新一代AI基礎設施需解決四個核心：

1.多模態數據的統一存儲計算與底層GPU算力的動態調度；

2.數據全生命周期（從采集、清洗到模型調優、Agent部署）與AI工程流程的深度融合；

3.依托數據治理與AI能力，構建高質量、可實時響應的數據集；

4.實現數據資源的高效管理與運用。

此外，面向大型組織落地時，僅有優秀的產品技術還不夠，更需要一套適配AI時代的工作方法論——將工程能力、技術產品與具體業務場景結合，形成可推廣的AI運營與落地體系。因此，產品技術與方法論的結合，是AI時代與傳統數據管理最本質的區別。

科杰科技聯合創始人兼副總裁朱建勇

2.下一個殺手級AI應用在哪里？

杜昔熺（主持人）：謝謝朱總。剛才我們探討了數據、應用、推理引擎等多個層面。現在想請五位嘉賓共同思考：除了當前的C端應用（如聊天機器人、文生圖），下一波殺手級的AI應用可能出現在哪個領域？它又會對AI基礎設施提出哪些今天尚未準備好、更為苛刻的新要求？

陶清乾：從人機交互形態來看，我們會從文字、圖文走向更豐富的視頻、3D乃至虛擬現實交互。因此，AI應用也將從聊天、文生圖演進為支持雙向、多模態的擬真互動。

其次，AI將逐步替代人在終端上執行的重復性、低價值或易出錯的任務。這要求Agent具備規劃與執行復雜任務的能力。下一波應用爆發時，必然需要更完善的Agent基礎設施和行業解決方案來突破“復雜任務執行”這一關鍵瓶頸。

師天麾：剛才陶總說的交互式，包括元宇宙、虛擬現實這些，我覺得會是一個未來，只不過這個未來可能會稍微遠一點。近一點的未來看，互聯網發展到現在，技術可以變，人的需求是不會變的，大家最后喜歡的形態還是視頻，比如現在短視頻、短劇，這個力量非常大。所以我感覺下一個出現點是更好的圖片和視頻的生成。

現在最大的問題是又慢又貴，慢是一個點，但貴是很要命的。我之前跟一個動畫導演聊過，他們是做動態漫畫的，把文字先變成圖片，再動起來，比普通漫畫感官好一點。但我看了他們的全流程，有50%以上都可以用AI來降本增效。可他說實際上只有20%-30%能用AI，其他還得靠人工。為什么？因為AI太貴了。如果放到二三線城市，人工成本沒那么高，但用AI生成視頻的話，可能兩分鐘就把人一天的工資給干完了。這個時代太貴了，尤其像圖片、視頻還有抽卡機制，生成一次效果不行，得生成四次甚至十次，本來一次成本就高，十次真的扛不住。

因此，基礎設施必須圍繞圖片、視頻等多模態架構，在軟件、硬件與算法層面進行系統性協同優化，切實提升速度、壓低成本，這是必然的發展路徑。

我們去年就跟生數科技一起合作，幫他們把圖片生成工作流從30秒降到6秒。今年我們也繼續在多模態上優化，明年應該也會做出更好的效果。

錢宇靖：從出海視角看，海外AI軟件服務市場前景廣闊，這一點已成為共識。但近期一項研究報告指出，目前可能僅有5%的企業真正用上了AI，其余95%的嘗試均告失敗。

這一現象值得關注。當前以傳統軟件服務模式引入AI，無論在基礎設施還是產品形態上，或許都尚未成熟。我認為下一個殺手級應用必然是企業內部AI的大規模普及，無論是通過AI Agent實現自動化，還是借助生成式模型推動行業整體升級。

無論何種形式，都必須從行業內部出發，形成自上而下的應用路徑，而非依賴外部推銷軟件。從AI基礎設施的角度看，這帶來了明確的挑戰：私有化部署、企業內部算力整合、數據安全與合規要求，以及全球化場景下的多租戶解決方案支持。

這正是當前AI基礎設施層面最突出的問題，也是GMI Cloud持續致力于解決的——幫助企業以合規、安全的方式，在全球范圍內落地AI基礎設施。

郭人通：我最期待Coding領域的突破。現在更多是小型項目，但如果Coding加Agent能handle中型甚至大型項目，整個故事就完全不一樣了。

現在基礎設施標準化，業務千變萬化。如果AI和Agent在底層也有強能力，廠商拼的就是復雜度控制。早些年超大型C語言分布式系統項目，我們能控制的復雜度很低。如果Agent進來，能幫我們抬金字塔高度，負責很多力氣活和規模化復雜度，我們就有能力構建更復雜軟件系統。

另外，國內做私有部署和定制化反而是優勢，有能力接受這些定制化，而且不是以人力方式支撐企業營收增長。我確實很期待這個方向突破。

朱建勇：最近Databricks新融資估值1300億美金，透露兩個信息：

第一，接近40億美金年化收入，50%年化增長支撐1300億估值。

第二，基于傳統Lakehouse能力引入AI人才，包括Agent，形成數據加模型加Agent一站式企業級服務戰略。

這個定位對行業有顛覆性。很多組件型廠商面臨挑戰，比如數據庫廠商、標注企業廠商、模型廠商、垂類Agent廠商等。

我認為這個定位蠻OK的，AI落地一定是基于數據加模型加Agent端到端的形式。

杜昔熺（主持人）：感謝各位分享。時間關系，圓桌接近尾聲。最后請每位嘉賓用一句話總結：貴公司致力于打造的不可替代價值是什么？客戶為何選擇你們？

共績科技聯合創始人&CMO杜昔熺

陶清乾：庭宇始終堅持分布式算力路線，在兩大場景優勢突出：一是為智能體提供運行所需的基礎設施環境；二是未來大規模、高性價比的推理需求將逐步下沉至邊緣。這是我們持續深耕的方向。

師天麾：清程極智專注于根據客戶實際場景與硬件需求（無論國產或海外），提供定制化性能優化。憑借在性能優化領域的持續深耕，我們旨在成為企業不可或缺的算力合作伙伴。

錢宇靖：GMI致力于提供AI原生的一站式出海算力解決方案，核心是服務好客戶的每一個Infra 需求，無論是Baremetal，還是Token。

郭人通：Zilliz作為AI原生數據庫基礎設施，關鍵詞是“擴展”。一方面助力出海客戶實現全球化服務的擴展；另一方面，當AI應用流量爆發時，確保底層基礎設施能穩健承接，應對每周可能出現的指數級數據增長與超大規模系統挑戰。

朱建勇：科杰科技始終致力于成為企業級Data&AI技術引領者。我們面向大型組織，構建數據底座以支撐其轉型；同時，積極響應國家數據要素流通戰略，以基礎設施能力為數字經濟發展貢獻力量。我們堅信，中國科技企業有能力和擔當走向全球，在AI時代競爭中做出應有貢獻。

杜昔熺（主持人）：謝謝朱總，也再次感謝各位嘉賓的精彩分享。希望臺上臺下都有所收獲。祝大家工作順利，萬事如意！

（封面圖及文中配圖來源：2025甲子引力年終盛典）