那些爛尾的DeepSeek一體機項目，怎么收場？

老曹這幾年，太難了。

他是第一批對大模型有先知先覺的人，兩年前從大廠辭職出來，開始圍繞大模型做生意。

從最初倒騰GPU，到后來攢智算中心，再到幫人做萬卡訓練集群的優(yōu)化，啥火搞啥。

每天忙得像個「影帝」，年底一算收入，掙得還不如「群演」。

可是這半年，老曹徹底轉(zhuǎn)運了，搞得風生水起。

為啥，原來，他轉(zhuǎn)型幫人做大模型推理方案咨詢服務。

在我看來，這生意卷的很，什么各種大模型一體機滿天飛，真能掙到錢？

老曹嘿嘿一笑，講起了他的生意經(jīng)↓

你以為那些DeepSeek一體機真能滿足需求？

我現(xiàn)在的項目核心切入點，就是讓那些爛尾的DeepSeek一體機重新支棱起來。

年初跟風上一體機的客戶太多了，但現(xiàn)在不少客戶的一體機都砸手里了，遠遠低于他們的預期。

說著，老曹站起身，在他辦公室的白板上一頓寫寫畫畫，給我講起了「爛尾」原因。

剛開年的時候，客戶們的關(guān)注點都是搶DeepSeek一體機，能不能跑滿血、性能是多少，追求總吞吐量、TPOT、TTFT…

說白了，開始還是嘗鮮心態(tài)，后來真用起來，才發(fā)現(xiàn)問題多了去了↓

推理性能宣傳吊炸天，實際場景拉垮

很多廠商宣傳的TPTT、TPOT都是理想極限值，一旦上下文長度增加，或者加上RAG，就拉稀。

多模型適配、升級、調(diào)度，完全搞不定

這半年出了很多爆款開源模型，Qwen、K2…，很多客戶希望在一體機平臺上嘗試，還希望多模型調(diào)度、切換…，跑起來容易，跑得好很難。

多機并行推理，PD分離部署，坑多水深

對很多企業(yè)來講，一臺往往不夠用，當他們希望擴展到集群部署，再搞PD分離架構(gòu)，簡直就是遇到“嘆息之墻”，難以跨越。

還有，客戶自己有些存量智算服務器，也希望一起跑起來。

老曹balabala講了半天，我越聽越不信↓

雖然老曹是智算老司機，但這些都是新問題，他憑啥搞定？

老曹嘿嘿一笑，說：我給你講個秘密↓

不是我牛B，是我用的方案牛B。

我現(xiàn)在用紅帽的「AI全家桶」，瞬間就把這些項目盤活了。

這個“桶”里都有啥黑科技呢？

紅帽AI的第一個神器，叫做：AI Inference Server，紅帽AI推理服務器。

聽聽這名字，一看就是專門干模型推理的。

但別無誤會，這不是硬件，而是軟件，它的工作是適配各種AI服務器，讓它們把推理服務跑得更歡。

紅帽AI推理服務器有三大絕技↓

首先，它提供經(jīng)過加固的、提供持續(xù)支持服務的vLLM商業(yè)發(fā)行版。

vLLM大家都不陌生吧？堪稱最受歡迎的開源推理引擎，市面上生產(chǎn)環(huán)境部署的大模型推理服務，背后都有vLLM的影子。

但有一點你可能不知道，紅帽是vLLM開源社區(qū)最大的貢獻者之一。

所以，紅帽推出vLLM發(fā)行版，就好比紅帽是Linux開源社區(qū)的領(lǐng)先貢獻者，推出了最流行的企業(yè)級Linux發(fā)行版RHEL。

“紅帽版vLLM”，底層仍基于開源vLLM，但紅帽會對其做企業(yè)級加固，確保更高的穩(wěn)定性、安全性和版本一致性。

按老曹的說法，用社區(qū)版vLLM，要自己適配硬件、調(diào)試優(yōu)化、修復漏洞，遇到bug，也只能依賴社區(qū)issue。

現(xiàn)在用紅帽提供的企業(yè)版vLLM，就能獲得紅帽的企業(yè)級支持，兼容性保證、bug修復、安全補丁全部都有人兜底“背鍋”。

vLLM提供多種推理優(yōu)化手段，以便處理數(shù)千億甚至萬億參數(shù)規(guī)模的模型。

比如張量并行、流水線并行，還有針對MoE模型的專家并行，以及面向PD分離場景的數(shù)據(jù)并行。

不止如此，紅帽還在vLLM基礎上做了擴展，內(nèi)置模型壓縮器（LLM Compressor），這是個統(tǒng)一的量化庫，進一步優(yōu)化性能，大幅降低顯存占用。

還額外增加了推測解碼（Speculative Decoding）技術(shù)，通過類似小模型“打草稿”、大模型“審稿”的工作流程，減少大模型逐token解碼次數(shù)，從而進一步提升推理速度。

更重要的是，紅帽已經(jīng)針對主流GPU、AI加速卡做好了適配和優(yōu)化，這對企業(yè)場景很重要，在實際落地中，支持異構(gòu)硬件是剛需。

老曹深有體會，他去幫客戶做一體機落地，情況千奇百怪。

客戶原來只調(diào)好了一臺一體機，后面要擴展的時候，各種卡、各種硬件都冒出來了。

此時用紅帽AI Inference Server，配上官方“蓋章”的vLLM，適配無壓力、少踩太多坑。

第二，紅帽AI Inference Server用標準化的容器鏡像交付，無論是在RHEL上，還是在OpenShift環(huán)境下，都可以快速部署。

即便是其他K8s或者其他五花八門的Linux發(fā)行版，也可以“一次構(gòu)建，處處運行”。

這一點，老曹也是贊不絕口，真正趟過行業(yè)落地深水區(qū)的老司機都懂，各種復雜的Infra環(huán)境，跨環(huán)境一致性可太重要了。

第三，為了讓推理服務器運行的更輕松，紅帽還悄悄干了一件大事，它們把業(yè)界幾乎所有的熱門開源模型都做了二次優(yōu)化，免費提供下載。

你打開Hugging Face，跳到紅帽目錄下，一定會被他家的默默努力所震驚，足足有500多個優(yōu)化過的模型，不同版本、尺寸、量化規(guī)格的DeepSeek、Qwen、Kimi、Llama、Mistral…

這對老曹來說，可太方便了，不管客戶們的原來一體機想要改跑什么模型，都能搞定。

硬件適配好了，系統(tǒng)適配好了，連模型都給定制優(yōu)化好了，老曹只需要搞點「拿來主義」，就可以輕松治“爛尾”。

紅帽AI的第二個神器，叫做：llm-d，面向生產(chǎn)環(huán)境的大規(guī)模AI推理項目。

llm-d是由紅帽發(fā)起的開源項目，目標就是要打造一個面向生產(chǎn)環(huán)境的、可調(diào)度、可觀測、高效率的K8s原生分布式推理平臺。

是不是看著有點抽象？可是當你需要真正在生產(chǎn)環(huán)境大規(guī)模部署AI推理服務的時候，這個東西就是神器。

比如大模型推理的兩個階段Prefill和Decode，前者需要強計算，后者需要高顯存帶寬。

讓他倆擠到一個節(jié)點，就會爭搶資源，降低效率。

此時用PD分離方案，把他們分別“塞”到不同節(jié)點/Pod，分別優(yōu)化，就能顯著提升推理效率。

但是，節(jié)點多了以后，PD分離部署和調(diào)度靠手搓太麻煩！

此時，llm-d就非常擅長干這事，它借助官方預先提供的PD分離配方（Helmfile），指揮好搭檔K8s，一鍵完成部署。

部署完了還不夠，不同的業(yè)務場景，往往需要不同的PD節(jié)點配比。

所以，你還得做好調(diào)度，持續(xù)監(jiān)測和優(yōu)化。

這個時候，llm-d的智能調(diào)度能力和可觀測性就發(fā)揮出來。

首先llm-d提供了推理調(diào)度網(wǎng)關(guān)（IGW,Inference Gateway），這就好比是推理流量大腦，負責接入流量、調(diào)度流量、管控服務質(zhì)量。

實戰(zhàn)中，IGW作為統(tǒng)一入口，接受用戶請求，并綜合多種指標，智能選擇最優(yōu)的P節(jié)點和D節(jié)點，優(yōu)先減少重復計算，保證推理效果。

這種操作對用戶是完全透明的，以前老曹搞完P(guān)D分離部署后，要反復手搓調(diào)度策略。

現(xiàn)在，交給llm-d，效果又好又省心。

另外，除了K8s原生的那些基礎監(jiān)控能力，llm-d還有專門針對模型推理層和分布式層的監(jiān)控指標，精確判斷PD分離是否健康、調(diào)度是否合理，并跟蹤每一跳的延遲和狀態(tài)。

在實操中，可以充分利用llm-d提供的這種可觀測性，進行效果評估、持續(xù)優(yōu)化。

老曹坦言，紅帽AI Inference Server穩(wěn)住了大模型推理的基本盤，堆高了推理的下限。

而llm-d則可以繼續(xù)拉升推理能力的上限，進一步壓榨硬件能力，讓老曹得意輕松應對用戶各種千奇百怪的需求。

講到這里，老曹頓了頓，繼續(xù)說↓

其實不止這兩個寶貝，連紅帽企業(yè)版Linux操作系統(tǒng)RHEL和混合云平臺OpenShift也都有“AI版”了。

RHEL AI是RHEL的AI增強版，是為大模型和AI工作負載量身定制的「AI原生Linux」，內(nèi)置AI Inference Server、模型壓縮優(yōu)化、跨加速器支持、模型倉庫、覆蓋AI組件的全生命周期安全。

企業(yè)可以直接把它當作AI原生基礎設施，而不是「裸金屬+裸OS+自己折騰」。

而OpenShift AI相當于集成了「AI工具鏈+模型推理+模型管理+多云AI適配+Agent開發(fā)支持」的AI原生版OpenShift。

OpenShift AI包含端到端的AI/ML生命周期支持，整體打通了從開發(fā)、訓練、部署，到持續(xù)監(jiān)控、運維的AI工作流。

同時，OpenShift AI也繼承了OpenShift的多云、跨云一致性體驗。

這就又能讓人少踩很多坑，目前老曹服務的幾個大客戶，都開始規(guī)劃混合部署了：涉及合規(guī)的放本地，開放服務的放云上，低延遲需求的放業(yè)務現(xiàn)場…

用了OpenShift AI，客戶在本地生產(chǎn)環(huán)境驗證成功的大模型方案，可以輕松搬到任意地點（本地機房、托管IDC、公有云、邊緣節(jié)點）。

講完這些，老曹在白板上擦了又畫。

開始了他的總結(jié)：還有一點至關(guān)重要，紅帽AI是100%開源的，選擇自由，用著放心，我很看重，客戶們也很看重！

基礎設施搞定了、AI推理性能上來了，怎么與業(yè)務場景結(jié)合，更好的服務業(yè)務應用呢？

老曹看我還有疑問，于是講出來他最后一個妙招——

這次他算是跟對人了：紅帽已經(jīng)聯(lián)合CIO社群組織、核心企業(yè)CIO、上下游企業(yè)等，成立了企業(yè)級AI+專家委員會，與客戶、伙伴一起共創(chuàng)，加速企業(yè)級AI落地。

比如，這份報告，就是他們匯聚了百位大型企業(yè)CIO真實調(diào)研數(shù)據(jù)，深入分析AI在企業(yè)級應用中的實踐，對AI落地太有幫助了……

老曹已經(jīng)有客戶加入了“組織”，老曹自己也要加入，大家一起“共創(chuàng)”。

我一聽，也立馬來了精神↓

如今，無論是國家層面還是產(chǎn)業(yè)層面，都非?？粗亻_源，紅帽AI不僅100%開源，還提供廣泛的兼容能力、多環(huán)境的一致性體驗、覆蓋AI全生命周期的方案…，而且，現(xiàn)在連探索行業(yè)落地的組織保障都有了。

紅帽AI這趟車，千萬不能錯過！