【金猿CIO展】聯(lián)想集團(tuán)CIO Art Hu：小模型為邊緣計算應(yīng)用而生

Art Hu

“【提示】2025第八屆年度金猿頒獎典禮將在上海舉行，此次榜單/獎項的評選依然會進(jìn)行初審、公審、終審三輪嚴(yán)格評定，并會在國內(nèi)外渠道大規(guī)模發(fā)布傳播歡迎申報。

隨著AI應(yīng)用的浪潮從模型訓(xùn)練逐漸過渡到部署和實(shí)施，企業(yè)面臨著諸多問題：如何優(yōu)化戰(zhàn)略投資以實(shí)現(xiàn)最大回報？其中一個核心問題是——那些在訓(xùn)練過程中消耗了大量資源的模型，究竟該選擇大型語言模型（LLM）還是小型語言模型（SLM）？答案在于理解兩者之間的權(quán)衡，并明確它們在四個關(guān)鍵方面的影響：硬件能力、安全性、延遲以及邊緣計算。雖然行業(yè)內(nèi)對此存在爭論，但所謂的“LLM與SLM之爭”其實(shí)并不是真正的爭論。企業(yè)只需根據(jù)應(yīng)用場景進(jìn)行選擇，答案自然清晰。

硬件成本與復(fù)雜性

將模型規(guī)模與硬件能力匹配至關(guān)重要，因為LLM對計算能力的需求遠(yuǎn)高于普通應(yīng)用，包括高帶寬內(nèi)存（HBM）和多塊GPU。大多數(shù)LLM依賴集中式云基礎(chǔ)設(shè)施，因為在本地運(yùn)行它們成本高昂，幾乎不可能在受限設(shè)備上實(shí)現(xiàn)。

相比之下，SLM的參數(shù)更少（通常低于40億），因此所需內(nèi)存顯著減少，并且不需要HBM。這使得它們能夠在更廣泛的硬件上高效運(yùn)行，并顯著降低基礎(chǔ)設(shè)施成本和復(fù)雜性。在計算能力有限的環(huán)境中，如物聯(lián)網(wǎng)設(shè)備、移動平臺或AI PC，SLM往往是唯一可行的解決方案。

安全性與數(shù)據(jù)主權(quán)

SLM在數(shù)據(jù)隱私和安全方面也具有顯著優(yōu)勢。數(shù)據(jù)泄露或泄密無論何時都代價高昂，但對于金融、醫(yī)療或交通等高度監(jiān)管行業(yè)的企業(yè)來說，風(fēng)險更大。這些企業(yè)無法將敏感數(shù)據(jù)跨網(wǎng)絡(luò)長距離傳輸至云端API。雖然隔離或自托管的LLM可以緩解數(shù)據(jù)傳輸問題，但它們效率極低，因為需要大規(guī)模資源和復(fù)雜架構(gòu)。

SLM可以完全在本地部署，甚至直接嵌入硬件，使企業(yè)能夠保持嚴(yán)格的數(shù)據(jù)治理和合規(guī)性。當(dāng)數(shù)據(jù)絕對不能離開數(shù)據(jù)中心或設(shè)備時，SLM不僅是一個選擇，而是必需品。

延時與實(shí)時決策

選擇語言模型時，延遲敏感性是另一個關(guān)鍵因素。隨著行業(yè)從訓(xùn)練轉(zhuǎn)向推理，這些模型被部署在分布式、去中心化的環(huán)境中。許多應(yīng)用需要實(shí)時數(shù)據(jù)來支持決策，延遲往往無法容忍。對于響應(yīng)至關(guān)重要的場景，如語音助手、客服機(jī)器人或邊緣設(shè)備，延遲可能帶來嚴(yán)重影響。如果延遲升級為停機(jī)，財務(wù)后果可能是災(zāi)難性的。

與駐留在數(shù)據(jù)中心或云端、引入2至10秒數(shù)據(jù)傳輸和處理時間的LLM不同，SLM專為速度而設(shè)計。它們可以實(shí)現(xiàn)亞秒級響應(yīng)，非常適合需要即時反饋的應(yīng)用。

底層模型對用戶來說可能是“隱形”的，但其響應(yīng)速度和準(zhǔn)確性卻至關(guān)重要。對于優(yōu)先考慮無縫、快速用戶體驗的企業(yè)，SLM是最佳選擇。

邊緣應(yīng)用

前面三個因素最終指向一個簡單事實(shí)——SLM是為邊緣計算應(yīng)用而生的。無論是驅(qū)動遠(yuǎn)程醫(yī)療設(shè)備還是工業(yè)機(jī)器，SLM都可以獨(dú)立于網(wǎng)絡(luò)運(yùn)行。它們能夠在本地進(jìn)行決策，確保隱私，例如醫(yī)院在邊緣部署AI患者監(jiān)測，或在工廠車間進(jìn)行實(shí)時異常檢測，即使連接不穩(wěn)定也能運(yùn)行。

在各行業(yè)中，下一代邊緣解決方案（如聯(lián)想的TruScale for Edge and AI），旨在將實(shí)時智能帶到數(shù)據(jù)生成的更近位置，體現(xiàn)了向敏捷、分布式AI轉(zhuǎn)變的趨勢，這種AI優(yōu)先考慮速度和安全，而非規(guī)模。共同點(diǎn)是韌性，因為這些應(yīng)用需要更精簡的計算基礎(chǔ)設(shè)施、更高的數(shù)據(jù)安全性和最低延遲才能運(yùn)行。

當(dāng)速度和效率是更重要的考量時，SLM是首選。即使在隔離環(huán)境中，LLM的規(guī)模和基礎(chǔ)設(shè)施要求使其在邊緣部署中不切實(shí)際。對于邊緣AI，SLM不僅是更優(yōu)選擇——它們是必不可少的。

LLM的應(yīng)用場景

然而，并非所有應(yīng)用都運(yùn)行在邊緣。

雖然大多數(shù)企業(yè)在評估邊緣應(yīng)用以最大化生成式AI投資，但有些確實(shí)需要LLM的功能，這些功能存在于核心數(shù)據(jù)中心或云端。全面推理、深度上下文理解和跨領(lǐng)域知識都來自LLM。

這類應(yīng)用更看重全面甚至詳盡的分析，而非快速決策。因此，它們需要巨大的計算能力來運(yùn)行LLM，以生成所需輸出。在這種情況下，某些延遲是可以接受的。擁有支持云訪問或本地化部署基礎(chǔ)設(shè)施的企業(yè)能夠從中受益。此外，這些應(yīng)用通常不屬于高度監(jiān)管行業(yè)，因此數(shù)據(jù)隱私和安全標(biāo)準(zhǔn)相對寬松

成本與資源考量

評估LLM與SLM時，最后一個考量是所需資源。LLM的處理和分析能力遠(yuǎn)強(qiáng)于SLM，但代價也更高。除了訪問云API的成本外，運(yùn)行這些模型還需要持續(xù)投資于專用基礎(chǔ)設(shè)施。它們的計算需求和數(shù)據(jù)消耗使其僅適用于預(yù)算充足、需要通用智能或特定領(lǐng)域深度的大型項目。

相反，SLM更具成本效益，所需計算資源相對較少，部署輕量化。它們適用于中小企業(yè)、初創(chuàng)公司和企業(yè)邊緣部署。對于常規(guī)任務(wù)、模板化響應(yīng)或延遲敏感操作，它們在不增加運(yùn)營負(fù)擔(dān)的情況下提供顯著投資回報。

結(jié)論：基于需求，而非標(biāo)簽

選擇LLM還是SLM應(yīng)由應(yīng)用場景決定，而非流行詞匯——因為用戶并不關(guān)心模型是“大”還是“小”，他們關(guān)心的是速度、準(zhǔn)確性、隱私和成本。智能的AI戰(zhàn)略應(yīng)權(quán)衡這些實(shí)際因素，以部署最適合的模型。

隨著企業(yè)不斷擴(kuò)展AI能力，許多企業(yè)會發(fā)現(xiàn)SLM能夠在邊緣實(shí)現(xiàn)新的可能性，而LLM在復(fù)雜、集中化任務(wù)中仍不可或缺。認(rèn)識到兩者的應(yīng)用場景并在它們之間找到平衡，是企業(yè)釋放AI全部潛力的關(guān)鍵。

換句話說，成功的AI并非“一刀切”，而是將合適的模型與業(yè)務(wù)需求、基礎(chǔ)設(shè)施和風(fēng)險狀況匹配。無論企業(yè)需要在數(shù)據(jù)中心實(shí)施LLM，還是在邊緣部署SLM，都必須選擇具備混合AI方法和專業(yè)服務(wù)的合作伙伴，以滿足其在AI旅程中的不同階段。

·申報人“Art Hu”簡介：

Art Hu，聯(lián)想集團(tuán)高級副總裁，首席信息官，方案服務(wù)業(yè)務(wù)集團(tuán)首席技術(shù)和交付官

作為聯(lián)想的全球首席信息官（Global CIO），Art Hu領(lǐng)導(dǎo)著覆蓋整個企業(yè)的信息技術(shù)組織，負(fù)責(zé)提供信息服務(wù)、管理關(guān)鍵運(yùn)營系統(tǒng)，并推動聯(lián)想的技術(shù)驅(qū)動型轉(zhuǎn)型。憑借他將IT視為業(yè)務(wù)戰(zhàn)略合作伙伴的遠(yuǎn)見卓識，他推動了聯(lián)想從一家以PC為主導(dǎo)的公司成長為全球領(lǐng)先的技術(shù)解決方案企業(yè)。

這場轉(zhuǎn)型包括構(gòu)建全球技術(shù)平臺，支持聯(lián)想快速發(fā)展的業(yè)務(wù)，包括電子商務(wù)和游戲業(yè)務(wù)，以及新的“即服務(wù)”（as a Service）業(yè)務(wù)模式，為客戶提供更多選擇和以結(jié)果為導(dǎo)向的交付方式。

除了擔(dān)任全球CIO的角色外，Art于2023年2月被任命為聯(lián)想方案服務(wù)業(yè)務(wù)集團(tuán)（SSG）的首席技術(shù)與交付官（CTDO）。作為CTDO，Art領(lǐng)導(dǎo)一個新成立的組織，將全球IT、研發(fā)、服務(wù)支持和交付職能整合在一起，以提升聯(lián)想向全球客戶提供創(chuàng)新解決方案的能力。

2023年，Art被《福布斯》評為值得關(guān)注的CIO之一，并帶領(lǐng)團(tuán)隊獲得多個CIO100獎項，該獎項表彰通過技術(shù)推動創(chuàng)新、轉(zhuǎn)型和業(yè)務(wù)價值的組織及其IT團(tuán)隊。2024年，在北京舉辦的企業(yè)智能轉(zhuǎn)型峰會上的榮獲“杰出CIO獎”。他的遠(yuǎn)見領(lǐng)導(dǎo)力和卓越戰(zhàn)略能力還為他贏得了面向全球管理人群的媒體C-Suite Insider頒發(fā)的2025年全球“年度CIO”獎，2025福布斯中國科技創(chuàng)新人物獎，以及2025年HotTopics全球名人堂大獎，及2025年鼎革獎年度CIO。

★本文由聯(lián)想集團(tuán)CIO Art Hu撰寫并投遞參與“數(shù)據(jù)猿第八屆年度金猿策劃活動——2025中國大數(shù)據(jù)產(chǎn)業(yè)年度優(yōu)秀CIO榜單及獎項”評選。