基于異構(gòu)邊緣終端的端側(cè)AI統(tǒng)一架構(gòu)研究與實(shí)踐

通信世界網(wǎng)消息（CWW）近年來，隨著家庭智能設(shè)備的普及，像智慧中屏這類具備算力的新型終端，逐漸變成家庭服務(wù)“中樞”。過去很多依賴云端的功能，包括語音識(shí)別、圖像解析等，隨著終端本身算力的提高，逐漸由云端處理向終端本地服務(wù)遷移。同時(shí)隨著安全意識(shí)的普及，用戶越來越希望對(duì)話、影像等敏感數(shù)據(jù)能在本地設(shè)備上處理，而不是上傳至云端，此類需求推動(dòng)“端側(cè)AI”成為家庭智能終端升級(jí)的核心方向。但市面上家庭終端的芯片算力、內(nèi)存、操作系統(tǒng)五花八門，若在這些異構(gòu)邊緣終端部署多類AI模型，會(huì)遇到硬件接口五花八門、模型更新煩瑣、終端資源分配無序、接入網(wǎng)絡(luò)復(fù)雜等各類問題。針對(duì)上述實(shí)際痛點(diǎn)，結(jié)合運(yùn)營(yíng)商大規(guī)模研發(fā)與部署智慧中屏等家庭智能設(shè)備的實(shí)踐經(jīng)驗(yàn)，本文設(shè)計(jì)并搭建了一套用于異構(gòu)終端部署的端側(cè)AI統(tǒng)一架構(gòu)，在此基礎(chǔ)上設(shè)計(jì)了一套云邊端三層協(xié)同推理流程，覆蓋管理模型從上線、更新到下線的全生命周期，讓AI能力能夠更穩(wěn)定、可控地集成到邊緣終端上。

1 集中式云端AI方案技術(shù)現(xiàn)狀

智能家居業(yè)務(wù)在早期發(fā)展階段，一般采用在云端集中化部署AI能力的方式。該方式實(shí)現(xiàn)簡(jiǎn)單，屬于典型的集中式部署模式，具備語音識(shí)別、圖像處理及內(nèi)容推薦等多方面能力，但在實(shí)際家庭使用場(chǎng)景中存在不少技術(shù)缺陷。

由網(wǎng)絡(luò)依賴引起時(shí)延的問題：云端AI服務(wù)是通過互聯(lián)網(wǎng)傳輸相關(guān)數(shù)據(jù)的，而家庭Wi-Fi信號(hào)存在時(shí)強(qiáng)時(shí)弱的情況，在網(wǎng)絡(luò)帶寬不足、網(wǎng)絡(luò)時(shí)延較高的情況下，無論是語音交互還是視頻分析類的應(yīng)用都存在較明顯的時(shí)延，導(dǎo)致用戶體驗(yàn)波動(dòng)較大。

攝像頭、麥克風(fēng)等傳感設(shè)備廣泛部署于家庭場(chǎng)景，用于持續(xù)采集環(huán)境數(shù)據(jù)，而如果將所有的原始數(shù)據(jù)都上傳至云端進(jìn)行處理，則會(huì)給用戶的隱私帶來極大的安全隱患。

因此，業(yè)界認(rèn)識(shí)到應(yīng)進(jìn)行AI端云結(jié)合，將一部分AI能力放到終端，這才是合理的方向。

2 端側(cè)AI統(tǒng)一架構(gòu)的基礎(chǔ)概念與設(shè)計(jì)

2.1 端側(cè)AI基礎(chǔ)概念

“端側(cè)AI”通過邊緣終端所具備的算力實(shí)現(xiàn)部分感知、推理、決策等功能。相比于“云端AI”，端側(cè)推理由于其具備低時(shí)延、本地算力和隱私保護(hù)等優(yōu)點(diǎn)，在智慧家庭等智能場(chǎng)景具有明顯優(yōu)勢(shì)[7]。例如，對(duì)于家庭智能而言，如果語音或者圖像識(shí)別在智慧中屏本地執(zhí)行，其語音或圖像交互效果會(huì)明顯優(yōu)于云端AI計(jì)算方案。此外，相關(guān)研究顯示，推理下沉至端側(cè)能大幅降低語音、圖像上傳頻率，減少帶寬占用，防范隱私泄露的風(fēng)險(xiǎn)。

2.2 云邊端協(xié)同理念

近幾年，對(duì)于云計(jì)算本身以及智能計(jì)算而言，以云邊端協(xié)同為核心的技術(shù)架構(gòu)已成為行業(yè)共識(shí)：一方面盡可能保護(hù)好數(shù)據(jù)的隱私；另一方面，可以利用終端側(cè)的低時(shí)延優(yōu)勢(shì)與云端的強(qiáng)算力、大容量?jī)?yōu)勢(shì)，充分發(fā)揮三者的協(xié)同增益效應(yīng)。

通常情況下，在這種結(jié)構(gòu)中，云端負(fù)責(zé)比較復(fù)雜的模型訓(xùn)練和管理，并將模型能力下發(fā)至終端；終端側(cè)負(fù)責(zé)輕量化、時(shí)間敏感的推理任務(wù)，并將必要的結(jié)果反饋至云端，從而形成持續(xù)優(yōu)化的閉環(huán)。

行業(yè)實(shí)踐也明確了類似的思路，在中興通訊的6G內(nèi)生AI網(wǎng)絡(luò)方案中，采取了分層設(shè)計(jì)模式，并通過模型和資源管理模塊實(shí)現(xiàn)云邊端統(tǒng)一調(diào)度。NextG聯(lián)盟、歐盟6G-IA等產(chǎn)業(yè)聯(lián)盟亦強(qiáng)調(diào)要從6G設(shè)計(jì)伊始，就重點(diǎn)考慮終端算力、跨層協(xié)同等問題。

從現(xiàn)有研究結(jié)果及產(chǎn)業(yè)發(fā)展相關(guān)情況看，云邊端的融合能夠充分利用三者各自的計(jì)算能力，根據(jù)應(yīng)用的不同需求靈活調(diào)動(dòng)云邊端三級(jí)資源，對(duì)于提升整個(gè)系統(tǒng)的性能與穩(wěn)定性具有很大的增益作用。

2.3 模型生命周期管理

在端側(cè)AI協(xié)同體系的構(gòu)建過程中，模型生命周期的管理是不可回避的問題。例如IBM提出的AI Gateway架構(gòu)，通過統(tǒng)一對(duì)接接口、統(tǒng)一抽象封裝等方式實(shí)現(xiàn)模型版本管控，并支持更新、回滾等全生命周期管理，其核心思路是降低高層應(yīng)用與底層模型的耦合。

類似的思路也可應(yīng)用于端側(cè)AI環(huán)境，為終端搭建一套統(tǒng)一的模型接口與模型集中管理體系，在不影響業(yè)務(wù)的前提下可實(shí)現(xiàn)模型升級(jí)替換；在邊緣終端設(shè)備中通過容器化或分批更新的方式，待模型下發(fā)、升級(jí)及安裝完成后，再啟動(dòng)設(shè)備上線服務(wù)；除了模型的更新之外，還應(yīng)注意端側(cè)AI落地在工程方面的問題，如多層級(jí)日志采集、模型運(yùn)行狀態(tài)檢測(cè)等。

基于上述端側(cè)AI平臺(tái)設(shè)計(jì)思路，本文根據(jù)家庭智能終端場(chǎng)景的實(shí)際使用條件及限制因素，提出了更加適合工程落地的整體架構(gòu)以及相應(yīng)的具體方案。

2.4 系統(tǒng)架構(gòu)設(shè)計(jì)

針對(duì)家庭智慧中屏多模型并行運(yùn)行、任務(wù)類型復(fù)雜以及終端資源受限等特點(diǎn)，本文設(shè)計(jì)了一套分層、模塊化的端側(cè)AI中間件體系。整體架構(gòu)分為調(diào)用層、調(diào)度層和模型層，各層職責(zé)相對(duì)清晰，并通過統(tǒng)一接口和協(xié)議進(jìn)行協(xié)同。系統(tǒng)主要包括統(tǒng)一接口、模型更新、日志上報(bào)、生命周期管理以及協(xié)同調(diào)度等核心模塊，下面對(duì)其關(guān)鍵設(shè)計(jì)進(jìn)行說明。端側(cè)AI統(tǒng)一分層架構(gòu)如圖1所示。

圖1 端側(cè)AI統(tǒng)一分層架構(gòu)

底層推理框架以及硬件平臺(tái)的不同會(huì)對(duì)上層業(yè)務(wù)造成一定影響，在此情況下，由中間件統(tǒng)一對(duì)外提供通用應(yīng)用程序接口（API），無論使用哪種模型格式，均可使用同一種API進(jìn)行訪問；并且可以通過適配層屏蔽掉底層不同的框架或硬件之間的差異性，為上層提供統(tǒng)一操作體驗(yàn)。通過分層設(shè)計(jì)，還可以將配置加載、任務(wù)分發(fā)、推理執(zhí)行以及結(jié)果輸出等操作分離成不同的功能模塊，進(jìn)而方便之后的進(jìn)一步開發(fā)與替換。

在模型更新方面，系統(tǒng)將更新邏輯獨(dú)立封裝為庫文件，與主業(yè)務(wù)解耦，執(zhí)行模型下載、校驗(yàn)、版本切換以及舊模型清理等任務(wù)，采用A/B分區(qū)的后臺(tái)切換方案，在對(duì)用戶體驗(yàn)沒有很大影響的情況下完成對(duì)用戶模型的升級(jí)。通過算力、模型大小來確定使用哪個(gè)版本的模型，讓灰度發(fā)布更加靈活，降低升級(jí)對(duì)服務(wù)質(zhì)量的沖擊。

為了便于日常運(yùn)維和問題分析，在端側(cè)全鏈路運(yùn)行日志中保存所有過程的耗時(shí)數(shù)據(jù)、系統(tǒng)資源占用、模型推理狀態(tài)、任務(wù)調(diào)度情況以及異常記錄等信息，并采用分層存儲(chǔ)的方式，當(dāng)網(wǎng)絡(luò)不通時(shí)先將日志本地緩存，預(yù)留一段時(shí)間后再上傳到云端，通過這種方式延長(zhǎng)日志搜集時(shí)間，為現(xiàn)場(chǎng)人工檢測(cè)預(yù)留充足時(shí)間。根據(jù)現(xiàn)場(chǎng)測(cè)試情況，通過實(shí)施該機(jī)制，異常檢測(cè)效率平均提升約60%。

在生命周期管理方面，中間件可為模型提供完善的生命周期狀態(tài)管理，涵蓋加載、推理執(zhí)行、內(nèi)存分配與釋放、動(dòng)態(tài)更新、異常處理等方面；中間件采用內(nèi)存池按需分配的方式，避免多模型并行運(yùn)行時(shí)發(fā)生資源搶占沖突，提高整個(gè)應(yīng)用系統(tǒng)的運(yùn)行穩(wěn)定性；應(yīng)用端的開發(fā)者，只需對(duì)接口發(fā)送指令就能輕松完成模型部署及監(jiān)控工作，無需關(guān)心底層的內(nèi)存分配與線程調(diào)度等問題。

各個(gè)算法任務(wù)對(duì)于實(shí)時(shí)性有不同需求，對(duì)此系統(tǒng)將采用基于云邊端協(xié)同的調(diào)度方式。當(dāng)任務(wù)下達(dá)至終端后，由調(diào)度模塊綜合當(dāng)前設(shè)備算力、網(wǎng)絡(luò)情況和任務(wù)特性等因素判斷最優(yōu)執(zhí)行方案。若任務(wù)對(duì)實(shí)時(shí)性要求高，則優(yōu)先在端側(cè)執(zhí)行；若任務(wù)需要較大的計(jì)算量或依賴大模型，則上交給邊緣或云端處理。此外，系統(tǒng)還提供了一系列端側(cè)推理接口、邊緣預(yù)處理接口以及云端協(xié)同推理接口等供業(yè)務(wù)方使用。

4 應(yīng)用場(chǎng)景與實(shí)踐效果

本文在端側(cè)AI統(tǒng)一架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)過程中堅(jiān)持工程可落地的目標(biāo)，兼顧后續(xù)長(zhǎng)期穩(wěn)定地支撐實(shí)際產(chǎn)品和業(yè)務(wù)使用的需求。基于以上標(biāo)準(zhǔn)，本文選擇已經(jīng)量產(chǎn)的智慧中屏產(chǎn)品以及移動(dòng)平臺(tái)（如四足機(jī)器人等），分別從多模態(tài)業(yè)務(wù)支撐能力、運(yùn)行效率及模型等維度，評(píng)估端側(cè)AI統(tǒng)一架構(gòu)的效果。

4.1 智慧中屏上的多模態(tài)AI業(yè)務(wù)實(shí)踐

智慧中屏是家庭場(chǎng)景的中樞，要支持多種AI能力，包括語音交互、圖像識(shí)別、人臉識(shí)別、畫質(zhì)增強(qiáng)等。在此之前，無論是通過拆分各個(gè)模態(tài)的獨(dú)立模塊實(shí)現(xiàn)，還是直接調(diào)用底層的接口進(jìn)行認(rèn)知任務(wù)處理，在處理上均會(huì)受到不同的影響和制約，無法很好地保障系統(tǒng)的整體性。在統(tǒng)一架構(gòu)引入后，上層業(yè)務(wù)通過標(biāo)準(zhǔn)API調(diào)用AI能力，不再直接依賴具體硬件平臺(tái)或推理實(shí)現(xiàn)，從而避免了同類模型在不同業(yè)務(wù)中重復(fù)接入的問題，整體資源調(diào)度更加集中可控。

在語音交互場(chǎng)景中，我們將端側(cè)語音活動(dòng)檢測(cè)（VAD）、輕量級(jí)自動(dòng)語音識(shí)別（ASR）以及本地意圖識(shí)別模型統(tǒng)一納入調(diào)度管理。實(shí)際測(cè)試結(jié)果顯示，端側(cè)指令的全鏈路平均時(shí)延由原有的310ms降至245ms。在復(fù)雜家庭環(huán)境下（如客廳嘈雜場(chǎng)景），系統(tǒng)穩(wěn)定性也得到改善。平均每小時(shí)的連續(xù)誤喚醒次數(shù)由4.3下降至1.1，語音鏈路整體響應(yīng)時(shí)間的波動(dòng)范圍由原先的±90ms收斂至±35ms。

類似的優(yōu)化同樣體現(xiàn)在視覺相關(guān)功能中。對(duì)于需要長(zhǎng)期運(yùn)行的人臉檢測(cè)與特征提取模型，在采用統(tǒng)一內(nèi)存池和按需加載機(jī)制后，多模型并行情況下的峰值內(nèi)存占用由612MB降至512MB。從用戶感知效果來看，人臉識(shí)別應(yīng)用在常規(guī)使用條件下的檢測(cè)幀率由21FPS提升至27FPS；在用戶頭部存在連續(xù)輕微晃動(dòng)的情況下，識(shí)別過程中每分鐘的目標(biāo)丟失次數(shù)由約3減少至不足1。這些改進(jìn)使刷臉解鎖、家庭成員識(shí)別等日常應(yīng)用更加流暢穩(wěn)定。

4.2 視頻防抖算法在可移動(dòng)終端設(shè)備中的應(yīng)用

智慧中屏作為固定安裝設(shè)備，其測(cè)試結(jié)果驗(yàn)證了架構(gòu)在靜態(tài)場(chǎng)景的穩(wěn)定性。為進(jìn)一步檢驗(yàn)通用性，本文在可移動(dòng)的四足機(jī)器人上進(jìn)行了動(dòng)態(tài)環(huán)境測(cè)試。在機(jī)器人運(yùn)動(dòng)過程中，支撐結(jié)構(gòu)搭載的攝像頭會(huì)產(chǎn)生明顯晃動(dòng)，在視頻中存在較多不穩(wěn)定運(yùn)動(dòng)噪聲，影響后期視覺模型對(duì)運(yùn)動(dòng)物體的識(shí)別效果。

針對(duì)這一問題，我們將自研的“光流估計(jì)+Kalman濾波”視頻防抖算法集成至統(tǒng)一架構(gòu)，使輸入視頻得到穩(wěn)定處理，實(shí)驗(yàn)設(shè)定機(jī)器人運(yùn)動(dòng)速度為0.8m/s，且機(jī)身繞中心軸的最大擺動(dòng)幅度約為15°。未做處理前，視頻相鄰幀平均特征點(diǎn)偏移量為7.1像素，偏移量最大值大于18像素；利用防抖算法進(jìn)行穩(wěn)定后，平均偏移量降至2.8像素，偏移量最大值小于5.6像素。四足機(jī)器人視頻防抖對(duì)比效果如圖2所示。

圖2 四足機(jī)器人視頻防抖對(duì)比效果

畫面穩(wěn)定性的提升對(duì)下游視覺任務(wù)產(chǎn)生了直接影響。在相同運(yùn)動(dòng)條件下，端側(cè)目標(biāo)檢測(cè)模型連續(xù)識(shí)別失敗次數(shù)由每分鐘約14降至3；姿態(tài)估計(jì)模型的關(guān)鍵點(diǎn)抖動(dòng)幅度也由±11像素降低至±4像素。防抖模塊本身具備較好的實(shí)時(shí)性，在僅使用CPU的情況下，單幀處理時(shí)延控制在5～8ms，相比整條視覺推理鏈路約67ms的總體耗時(shí)，其額外開銷可以忽略。

在量產(chǎn)階段，端側(cè)AI軟件平臺(tái)結(jié)合A/B分區(qū)機(jī)制實(shí)現(xiàn)了模型的平滑升級(jí)。后臺(tái)統(tǒng)計(jì)顯示，單次模型升級(jí)周期（包括下載、校驗(yàn)、版本切換與清理）的平均耗時(shí)穩(wěn)定在2.4～2.9s之間，升級(jí)失敗率由每萬次37次降至9次以下。系統(tǒng)每日匯聚約10萬條結(jié)構(gòu)化日志，總體規(guī)模波動(dòng)控制在±8%以內(nèi)。

5 結(jié)論

本文針對(duì)家庭智能終端場(chǎng)景，提出了有助于端側(cè)穩(wěn)定可靠運(yùn)行的AI統(tǒng)一架構(gòu)。該架構(gòu)通過統(tǒng)一接口層，將模型加載、推理調(diào)用、資源管理等核心能力封裝為模塊化中間件，實(shí)現(xiàn)多模型并行運(yùn)行支撐，并采用基于A/B分區(qū)的模型熱更新、版本全量對(duì)比和保留舊版本用于回退等一系列完整流程，保障了模型替換對(duì)業(yè)務(wù)的影響可控。

除此之外，還建立了完整的推理全鏈路日志和生命周期管理機(jī)制，可以對(duì)端側(cè)模型進(jìn)行持續(xù)的運(yùn)行狀態(tài)追蹤，一旦發(fā)生異常情況可迅速找到對(duì)應(yīng)的異常問題點(diǎn)；通過結(jié)合云邊端的協(xié)同調(diào)度方式，在維持關(guān)鍵交互過程實(shí)時(shí)性的前提下，提升了整體算力資源的利用率。與之前的方案相比，任務(wù)響應(yīng)時(shí)間得到了有效縮短，模型更新效率得到了極大提高，系統(tǒng)的穩(wěn)定性和安全性都得到了改善，其中最直觀的體現(xiàn)是：在語音交互和視覺識(shí)別這兩類對(duì)時(shí)效性要求較高的家庭場(chǎng)景中，用戶體驗(yàn)得到了顯著提升。

通過工程實(shí)踐可以看出，端側(cè)AI已經(jīng)在智能終端體系中起到關(guān)鍵作用。后續(xù)研究將進(jìn)一步開展該統(tǒng)一架構(gòu)在可穿戴設(shè)備、車載終端等異構(gòu)終端的適用性驗(yàn)證，重點(diǎn)研究算力受限場(chǎng)景下模型的高效部署與穩(wěn)定運(yùn)行技術(shù)。