揭開IBM AI芯片的神秘面紗

公眾號記得加星標(biāo)??，第一時(shí)間看推送不會(huì)錯(cuò)過。

為了應(yīng)對生成式人工智能和基礎(chǔ)模型計(jì)算需求的快速增長，IBM 研究院采用了全棧式方法，將人工智能計(jì)算能力構(gòu)建并集成到我們的系統(tǒng)產(chǎn)品中。IBM Spyre 加速器正是基于這種方法而誕生的。

企業(yè)工作負(fù)載由復(fù)雜的執(zhí)行流程構(gòu)成，其中會(huì)使用各種類型的模型來自動(dòng)化決策。將人工智能集成到企業(yè)工作負(fù)載中意味著在工作負(fù)載執(zhí)行的不同階段可能會(huì)使用多種不同的人工智能模型。因此，人工智能加速器必須具備無縫的軟件集成、靈活的硬件集成以及企業(yè)級的穩(wěn)健性和可管理性。從人工智能生命周期的角度來看，Spyre 的首要任務(wù)是加速推理。除此之外，我們還需要一種能夠集成到多個(gè) IBM 平臺(tái)（尤其是 IBM Z 和 Power 系統(tǒng)）的解決方案。Spyre 的設(shè)計(jì)選擇充分體現(xiàn)了這些考慮因素。

Spyre是 IBM 研究院全新數(shù)據(jù)流架構(gòu) AI 加速器概念的成果。雖然 Spyre 是一款針對推理優(yōu)化的加速器，但我們始終秉持一個(gè)關(guān)鍵原則：它還必須支持 AI 的完整生命周期，包括推理、微調(diào)和訓(xùn)練。我們在設(shè)計(jì)架構(gòu)、數(shù)字格式和可編程性時(shí)，充分考慮了這種通用性和適應(yīng)性。這種架構(gòu)上的“面向未來”設(shè)計(jì)，將使后續(xù)版本能夠隨著企業(yè)客戶需求的演變，覆蓋推理以外的更多用例。

從底層開始混合精度

Spyre AI 內(nèi)核專為混合精度 AI 數(shù)學(xué)運(yùn)算而設(shè)計(jì)。每個(gè) Spyre AI 內(nèi)核分為兩個(gè)“核心單元”（corelet）。每個(gè)核心單元包含一個(gè)二維 8x8 SIMD 脈動(dòng)陣列，用于矩陣乘法和卷積等運(yùn)算；以及兩個(gè)一維向量陣列，用于激活/歸一化函數(shù)和量化/反量化運(yùn)算。二維陣列包含 64 個(gè)低精度數(shù)學(xué)引擎，負(fù)責(zé)處理大部分 AI 計(jì)算；低精度設(shè)計(jì)是實(shí)現(xiàn)高能效運(yùn)行的關(guān)鍵。二維陣列的 64 個(gè)引擎支持低精度 fp16、fp8、int8 和 int4 運(yùn)算。一維向量陣列包含 fp32 功能，用于執(zhí)行諸如激活函數(shù)等無法用低精度運(yùn)算精確計(jì)算的操作。每個(gè)內(nèi)核的本地存儲(chǔ)器采用兩級可編程 SRAM 暫存微架構(gòu)。

Spyre 系統(tǒng)級芯片 (SoC) ASIC 包含 32 個(gè)活動(dòng)內(nèi)核（另有 2 個(gè)備用內(nèi)核以提高良率），這些內(nèi)核通過雙向環(huán)路互連。該環(huán)路包含一個(gè)與內(nèi)存交叉開關(guān)的接口，該交叉開關(guān)連接到 16 個(gè) LPDDR5 通道，這些通道以 6.4 Gbps 的速率運(yùn)行，可為內(nèi)核提供 204 GB/s 的峰值帶寬。LPDDR5 在低成本下優(yōu)化了容量帶寬比，同時(shí)為目標(biāo)應(yīng)用提供了足夠的內(nèi)存帶寬。該交叉開關(guān)具有 DMA 和 RDMA 引擎的端口，分別用于在 Spyre 和主機(jī)之間以及多個(gè) Spyre 之間通過 PCIe 傳輸數(shù)據(jù)。該 SoC 支持完全流水線化的 DMA/RDMA 傳輸和執(zhí)行，允許這些階段重疊，從而使不同階段的獨(dú)立推理能夠并行運(yùn)行。Spyre SoC 采用標(biāo)準(zhǔn)的 5nm CMOS 工藝實(shí)現(xiàn)，包含 256 億個(gè)晶體管。

在功率限制范圍內(nèi)實(shí)現(xiàn)適應(yīng)性性能

Spyre 的設(shè)計(jì)目標(biāo)是滿足單個(gè) PCIe 插槽的功耗預(yù)算，且無需輔助電源接口。為了降低功耗，我們采用了多電源域策略：芯片上高活動(dòng)區(qū)域采用 0.55V 的低電壓供電，而對時(shí)序要求嚴(yán)格且活動(dòng)較低的區(qū)域則采用 0.75V 的高電壓供電。在平臺(tái)特定的功耗預(yù)算下運(yùn)行，動(dòng)態(tài)電源管理對于各種 AI 模型發(fā)揮最佳性能至關(guān)重要。與以往的解決方案不同，Spyre 引入了一種新穎的雙環(huán)電源管理控制機(jī)制，該機(jī)制能夠通過軟件控制，將峰值功耗調(diào)節(jié)到兩個(gè)不同的設(shè)定點(diǎn)和兩個(gè)不同的時(shí)間常數(shù)。這種機(jī)制的性能優(yōu)于單環(huán)電源管理方案。

Spyre SoC 集成于一張單槽 PCIe 卡中，并配備 8 個(gè)雙通道 LPDDR5 內(nèi)存模塊和電源管理控制回路電路。多張 Spyre 卡通過 PCIe 交換機(jī)通信，組成一個(gè)本地組，實(shí)現(xiàn)低延遲的互聯(lián)互通，從而支持多卡協(xié)同工作，聚合內(nèi)存帶寬，提升生成式 AI 模型的性能。在 IBM Z 或 LinuxONE 系統(tǒng)中最多可部署 48 張這樣的卡，在 IBM Power 系統(tǒng)中最多可部署 16 張，以擴(kuò)展 AI 功能。

芯片之外

Spyre 軟件棧對于整個(gè)加速器解決方案至關(guān)重要。我們與多家軟件公司建立了合作關(guān)系，旨在簡化與 IBM 基于 Red Hat Linux 的企業(yè)軟件棧的集成。Spyre軟件棧包含編譯器、運(yùn)行時(shí)環(huán)境、設(shè)備驅(qū)動(dòng)程序和固件，從推理服務(wù)器和深度學(xué)習(xí)框架開始，用于啟動(dòng)推理作業(yè)。我們的主要框架是 PyTorch 2.x，其架構(gòu)旨在簡化加速器集成。使用 PyTorch 2.x 構(gòu)建的應(yīng)用程序幾乎無需任何軟件更改即可在 Spyre 系統(tǒng)上運(yùn)行。

Spyre 采用獨(dú)特的可編程數(shù)據(jù)流微架構(gòu)和適當(dāng)?shù)恼麛?shù)和浮點(diǎn)數(shù)格式，實(shí)現(xiàn)了企業(yè) AI 所需的推理效率、性能水平和靈活性。

（來源：編譯自IBM）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4325期內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送

求推薦