國產數字新基建，放眼未來的“大模型”建設

出品|網易新聞

導語：ChatGPT風靡全球，作為一種人工智能“大模型”被認為能在很大程度上改變人們的生活，中國也正大力發展的全國性大型算力中心的建設也取得了階段性成功，將推動“讓用戶像用電一樣使用算力服務”的發展愿景。隨著模型和算力的普及化，國產人工智能發展也將邁入新的臺階。

一、模型與數據驅動人工智能

2017年5月，當時圍棋世界排名第一的棋手柯潔在萬眾矚目的“人機大戰”中0:3完敗于谷歌研發的AI程序AlphaGo，這個標志性的事件給很多人提了個醒：AI的浪潮已經開始席卷而來了。

AlphaGo在2017年戰勝了柯潔

AI帶來的勞動價值將讓人類徹底擺脫某種“稀缺”，擺脫重復的勞動，從而使人類的解放成為可能。真正獲得全面解放和完全自由的人類，將擁有更充裕的時間來發展自己的興趣愛好、思考人生、享受生活、改變世界，實現精神財富和物質財富的雙豐收。

但距離做到這一點，依舊需要相當長時間的發展和相當多的投入。

人類思維模式遵循上圖思想

計算機程序的發展已經使得設備能夠按照人類已經輸入好的指令機械地運行，適用于純粹重復性的工作，這已經在很多領域已經極大減少了人的工作量，這種基于輸入性規則的程序可以稱得上是最初級的AI。

目前世界各國著力發展的更高級的AI則力圖在更多的領域也能做到這一點。它的核心含義是指，通過恰當的方法學習合適的已有經驗（以數據的形式），來獲得一種通用的決策方式。經過測試之后就可以在類似的場景下自動做出決策，從而實現自動進行重復勞動的目的。

人工智能算法本質是在模仿人類思維模式

AI發展的具體效果分別取決于兩個因素——“恰當的方法”以及“合適的已有經驗”，對應了模型驅動和數據驅動兩個流派，它們在動機、模式、映射關系等方面各有不同，但并不矛盾。模型驅動和數據驅動的區別在于數據處理方式：如果數據處理并不改變模型本身，就是模型驅動；如果數據處理改變了模型，讓模型去貼合數據，就是數據驅動的研究方法。在解決實際問題中，各自都存在優勢和限制。

對我國而言，中文語料庫的體量約為全球英文語料庫的十分之一。首先是對數據本身做預處理，然后需要大量人工標注數據集，這樣才能夠讓模型來學習人的行為模式，整套流程花費甚巨。而模型驅動的方法則需要大量試錯，需要平衡模型的復雜程度和算力投入，且每次試錯需要付出大量的算力和時間代價。因此，基于大量共用數據的，且經過充分驗證的“大模型”概念成為了一種具有競爭力的方案。

二、“大模型”賦能各行各業

過去以小型團隊為單位，通過尋找合適的數據與模型的確能產生效果較好的AI程序，但“點對點”的適應單一任務的模型依舊讓其擺脫不了“小作坊”的形式。“大模型”指通過在大規模寬泛的數據上進行訓練后能適應一系列下游任務的模型。

近年，各種“大模型”在早期預訓練中顯示出前所未有的威力，成為AI創新的共識，很多模型的達成的效果都已經給人產生了深刻的印象。通過超算中心等戰略投資，目前我國已經在農業、金融、互聯網、生物醫藥等領域都擁有了自主知識產權的“大模型”。

“大模型”提供了一種在某個領域通用化的解決方案，通過“預訓練大模型與下游任務微調”的方式，通過大模型從大量數據中捕獲知識，極大擴展了模型的泛化能力，后期根據下游任務的少量數據進行少量針對性的訓練，能有效壓縮后續投入，這一套流程使得AI程序的產出更高效。

近年來模型的參數量提升極快

然而，“大模型”的開發過程繁復、門檻也很高，訓練一個“大模型”的總投入在數千萬美元級別，例如ChatGPT的單次訓練就需要耗資150萬美元。“大模型”的大，主要體現在以下兩方面。AI模型為準確擬合相關場景的決策，其表現通常與參數量成正比。而“大模型”參數級別更是隨著泛化能力要求的增加水漲船高，以谷歌的Switch Transformer為例，它的參數量已經達到了萬億級別（ChatGPT的參數量為千億級別），“大模型”的設計和訓練投入堪稱恐怖。

谷歌Switch Transformer模型的參數量已經達到萬億級別

其次是數據大，“大模型”的目的是擁有盡可能大的拓展潛力，這意味著數據的收集和標注必須盡可能覆蓋到這些范圍內。模型大的根本原因是數據大，“大模型”所使用的數據量都是至少數十個TB級別，數據收集和人工標注的成本都非常高，例如ChatGPT為規避美國的高昂人力成本，數據是在肯尼亞雇傭了大量人員手工進行標注，即使如此標注成本也高達數億美元。

這兩者的結合，在技術上導致了“大模型”初始的訓練、后期的微調和日常使用中算力需求較大，本地設備遠無法負擔，甚至不是某一個單一服務器下的設備能完成的了，必須使用某種聯網機制，通過聯合計算加快訓練。

三、“東數西算”構筑算力基建

與互聯網類似作為戰略新興行業，AI的發展離不開充足算力的保證。讓科研人員甚至民眾“像用電、用網一樣使用算力服務”的發展，將有力地支撐我國在AI領域的發展。算力資源目前稀缺且昂貴，通過統籌建設，成立全國性的大型算力中心，有助于算力更公平地流向科研在內的各領域。

同時，算力的建設和分配需要考慮到服務器的地理因素。由于大部分的數據在經濟較發達的沿海地區產生和清洗，而數據計算過程中則需要消耗大量能源，且需要考慮到散熱問題，綜合來看算力中心最適合建設在電力便宜、氣候恒溫的地方。在此基礎上我國提出了基于“東數西算”（在東部產生數據，在西部運行計算）思想的一體化算力網絡。

在國家“東數西算”工程與全國一體化算力網絡的布局下，中國算力網計劃已全面展開。計算節點數已經超過了二十個，在地理上去中心化的前提下，國家在每個地區集約化地統籌建設人工智能算力中心，同時真正實現全國大型算力的協同調度與高效計算。

算力中心是大數據工程的核心

結語：

我國集中力量打造的“大模型”和國家級算力網絡，其目的都是為了更高效地產生實用的AI算法，并在下一代科技革命中占得先機。放眼未來，我們能用這樣的AI創造出更多人類的新篇章。