發(fā)現(xiàn)大模型規(guī)律的不是OpenAI？外網(wǎng)稱最早研究來自中國百度

在Scaling Law的發(fā)現(xiàn)和研究中，百度和OpenAI實際又各自扮演了什么角色

原創(chuàng)｜科技考拉

外網(wǎng)最近超熱鬧的。多位AI大佬在社交媒體下場爆料，稱大模型預(yù)訓(xùn)練第一性原理Scaling Law最早的原始研究來自百度，而非外界一直以為的OpenAI。

南華早報則發(fā)表了報道《Did China’s Baidu discover scaling laws before OpenAI? A debate rekindles in AI circles》，稱「盡管美國在AI模型創(chuàng)新方面一直被視為領(lǐng)先者，但最新的討論顯示，中國在探索這些概念上可能更為超前」，進一步把視野和格局拉升到了中美AI競賽的高度。

這到底是怎么回事？在Scaling Law的發(fā)現(xiàn)和研究中，百度和OpenAI實際又各自扮演了什么角色？

誰貢獻了最早的Scaling Law研究？

在過去幾年中，業(yè)界的普遍認(rèn)知是，關(guān)于Scaling Law的第一篇有效論文，是OpenAI在2020年發(fā)表的《Scaling Laws for Neural Language Models》。

第一個公開聲明百度對Scaling Law貢獻的，是Anthropic創(chuàng)始人兼CEO Dario Amodei。Anthropic被熟知的產(chǎn)品是Claude，和GPT、Gemini并稱美國模型界「三巨頭」，Dario Amodei本人的履歷則顯示，2014年11月- 2015年10月期間，他在百度硅谷人工智能實驗室（SVAIL）工作。

按照Dario Amodei的說法，2014年與吳恩達在百度研究語音識別的時候，他們就非正式觀察到了Scaling Law，「給這些模型的數(shù)據(jù)越多、計算越多、訓(xùn)練越多，它們的表現(xiàn)就越好」，不過當(dāng)時沒有精確衡量。

隨后，越來越多行業(yè)人士開始發(fā)聲爆料。

Meta研究員、康奈爾大學(xué)博士候選人Jack Morris稱，「大多數(shù)人不知道，關(guān)于縮放定律的原始研究來自 2017 年的百度，而不是 2020 年的 OpenAI。他們描述了模型參數(shù)和數(shù)據(jù)集標(biāo)記對損失的影響。還對圖像和音頻進行了測試。他們只是用 LSTM 代替了 Transformers，而且沒有將他們的發(fā)現(xiàn)命名為定律」。

他提到的，是2017年發(fā)表的論文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》，文章討論了機器翻譯、語言建模等領(lǐng)域的Scaling現(xiàn)象，第一作者為Joel hestness。公開資料顯示，2017年-2019年，Joel hestness在百度工作。

有爆料稱，曾在Open AI參與了GPT-3等項目開發(fā)的AI專家Gwern Branwen經(jīng)常提起，「這篇論文的重要性是相當(dāng)被忽視的」。

然后有人發(fā)現(xiàn)，OpenAI的《Scaling Laws for Neural Language Models》中，其實還引用了Joel Hestness2019年的論文《Beyond human-level accuracy: computational challenges in deep learning》。

時間線捋明白后，事情就變得非常清晰了。

在OpenAI之前，百度已經(jīng)更早貢獻了對Scaling Law的原始研究。事實上在Scaling Law最初被觀察到的自然語言處理領(lǐng)域，百度也是最早下場的玩家之一，并一直在堅持投入。

百度的深度學(xué)習(xí)研究院成立于2013年1月，據(jù)說是全球企業(yè)界第一家用深度學(xué)習(xí)來命名的研究院。圖靈獎得主、Meta首席AI科學(xué)家楊立昆在《科學(xué)之路》中文版的自序中稱，「百度是最早部署商業(yè)化深度學(xué)習(xí)系統(tǒng)的大型公司之一，領(lǐng)先于谷歌和微軟」。

AI競賽，新一輪技術(shù)博弈

眾所周知，百度在國內(nèi)一向有「AI人才的黃埔軍校」之稱，走出了許多知名的AI賽道創(chuàng)業(yè)者。Dario Amodei這次的發(fā)聲，則讓外界意識到，即使把視角放到國際AI領(lǐng)域，這一結(jié)論也仍然成立。

百度同樣走出了不少國際AI大拿，包括美國頭部AI企業(yè)的一些核心人物。

在百度硅谷AI實驗室（SVAIL）做研究員，是Dario Amodei從斯坦福博士畢業(yè)后的第一份工作，后來他曾加入谷歌和OpenAI，2021年創(chuàng)立了Anthropic。

在百度任職期間，Dario Amodei招募Jim fan進入SVAIL工作。Jim fan現(xiàn)在是英偉達高級科學(xué)家、人工智能一號位。

更被人熟知的是曾在百度擔(dān)任首席科學(xué)家的吳恩達。李彥宏曾在采訪中提到，當(dāng)時吳恩達在谷歌做Google brain，他想買更多的GPU，但谷歌認(rèn)為成本太高了，「我們說你來，隨便買，他就來了」。

不論是技術(shù)理念、資源投入、人才挖掘，還是在戰(zhàn)略視野上，百度都展現(xiàn)出了在AI領(lǐng)域的高度前瞻性。

一個既定趨勢是，AI已經(jīng)成為新的技術(shù)博弈賽場。芯片、算力、模型性能、人才儲備等，都將是這一輪AI競賽的關(guān)鍵賽點。

前谷歌CEO Eric Schmidt將這場競賽稱作「史詩般的較量」，并表示，中國推出了一些與美國最先進模型相似的模型，還學(xué)會了用更少的芯片完成工作，「這表明了他們工程師的能力」。

值得注意的是，盡管百度貢獻了對Scaling Law的原始研究，但李彥宏很早就提出了預(yù)訓(xùn)練模式的局限性。Scaling Law之所以有「暴力美學(xué)」之稱，就是因為預(yù)訓(xùn)練對算力和經(jīng)濟投入的極高要求，在國內(nèi)的商業(yè)環(huán)境下，這種模式注定只適合頭部大廠。

因此，李彥宏一直在倡導(dǎo)「中國AI的發(fā)展特色應(yīng)該是應(yīng)用驅(qū)動」。百度則希望為AI應(yīng)用打造一套全新的大模型基礎(chǔ)設(shè)施。根據(jù)2024百度世界大會上的規(guī)劃，這套基礎(chǔ)設(shè)施應(yīng)當(dāng)包括智能體平臺、無代碼工具、智能云計算等在內(nèi)。

或許，在中美AI競賽中，這樣的中國特色思路也會推動產(chǎn)生一些變化。畢竟，如果復(fù)盤移動互聯(lián)網(wǎng)所帶來的上一輪產(chǎn)業(yè)變遷，也可以找到非常明顯的中國特色。