<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

      Alex Wang“沒(méi)資格接替我”!Yann LeCun揭露Meta AI“內(nèi)斗”真相,直言AGI是“徹頭徹尾的胡扯”

      0
      分享至


      編譯|冬梅

      “通往超級(jí)智能的那條路——無(wú)非是不斷訓(xùn)練大語(yǔ)言模型、喂更多合成數(shù)據(jù)、雇上幾千人做后訓(xùn)練、再在強(qiáng)化學(xué)習(xí)上搞點(diǎn)新花樣——在我看來(lái)完全是胡扯,這條路根本行不通?!?/p>

      近日,在一檔名為《The Information Bottleneck》的訪談欄目中,主持人 Ravid Shwartz-Ziv 和 Allen Roush 與圖靈獎(jiǎng)得主、前 Meta 首席 AI 科學(xué)家 Yann LeCun 展開(kāi)了一場(chǎng)近兩小時(shí)的高質(zhì)量對(duì)話,在訪談中,LeCun 解釋了為什么會(huì)在 65 歲這個(gè)別人已經(jīng)退休的年紀(jì)他還在創(chuàng)業(yè),此外,他也對(duì)當(dāng)前硅谷主流的人工智能發(fā)展路徑給出了罕見(jiàn)而尖銳的評(píng)價(jià)。

      結(jié)束在 Meta 長(zhǎng)達(dá) 12 年的職業(yè)生涯后,LeCun 正將個(gè)人學(xué)術(shù)聲譽(yù)與職業(yè)“遺產(chǎn)”押注在一套截然不同的 AI 愿景之上。他直言,業(yè)界對(duì)大語(yǔ)言模型規(guī)?;膱?zhí)念,正在把人工智能引向一條看似高速、實(shí)則封閉的死胡同。

      在 LeCun 看來(lái),真正制約 AI 進(jìn)步的關(guān)鍵,并不是如何更快地逼近“人類級(jí)智能”,而是如何跨越一個(gè)常被低估卻極其困難的門(mén)檻——讓機(jī)器具備“狗的智能水平”。這一判斷挑戰(zhàn)了當(dāng)前以語(yǔ)言能力和知識(shí)覆蓋面為中心的評(píng)估體系。在他看來(lái),現(xiàn)實(shí)世界中的理解、預(yù)測(cè)和行動(dòng)能力,遠(yuǎn)比生成流暢文本復(fù)雜得多,而現(xiàn)有以語(yǔ)言為核心的模型,并未真正觸及這一問(wèn)題的本質(zhì)。

      基于這一判斷,LeCun 正通過(guò)其新公司 AMI 推動(dòng)另一條技術(shù)路線:構(gòu)建能夠理解和預(yù)測(cè)世界的“世界模型”(World Models)。與主流生成模型直接在像素或文本層面進(jìn)行輸出不同,AMI 的核心思路是在抽象表征空間中對(duì)世界運(yùn)行規(guī)律進(jìn)行建模和預(yù)測(cè)。這種模型關(guān)注的不是“生成看起來(lái)像什么”,而是“世界將如何演化”,從而為機(jī)器提供更接近真實(shí)認(rèn)知的基礎(chǔ)能力。

      這番表態(tài)再次凸顯了 LeCun 與當(dāng)前主流 AI 敘事之間的分歧。在行業(yè)普遍押注算力、數(shù)據(jù)和參數(shù)規(guī)模的背景下,他選擇回到認(rèn)知與感知的基本問(wèn)題,試圖重新定義通往通用人工智能的技術(shù)路徑。對(duì) LeCun 而言,這不僅是一場(chǎng)技術(shù)路線之爭(zhēng),也是一場(chǎng)關(guān)乎 AI 未來(lái)方向的長(zhǎng)期下注。

      以下為訪談實(shí)錄,經(jīng)由 InfoQ 翻譯及整理:


      Ravid Shwartz-Ziv :你最近宣布,在 12 年后離開(kāi) Meta,正在創(chuàng)辦一家新的創(chuàng)業(yè)公司,專注于先進(jìn)的機(jī)器智能,并且致力于世界模型的研究。首先,從大公司轉(zhuǎn)向從零開(kāi)始創(chuàng)業(yè),身處其中感覺(jué)如何?

      Yann LeCun:我離開(kāi) Meta 創(chuàng)立新公司,是看到當(dāng)前 AI 投資熱潮讓長(zhǎng)期研究型創(chuàng)業(yè)成為可能。以前這類研究只能依托于 IBM、貝爾實(shí)驗(yàn)室這類壟斷型大企業(yè),或是微軟、谷歌、Meta 等大公司的研究院。

      近年來(lái),盡管我們推動(dòng)的開(kāi)放研究曾影響整個(gè)領(lǐng)域,但如今包括谷歌、OpenAI 甚至 Meta 在內(nèi)的許多實(shí)驗(yàn)室正轉(zhuǎn)向封閉。因此,我認(rèn)為現(xiàn)在正是時(shí)候在 Meta 之外繼續(xù)推進(jìn)我所專注的研究方向。

      Allen Roush:那我想確認(rèn)下,您的公司 AMI(先進(jìn)機(jī)器智能)是否計(jì)劃以開(kāi)放的方式進(jìn)行研究?

      Yann LeCun:是的。就拿上游研究來(lái)說(shuō),我認(rèn)為,除非公開(kāi)發(fā)表成果,否則不能稱之為真正的研究。如果你只是自己想出一個(gè)東西,覺(jué)得它前所未有的好,卻不提交給學(xué)界檢驗(yàn),那很可能只是錯(cuò)覺(jué)。

      我在很多工業(yè)研究實(shí)驗(yàn)室都多次見(jiàn)過(guò)這種現(xiàn)象:內(nèi)部對(duì)一些項(xiàng)目過(guò)度追捧,卻沒(méi)有意識(shí)到別人已經(jīng)在做更出色的工作。所以,如果你要求科學(xué)家發(fā)表工作,首先,這會(huì)激勵(lì)他們做出更好的研究——研究方法會(huì)更嚴(yán)謹(jǐn),結(jié)果會(huì)更可靠。這對(duì)他們自身也有益,因?yàn)橐粋€(gè)研究項(xiàng)目對(duì)產(chǎn)品產(chǎn)生影響,常常需要數(shù)月、數(shù)年甚至數(shù)十年。你不可能告訴研究人員“來(lái)為我們工作,但別透露你的研究?jī)?nèi)容,或許五年后你就能對(duì)某個(gè)產(chǎn)品產(chǎn)生影響”——這在期間他們無(wú)法獲得足夠的動(dòng)力去做真正有用的工作,而只會(huì)傾向于做有短期影響的事情。

      因此,如果你真的想要取得突破,就必須允許人們發(fā)表。沒(méi)有其他途徑。而這是目前很多行業(yè)都在忘記的一點(diǎn)

      Allen Roush:AMI(先進(jìn)機(jī)器智能)它會(huì)推出產(chǎn)品嗎?它僅專注于研究,還是有更廣泛的規(guī)劃?

      Yann LeCun:不,遠(yuǎn)不止于此。它最終是要推出實(shí)際產(chǎn)品的。這些產(chǎn)品將圍繞世界模型和規(guī)劃等核心技術(shù)展開(kāi)。我們的雄心是,未來(lái)能成為智能系統(tǒng)的主要供應(yīng)商之一。

      我們認(rèn)為,當(dāng)前基于大語(yǔ)言模型的架構(gòu),雖然在語(yǔ)言處理上尚可,但其構(gòu)建的智能體系統(tǒng)并不理想。它們需要海量數(shù)據(jù)來(lái)模仿人類行為,且可靠性有限。

      要解決這個(gè)問(wèn)題,正確的方法——也是我近十年來(lái)一直主張的——是構(gòu)建能夠預(yù)測(cè) AI 行為后果的模型。然后,系統(tǒng)通過(guò)優(yōu)化計(jì)算,找出最優(yōu)行動(dòng)序列來(lái)完成任務(wù),這就是規(guī)劃。我認(rèn)為,智能的核心在于能預(yù)測(cè)自身行動(dòng)的后果,并用于規(guī)劃。

      這正是我多年來(lái)專注的方向。我們結(jié)合了紐約大學(xué)和 Meta 的研究項(xiàng)目,已經(jīng)取得了快速的進(jìn)展。現(xiàn)在,是時(shí)候?qū)⑦@些構(gòu)想變?yōu)楝F(xiàn)實(shí)了。

      Ravid Shwartz-Ziv:那么,您認(rèn)為目前還缺少哪些關(guān)鍵部分?為什么這個(gè)過(guò)程花了這么長(zhǎng)時(shí)間?畢竟,正如您所說(shuō),您已經(jīng)為此研究了許多年,但它目前依然沒(méi)有超越大語(yǔ)言模型,對(duì)吧?

      Yann LeCun:世界模型與大語(yǔ)言模型是兩回事。它旨在處理高維度、連續(xù)且含噪聲的數(shù)據(jù)模態(tài),而大語(yǔ)言模型對(duì)此完全無(wú)能為力——它們處理圖像或視頻表征的效果并不理想。通常,AI 的視覺(jué)能力是分開(kāi)訓(xùn)練的,并不屬于 LLM 架構(gòu)的一部分。

      所以,要處理這類數(shù)據(jù),你不能使用生成模型,尤其不能使用那些將數(shù)據(jù)“切分”成離散符號(hào)的生成模型。大量實(shí)證表明,這行不通。

      真正有效的方法是:學(xué)習(xí)一個(gè)抽象的表征空間。這個(gè)空間會(huì)濾除輸入中大量無(wú)法預(yù)測(cè)的細(xì)節(jié)(包括噪聲),然后在這個(gè)表征空間內(nèi)進(jìn)行預(yù)測(cè)。這就是 JEPA(聯(lián)合嵌入預(yù)測(cè)架構(gòu))的核心思想。

      讓我回溯一下這段研究歷程。我大概在近 20 年前就確信,構(gòu)建智能系統(tǒng)的正確途徑是某種形式的無(wú)監(jiān)督學(xué)習(xí)。

      在 21 世紀(jì)初,我開(kāi)始以此為方向探索。當(dāng)時(shí)的主流思路是訓(xùn)練自編碼器來(lái)學(xué)習(xí)表征:編碼器將輸入轉(zhuǎn)化為表征,再解碼還原,以確保表征包含輸入的全部信息。但后來(lái)發(fā)現(xiàn),這種“表征必須包含全部信息”的直覺(jué)是錯(cuò)的,它并非好方法。那時(shí)我們并不知曉,嘗試了多種方案,例如受限玻爾茲曼機(jī)、去噪自編碼器,而我主攻稀疏自編碼器——通過(guò)高維稀疏表征來(lái)構(gòu)建信息瓶頸,限制表征中的信息量。

      我和一些學(xué)生(包括后來(lái)成為 DeepMind 首席技術(shù)官的 Koray Kavukcuoglu)圍繞此做了不少博士研究。我們當(dāng)時(shí)的核心目標(biāo),是希望通過(guò)這種自編碼器預(yù)訓(xùn)練來(lái)搭建非常深的神經(jīng)網(wǎng)絡(luò)。

      然而,事情出現(xiàn)了轉(zhuǎn)折。隨著歸一化、ReLU 激活函數(shù)等技術(shù)的出現(xiàn),以及數(shù)據(jù)集規(guī)模的擴(kuò)大,我們發(fā)現(xiàn)在完全有監(jiān)督的方式下也能成功訓(xùn)練相當(dāng)深的網(wǎng)絡(luò)。于是,自監(jiān)督 / 無(wú)監(jiān)督學(xué)習(xí)的想法就被暫時(shí)擱置了。后來(lái),ResNet 在 2015 年出現(xiàn),基本解決了訓(xùn)練極深架構(gòu)的問(wèn)題。

      但也是在 2015 年,我開(kāi)始重新思考如何邁向人類級(jí)別 AI 這個(gè)初心。我意識(shí)到,強(qiáng)化學(xué)習(xí)等方法在樣本效率上極低,難以擴(kuò)展。于是,“世界模型”的想法——即系統(tǒng)能預(yù)測(cè)自身行動(dòng)后果并進(jìn)行規(guī)劃——開(kāi)始真正成型。

      我在 2016 年 NIPS 大會(huì)的主題演講中,就以此為核心主張。隨后,我和學(xué)生開(kāi)始在視頻預(yù)測(cè)等領(lǐng)域進(jìn)行具體研究。但我們(包括當(dāng)時(shí)的整個(gè)領(lǐng)域)犯了一個(gè)同樣的根本性錯(cuò)誤:試圖在像素級(jí)別進(jìn)行預(yù)測(cè)。這在視頻這樣的高維連續(xù)空間里是幾乎不可能的。

      我知道因?yàn)轭A(yù)測(cè)本質(zhì)是非確定性的,所以模型需要潛變量來(lái)表征未知信息。我們?yōu)榇藢?shí)驗(yàn)了多年,也探索了擴(kuò)散模型、基于能量的模型等訓(xùn)練非確定性函數(shù)的方法。

      最終,我領(lǐng)悟到根本的出路是放棄像素級(jí)預(yù)測(cè)。關(guān)鍵在于運(yùn)行一個(gè)表征,并在表征層面進(jìn)行預(yù)測(cè),濾除所有無(wú)法預(yù)測(cè)的細(xì)節(jié)。

      但我早期沒(méi)有深入探索這種方法,是因?yàn)閾?dān)心一個(gè)重大問(wèn)題:坍縮。簡(jiǎn)單來(lái)說(shuō),如果你僅以最小化預(yù)測(cè)誤差為目標(biāo)來(lái)端到端地訓(xùn)練整個(gè)系統(tǒng)(編碼器 + 預(yù)測(cè)器),系統(tǒng)會(huì)找到一個(gè)“作弊”的捷徑:忽略輸入,直接輸出恒定的表征,使預(yù)測(cè)問(wèn)題變得 trivial。這個(gè)問(wèn)題在 90 年代研究連體網(wǎng)絡(luò)(即聯(lián)合嵌入架構(gòu)的早期形式)時(shí)我就已經(jīng)知曉。

      Allen Roush:回到上世紀(jì) 90 年代,其實(shí)當(dāng)時(shí)和現(xiàn)在用的還是同一個(gè)術(shù)語(yǔ)。直到最近,人們?nèi)匀辉谶@些網(wǎng)絡(luò)里使用它。

      Yann LeCun:沒(méi)錯(cuò),這個(gè)概念本身至今依然是成立的。你可以把問(wèn)題抽象成這樣:有一個(gè) X 和一個(gè) Y,把 X 看作是 Y 的某種退化、變換或被破壞后的版本。然后你把 X 和 Y 同時(shí)送入編碼器,并告訴系統(tǒng):X 和 Y 本質(zhì)上是同一個(gè)事物的兩個(gè)視角,因此它們對(duì)應(yīng)的表征應(yīng)該是相同的。

      問(wèn)題在于,如果你只是簡(jiǎn)單地訓(xùn)練兩個(gè)共享權(quán)重的神經(jīng)網(wǎng)絡(luò),讓它們對(duì)同一對(duì)象的略微不同版本輸出相同的表示,系統(tǒng)很快就會(huì)“塌縮”,學(xué)不到任何有用的東西。因此,你必須確保系統(tǒng)能夠從輸入中盡可能多地提取信息。

      我們當(dāng)年在 1993 年提出 Siamese Network 的時(shí)候,采用的核心思路是加入一個(gè)對(duì)比項(xiàng)(contrastive term)。也就是說(shuō),除了相似樣本對(duì),你還引入不相似的樣本對(duì),通過(guò)訓(xùn)練讓系統(tǒng)在相似樣本上拉近表示,在不相似樣本上拉遠(yuǎn)表示。最終形成一個(gè)代價(jià)函數(shù):相似樣本吸引,不相似樣本排斥。

      這個(gè)想法最初來(lái)自一個(gè)非常實(shí)際的需求。有人找到我們,說(shuō)能不能把手寫(xiě)簽名編碼成少于 80 個(gè)字節(jié)?如果可以,就能把簽名寫(xiě)進(jìn)信用卡的磁條里,用于信用卡簽名驗(yàn)證。于是我們?cè)O(shè)計(jì)了一個(gè)神經(jīng)網(wǎng)絡(luò),輸出 80 個(gè)變量,每個(gè)變量量化成 1 個(gè)字節(jié),通過(guò)對(duì)比學(xué)習(xí)來(lái)訓(xùn)練它。結(jié)果效果非常好。

      但后來(lái)他們把方案拿給業(yè)務(wù)部門(mén)看,得到的反饋卻是:“我們干脆讓用戶輸入 PIN 碼好了?!边@對(duì)我來(lái)說(shuō)是一次非常典型的教訓(xùn):技術(shù)上可行,并不意味著商業(yè)上會(huì)被采納。我當(dāng)時(shí)就覺(jué)得這件事本身有點(diǎn)不靠譜,因?yàn)闅W洲已經(jīng)在使用智能卡了,技術(shù)路徑完全不同。

      到了 2000 年代中期,我和兩位學(xué)生重新回到這個(gè)方向,提出了新的目標(biāo)函數(shù)。這就是后來(lái)人們所說(shuō)的對(duì)比學(xué)習(xí)方法:正樣本、負(fù)樣本,正樣本對(duì)應(yīng)低能量,負(fù)樣本對(duì)應(yīng)高能量,能量本質(zhì)上就是表征之間的距離。我們?cè)?2005 年和 2006 年的 CVPR 上發(fā)表了兩篇論文,作者包括 Raia Hadsell(現(xiàn)在是 DeepMind 基礎(chǔ)研究部門(mén)負(fù)責(zé)人)以及 Sumit Chopra(現(xiàn)為紐約大學(xué)教授,研究醫(yī)學(xué)影像)。

      這些工作在社區(qū)中引起了一定關(guān)注,也讓對(duì)比學(xué)習(xí)重新“活”了過(guò)來(lái),但效果依然不算理想。比如在圖像任務(wù)中,這類方法學(xué)到的表示維度往往很低。即便在 ImageNet 上訓(xùn)練,表征的有效維度也就兩三百,這在當(dāng)時(shí)是相當(dāng)令人失望的。

      大約五年前,我在 MIT 的一位博士后 Stefan(Stefano)提出了一個(gè)我最初并不看好的想法:直接最大化編碼器輸出的信息量。我之所以懷疑,是因?yàn)樵缭?1980 年代,Geoff Hinton 就做過(guò)類似嘗試——信息量本身是很難最大化的,因?yàn)槲覀兺ǔV挥猩辖?,沒(méi)有可計(jì)算的下界。

      但 Stefan 提出了一個(gè)方法,后來(lái)被稱為Barlow Twins,名字來(lái)自一位提出信息最大化思想的理論神經(jīng)科學(xué)家。結(jié)果這個(gè)方法居然真的奏效了。這讓我意識(shí)到:這個(gè)方向值得深入推進(jìn)。

      隨后,我們又提出了VICReg(Variance–Invariance–Covariance Regularization),結(jié)構(gòu)更簡(jiǎn)單,效果反而更好。最近我和 Randall 還討論了一個(gè)可以進(jìn)一步工程化的方案,叫SigReg,整個(gè)系統(tǒng)被命名為Lojic-JEPA。SigReg 的核心思想,是約束編碼器輸出的向量分布接近各向同性高斯分布。

      這個(gè)領(lǐng)域正在快速發(fā)展,我認(rèn)為未來(lái)一兩年內(nèi)還會(huì)有顯著進(jìn)展。這是一條非常有前景的技術(shù)路線,用來(lái)訓(xùn)練能夠?qū)W習(xí)抽象表征的模型,而抽象表征恰恰是關(guān)鍵。

      1 大模型現(xiàn)在缺失的關(guān)鍵要素是什么

      Ravid Shwartz-Ziv:在你看來(lái),現(xiàn)在還缺失的關(guān)鍵要素是什么?是更多算力,還是更好的算法?你是否認(rèn)同“苦澀的教訓(xùn)”(Bitter Lesson)?另外,你怎么看 2022 年之后互聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量下降的問(wèn)題?有人把 LLM 之前的數(shù)據(jù)稱為“低背景輻射鋼鐵”,你認(rèn)同這種說(shuō)法嗎?

      Yann LeCun:我覺(jué)得自己基本上不太受這個(gè)問(wèn)題的影響。原因很簡(jiǎn)單:如果你要訓(xùn)練一個(gè)性能還算過(guò)得去的大語(yǔ)言模型,就必須使用幾乎整個(gè)互聯(lián)網(wǎng)中所有可獲取的文本數(shù)據(jù),再加上一些合成數(shù)據(jù)和授權(quán)數(shù)據(jù)。兩三年前,一個(gè)典型模型的預(yù)訓(xùn)練規(guī)模大約是 30 萬(wàn)億 token。一個(gè) token 大概 3 個(gè)字節(jié),這相當(dāng)于 101? 字節(jié)的數(shù)據(jù)量。

      這意味著什么?意味著模型必須具備極大的存儲(chǔ)能力,因?yàn)槲谋局邪氖谴罅肯嗷ス铝⒌氖聦?shí)。文本冗余度并不高,本質(zhì)上是“記憶型”數(shù)據(jù),因此你需要非常大的網(wǎng)絡(luò)來(lái)存儲(chǔ)并復(fù)述這些事實(shí)。

      現(xiàn)在我們對(duì)比一下視頻數(shù)據(jù)。101? 字節(jié)的視頻,大約相當(dāng)于 1.5 萬(wàn)小時(shí)的視頻內(nèi)容。這聽(tīng)起來(lái)很多,但實(shí)際上只是 YouTube 半小時(shí)的上傳量,也差不多是一個(gè)四歲孩子一生中清醒時(shí)間看到的視覺(jué)信息總量。四年的清醒時(shí)間,大約就是 1.6 萬(wàn)小時(shí)。

      而現(xiàn)實(shí)世界的視頻數(shù)據(jù),結(jié)構(gòu)要比文本豐富得多。我們現(xiàn)在已經(jīng)有視頻模型,比如去年發(fā)布的 V-JEPA 2,它使用的訓(xùn)練數(shù)據(jù)相當(dāng)于一個(gè)世紀(jì)的視頻量,而且全部是公開(kāi)數(shù)據(jù)。盡管視頻在字節(jié)層面更冗余,但正是這種冗余,使得自監(jiān)督學(xué)習(xí)成為可能。

      如果數(shù)據(jù)是完全隨機(jī)的,自監(jiān)督學(xué)習(xí)是無(wú)法進(jìn)行的。你必須依賴冗余結(jié)構(gòu)。正因如此,真實(shí)世界的數(shù)據(jù),尤其是視頻,遠(yuǎn)比文本更有學(xué)習(xí)價(jià)值。這也是我一直堅(jiān)持的觀點(diǎn):僅靠文本訓(xùn)練,永遠(yuǎn)不可能達(dá)到人類水平的智能。

      Allen Roush:那在“世界模型”和“現(xiàn)實(shí) grounding”這個(gè)問(wèn)題上,你怎么看?有人認(rèn)為世界模型就是一個(gè)高度逼真的模擬器,比如像《星際迷航》里的全息甲板(Holodeck),你認(rèn)同這種理想嗎?

      Yann LeCun:這是一個(gè)非常好的問(wèn)題,因?yàn)樗敝竼?wèn)題的核心,也恰好說(shuō)明了我認(rèn)為當(dāng)前主流認(rèn)知有多么偏離方向。

      很多人以為,世界模型就是對(duì)現(xiàn)實(shí)世界每一個(gè)細(xì)節(jié)的完整復(fù)刻,本質(zhì)上是一個(gè)模擬器。由于深度學(xué)習(xí)的流行,大家自然會(huì)想到用神經(jīng)網(wǎng)絡(luò)來(lái)做模擬,尤其是視頻生成,看起來(lái)非常炫酷。

      但問(wèn)題在于:一個(gè)視頻生成模型,并不保證它真正理解了世界的底層動(dòng)力學(xué)。它可能只是學(xué)會(huì)了表面統(tǒng)計(jì)相關(guān)性。認(rèn)為模型必須復(fù)現(xiàn)現(xiàn)實(shí)的每一個(gè)細(xì)節(jié),這是一個(gè)錯(cuò)誤,甚至是有害的想法。

      舉個(gè)例子:計(jì)算流體力學(xué)(CFD)。我們用超級(jí)計(jì)算機(jī)模擬飛機(jī)周圍的氣流,把空間切成小立方體,在每個(gè)立方體里記錄速度、密度、溫度等變量,然后解偏微分方程。即便如此,這種模擬在湍流等混沌情況下也只是近似正確。

      但你要注意,這已經(jīng)是對(duì)真實(shí)物理過(guò)程的高度抽象了。真實(shí)世界中,氣流是由分子碰撞產(chǎn)生的,但沒(méi)有人會(huì)去逐分子地模擬,那樣的計(jì)算量是不可承受的。

      再往下推,你可以說(shuō)應(yīng)該用量子場(chǎng)論來(lái)描述一切,但那同樣是不現(xiàn)實(shí)的。我們既無(wú)法測(cè)量宇宙的波函數(shù),也無(wú)法提供所需的計(jì)算資源。

      所以我們做了什么?我們發(fā)明了抽象層級(jí)。從粒子、原子、分子,到細(xì)胞、器官、個(gè)體、社會(huì)、生態(tài)系統(tǒng)。每一層抽象都會(huì)忽略下層的大量細(xì)節(jié),而正是這種忽略,使我們能夠進(jìn)行更長(zhǎng)期、更穩(wěn)定的預(yù)測(cè)。

      世界模型也一樣。它不需要是現(xiàn)實(shí)的逐像素模擬器,而是在抽象表征空間中,只模擬與任務(wù)相關(guān)的那部分現(xiàn)實(shí)。

      如果我問(wèn)你:100 年后木星在哪里?你并不需要關(guān)于木星的全部信息,只需要 6 個(gè)數(shù)字:三個(gè)位置坐標(biāo),三個(gè)速度分量,其余信息都無(wú)關(guān)緊要。

      2 合成數(shù)據(jù)和模擬環(huán)境對(duì)大模型意味什么

      Allen Roush:那你怎么看合成數(shù)據(jù)和模擬環(huán)境?比如游戲數(shù)據(jù),是否會(huì)引入偏差?

      Yann LeCun:合成數(shù)據(jù)當(dāng)然是有價(jià)值的。孩子通過(guò)游戲?qū)W到大量知識(shí),本質(zhì)上也是在受控的模擬環(huán)境中學(xué)習(xí)。

      但確實(shí)要警惕某些模擬的失真。例如很多視頻游戲里的物理效果是為了“好看”,而非真實(shí)。這種偏差如果不加控制,可能會(huì)影響模型在現(xiàn)實(shí)世界中的泛化能力。

      關(guān)鍵不在于是否使用模擬,而在于你在哪個(gè)抽象層級(jí)上訓(xùn)練模型。很多基礎(chǔ)的世界規(guī)律——物體會(huì)一起移動(dòng)、會(huì)下落、不會(huì)同時(shí)出現(xiàn)在兩個(gè)地方——都是在非常抽象的層面上學(xué)到的,而不是通過(guò)語(yǔ)言學(xué)到的。

      大語(yǔ)言模型并不真正理解這些規(guī)律,它們只是被微調(diào)到給出“看起來(lái)正確”的答案。這是復(fù)述,不是理解。

      而這些概念,是可以通過(guò)非常簡(jiǎn)單、抽象的環(huán)境學(xué)會(huì)的,比如二維冒險(xiǎn)游戲。即便環(huán)境并不完美,但它們?nèi)匀荒芙虝?huì)模型一些極其基礎(chǔ)、卻至關(guān)重要的世界結(jié)構(gòu)。

      Ravid Shwartz-Ziv:所以你認(rèn)為,這條路還能繼續(xù)推進(jìn)嗎?

      Yann LeCun:可以,而且必須繼續(xù)推進(jìn)。真正重要的,是讓模型學(xué)會(huì)抽象世界的結(jié)構(gòu),而不是背誦世界的表象。這才是通向真正智能系統(tǒng)的唯一道路。

      在圍棋和象棋這樣的游戲中,機(jī)器顯然已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)人類了。原因之一是機(jī)器在博弈樹(shù)搜索上的速度極快,也具備人類根本不可能擁有的記憶容量。人類根本無(wú)法進(jìn)行真正的廣度優(yōu)先搜索。

      AlphaGo 出現(xiàn)之前,人們?cè)J(rèn)為頂級(jí)圍棋選手距離“理想棋手”(他們稱之為“神”)也許只差兩三子。但事實(shí)證明并非如此——即便是世界最頂級(jí)的人類棋手,也需要讓八到九子才能與機(jī)器對(duì)抗。

      Allen Roush:我很榮幸能和你討論游戲 AI 的問(wèn)題。我有兩個(gè)延伸問(wèn)題。第一個(gè),你提到人類在象棋等任務(wù)上其實(shí)非常不擅長(zhǎng)。我了解到這常被稱為“莫拉維克悖論”:人類在漫長(zhǎng)的進(jìn)化過(guò)程中擅長(zhǎng)身體運(yùn)動(dòng)和感知,但從未進(jìn)化出下棋能力。你是否認(rèn)同這個(gè)解釋?

      第二個(gè)問(wèn)題與電子游戲有關(guān)。很多玩家——包括我自己——都感覺(jué)游戲里的敵人 AI 在過(guò)去 20 年幾乎沒(méi)有進(jìn)步,最好的例子仍然是 2000 年代初的《光環(huán) 1》和《FEAR》。你認(rèn)為實(shí)驗(yàn)室里的 AI 研究,什么時(shí)候才能真正影響游戲體驗(yàn),而不是只體現(xiàn)在生成式 AI 上?

      Yann LeCun:我以前也是玩家,雖然不算沉迷,但我的家庭幾乎完全浸在這個(gè)圈子里——我有三個(gè)三十多歲的兒子,他們共同經(jīng)營(yíng)一家游戲設(shè)計(jì)工作室。所以我對(duì)這個(gè)行業(yè)并不陌生。

      你的觀察是對(duì)的。事實(shí)上,不只是游戲,動(dòng)畫(huà)電影制作也是類似的情況。盡管物理模擬已經(jīng)相當(dāng)精確,但很多動(dòng)畫(huà)工作室并不會(huì)使用最真實(shí)的物理模擬,因?yàn)樗麄兏枰氖恰翱煽匦浴?,而不是絕對(duì)的物理準(zhǔn)確性。

      游戲同樣是一種創(chuàng)作行為,創(chuàng)作者希望控制劇情走向、NPC 的行為方式,而不是讓一切完全由 AI 自由演化。目前的 AI 技術(shù)在“保持可控性”方面仍然存在挑戰(zhàn),這也是游戲行業(yè)對(duì)深度 AI 應(yīng)用保持謹(jǐn)慎的原因之一。

      至于你提到的莫拉維克悖論,它依然完全成立。這一觀點(diǎn)大約是在 1988 年提出的,其核心問(wèn)題是:

      為什么我們認(rèn)為高度“智能”的任務(wù)(比如下棋、做積分)可以輕松交給計(jì)算機(jī),而那些我們完全不覺(jué)得是“智能”的能力——比如貓走路、避障、捕獵——卻極其難以讓機(jī)器掌握?

      即便到了今天,四十多年過(guò)去了,我們?nèi)匀粺o(wú)法讓機(jī)器人具備貓的靈活性、創(chuàng)造性和適應(yīng)能力。問(wèn)題不在于硬件,我們完全可以造出這樣的機(jī)器人,而在于我們無(wú)法讓它們“足夠聰明”。

      正因?yàn)槿绱?,那些宣稱“一兩年內(nèi)實(shí)現(xiàn) AGI”的說(shuō)法,在我看來(lái)是完全脫離現(xiàn)實(shí)的幻想。真實(shí)世界的復(fù)雜度,遠(yuǎn)不是通過(guò)對(duì)世界進(jìn)行 token 化、再喂給語(yǔ)言模型就能解決的。

      3 “通用智能”簡(jiǎn)直是胡扯

      Ravid Shwartz-Ziv:那你對(duì) AGI 的時(shí)間表怎么看?你是偏樂(lè)觀還是偏悲觀?在當(dāng)前關(guān)于 AI 風(fēng)險(xiǎn)的討論中,你更接近哪一派?

      Yann LeCun:首先我要明確一點(diǎn):“通用智能”這個(gè)概念本身就是站不住腳的。

      它本質(zhì)上是以“人類智能”為參照定義的,但人類智能本身高度專用化。我們擅長(zhǎng)在現(xiàn)實(shí)世界中行動(dòng)、與他人互動(dòng),但在下棋等任務(wù)上卻表現(xiàn)糟糕;而很多動(dòng)物在某些方面遠(yuǎn)勝人類。

      我們之所以誤以為自己是“通用的”,只是因?yàn)槲覀冎荒芾斫庾约耗軌蛳胂蟮膯?wèn)題。

      因此,與其討論“通用智能”,不如討論“人類水平智能”:機(jī)器是否會(huì)在所有人類擅長(zhǎng)的領(lǐng)域達(dá)到或超過(guò)人類?答案是肯定的,而且在某些領(lǐng)域已經(jīng)發(fā)生了——例如機(jī)器可以在上千種語(yǔ)言之間進(jìn)行雙向翻譯,這是任何人類都無(wú)法做到的。

      但這個(gè)過(guò)程不會(huì)是一個(gè)突發(fā)事件,而是一個(gè)漸進(jìn)的過(guò)程。

      未來(lái)幾年,我們可能在世界模型、規(guī)劃能力等方面取得關(guān)鍵性進(jìn)展。如果一切順利、沒(méi)有遇到尚未意識(shí)到的根本性障礙,最樂(lè)觀的情況是:在 5 到 10 年內(nèi),我們或許能看到接近人類,或者至少接近“狗水平”的智能系統(tǒng)。

      但這只是最樂(lè)觀的估計(jì)。歷史告訴我們,AI 發(fā)展中總會(huì)出現(xiàn)新的瓶頸,可能需要 20 年甚至更久才能突破。

      Ravid Shwartz-Ziv:那你認(rèn)為,從現(xiàn)在到“狗水平智能”,是否比從“狗”到“人類”更難?

      Yann LeCun:恰恰相反,最難的部分是達(dá)到“狗水平”。

      一旦你達(dá)到這個(gè)階段,絕大多數(shù)核心要素就已經(jīng)具備了。從靈長(zhǎng)類到人類,真正新增的關(guān)鍵能力,可能主要是語(yǔ)言。而語(yǔ)言在大腦中只占據(jù)極小的區(qū)域,我們已經(jīng)在這方面做得相當(dāng)不錯(cuò)。

      某種意義上,未來(lái)的語(yǔ)言模型可能扮演人腦中布羅卡區(qū)和韋尼克區(qū)的角色。而我們當(dāng)前真正缺失的,是相當(dāng)于“前額葉皮層”的能力——也就是世界模型、規(guī)劃與行動(dòng)能力。

      Allen Roush:這就引出了一個(gè)繞不開(kāi)的問(wèn)題:安全。如果 AI 達(dá)到“狗水平”,它在嗅覺(jué)等感知能力上可能已經(jīng)遠(yuǎn)超人類,這只是潛在沖擊的冰山一角。再加上“超級(jí)說(shuō)服”“AI 精神錯(cuò)亂”等現(xiàn)象,你是否擔(dān)心 AI 會(huì)變得失控?

      Yann LeCun:我當(dāng)然理解這些擔(dān)憂,而且我本人也親身經(jīng)歷過(guò)相關(guān)事件。有一次在 NYU 校園,我遇到一名情緒嚴(yán)重不穩(wěn)定的人,他攜帶危險(xiǎn)物品,被警方帶走。還有高中生給我寫(xiě)信,說(shuō)他們被“AI 滅世論”嚇到,甚至不再上學(xué)。

      這些現(xiàn)象說(shuō)明,恐懼本身也會(huì)造成真實(shí)傷害。但歷史告訴我們,任何強(qiáng)大的技術(shù)都會(huì)帶來(lái)利弊。

      以汽車為例,早期汽車極其危險(xiǎn),但通過(guò)安全帶、潰縮區(qū)、自動(dòng)剎車系統(tǒng)等技術(shù)演進(jìn),如今已經(jīng)大幅降低了死亡率。歐盟強(qiáng)制配備的自動(dòng)緊急制動(dòng)系統(tǒng),已被證明能減少 40% 的正面碰撞事故。

      AI 也是如此。它既可能帶來(lái)風(fēng)險(xiǎn),也已經(jīng)在醫(yī)療影像等領(lǐng)域挽救了大量生命。

      4 當(dāng) AI 發(fā)展到某一階段,要暫停嗎?

      Allen Roush:你與 Hinton、Bengio 在 AI 未來(lái)問(wèn)題上的立場(chǎng)有所不同。你認(rèn)為會(huì)不會(huì)有一天,AI 發(fā)展到某個(gè)階段,必須暫停推進(jìn),轉(zhuǎn)而只關(guān)注安全?

      Yann LeCun:安全必須與發(fā)展同步進(jìn)行,而不是先停下來(lái)等“絕對(duì)安全”。

      我常用噴氣發(fā)動(dòng)機(jī)作比喻:第一代噴氣發(fā)動(dòng)機(jī)根本不安全、不可靠,但正是在不斷工程改進(jìn)中,才達(dá)到了今天這種可以連續(xù)飛行 17 小時(shí)的可靠性。AI 也會(huì)走類似的路徑。我們會(huì)逐步構(gòu)建具備規(guī)劃與行動(dòng)能力的系統(tǒng),同時(shí)在非常底層引入明確的安全約束。

      比如,家用機(jī)器人必須始終避開(kāi)人類、不能傷害人;手持刀具時(shí)必須限制動(dòng)作幅度。這些都可以通過(guò)低層規(guī)則明確約束。所謂“回形針最大化”的極端案例,在工程上其實(shí)非常容易避免。

      Ravid Shwartz-Ziv:有人認(rèn)為,大語(yǔ)言模型可以通過(guò)微調(diào)來(lái)避免生成危險(xiǎn)內(nèi)容,但現(xiàn)實(shí)是,它們總是可以被“越獄”,總能找到某些提示詞繞過(guò)限制。無(wú)論我們禁止它們做什么,總會(huì)有漏洞。你怎么看?

      Yann LeCun:我同意你的判斷,這正是我反對(duì)繼續(xù)依賴 LLM 的原因。我們不應(yīng)該再指望通過(guò)微調(diào)語(yǔ)言模型來(lái)解決安全問(wèn)題,而應(yīng)該轉(zhuǎn)向我之前提到的那類以目標(biāo)驅(qū)動(dòng)(objective-driven)為核心的 AI 架構(gòu)。

      在這種架構(gòu)中,系統(tǒng)具備以下幾個(gè)關(guān)鍵能力:

      第一,它擁有世界模型,能夠預(yù)測(cè)自身行為可能帶來(lái)的后果;

      第二,它可以規(guī)劃一系列行動(dòng)來(lái)完成任務(wù);

      第三,也是最關(guān)鍵的,它必須受到一整套硬性約束的限制,確保無(wú)論采取什么行動(dòng)、預(yù)測(cè)到什么世界狀態(tài),都不會(huì)對(duì)人類造成危險(xiǎn),也不會(huì)產(chǎn)生負(fù)面副作用。

      這類系統(tǒng)在設(shè)計(jì)層面就是安全的。因?yàn)樗妮敵霾皇强俊拔⒄{(diào)”或“內(nèi)容過(guò)濾”,而是通過(guò)在滿足約束條件的前提下,優(yōu)化目標(biāo)函數(shù)得出的。換句話說(shuō),它在結(jié)構(gòu)上就不具備“逃逸”的可能性,這是一種先天安全的設(shè)計(jì),而不是事后修補(bǔ)。

      Allen Roush:目前在 LLM 領(lǐng)域,也有一些限制輸出空間的技術(shù),比如只允許模型在一個(gè)非常有限的輸出集合中生成內(nèi)容,這種方法在擴(kuò)散模型中也有應(yīng)用。你認(rèn)為這些方法在現(xiàn)實(shí)中真的顯著提升了模型的可用性嗎?

      Yann LeCun:它們確實(shí)有一定幫助,但代價(jià)極其高昂,所以這種做法極其荒謬。這類方法的基本做法是:先讓模型生成大量候選輸出,再用一個(gè)過(guò)濾或排序系統(tǒng)進(jìn)行打分,挑出“最不糟糕”“毒性最低”的那個(gè)結(jié)果。

      問(wèn)題在于,這種方式本質(zhì)上是暴力搜索,計(jì)算成本高得離譜。除非你有某種真正意義上的目標(biāo)函數(shù)或價(jià)值函數(shù),能夠在生成過(guò)程中就把系統(tǒng)引導(dǎo)到“高質(zhì)量、低風(fēng)險(xiǎn)”的輸出,否則這種做法永遠(yuǎn)都會(huì)非常昂貴、低效,也不可規(guī)?;?。

      5 “Alex Wang 不是科學(xué)家,他沒(méi)有接替我”

      Allen Roush:我們稍微換一個(gè)話題。很多觀眾也關(guān)心一些更偏“人和組織”的問(wèn)題。比如,在 Meta 內(nèi)部,Alex Wang 似乎正在接管你過(guò)去的角色,你怎么看 Meta 未來(lái)的 AI 方向?

      Yann LeCun:他并不是在“接替我”。Alex Wang 負(fù)責(zé)的是 Meta 所有 AI 相關(guān)的研發(fā)與產(chǎn)品整體運(yùn)作,而不是科研本身。他并不是研究員或科學(xué)家,而是一個(gè)全面統(tǒng)籌的人。

      在 Meta 的“超級(jí)智能實(shí)驗(yàn)室”體系下,大致可以分為四個(gè)部分:第一是 FAIR,負(fù)責(zé)長(zhǎng)期基礎(chǔ)研究;第二是 TBD Lab,主要做前沿模型,幾乎完全聚焦大語(yǔ)言模型;第三是 AI 基礎(chǔ)設(shè)施,包括軟件和硬件;第四是產(chǎn)品部門(mén),把前沿模型做成真正可用的產(chǎn)品,比如聊天機(jī)器人,并集成到 WhatsApp 等應(yīng)用中。Alex 統(tǒng)管這四個(gè)方向。

      我本人是 FAIR 的首席 AI 科學(xué)家,但我很快就會(huì)離開(kāi) Meta——大概再待三周左右。

      Ravid Shwartz-Ziv:FAIR 的定位是否也在發(fā)生變化?

      Yan LeCun:是的。FAIR 目前由我們?cè)?NYU 的同事 Rob Fergus 領(lǐng)導(dǎo)。在 Joel Pineau 離開(kāi)后,F(xiàn)AIR 被明顯推向更短期、更偏應(yīng)用的研究方向,發(fā)表論文的重要性下降,更多是為 TBD Lab 的大模型工作提供支持。這也意味著 Meta 整體正在變得更“封閉”。

      有些研究團(tuán)隊(duì)也被重新歸類,比如做 SAM(Segment Anything)的團(tuán)隊(duì),現(xiàn)在已經(jīng)歸到產(chǎn)品部門(mén),因?yàn)樗麄冏龅氖歉驅(qū)ν?、?shí)用型的技術(shù)。

      6 關(guān)于“世界模型”創(chuàng)業(yè)公司的看法

      Allen Roush:你如何看待其他試圖構(gòu)建世界模型的公司?比如 Physical Intelligence、Thinking Machines,或者 SSI?

      Yan LeCun:說(shuō)實(shí)話,大多數(shù)我也不太清楚他們具體在做什么。SSI 已經(jīng)成了一個(gè)行業(yè)笑話——幾乎沒(méi)人知道他們?cè)诟墒裁矗ㄋ麄冏约旱耐顿Y人。這只是傳言,我不確定真假。

      Physical Intelligence 的方向,我倒是了解一些。他們主要做的是幾何一致的視頻生成:場(chǎng)景具有持久的三維結(jié)構(gòu),你轉(zhuǎn)身再回來(lái),物體不會(huì)憑空變化。這仍然是一種生成像素的思路,而我剛剛才花了很長(zhǎng)時(shí)間解釋,為什么我認(rèn)為“生成像素”本身是個(gè)錯(cuò)誤方向。

      Allen Roush:有沒(méi)有你比較認(rèn)可的世界模型實(shí)踐?

      Yan LeCun:有一家叫Wayve(WA-Y-V-E)的公司,總部在牛津,我是他們的顧問(wèn)。他們?cè)谧詣?dòng)駕駛領(lǐng)域構(gòu)建了一個(gè)世界模型:先學(xué)習(xí)一個(gè)表示空間,再在這個(gè)抽象空間中做時(shí)間預(yù)測(cè)。

      他們做對(duì)了一半:對(duì)的地方在于,預(yù)測(cè)應(yīng)該發(fā)生在表示空間,而不是像素空間;問(wèn)題在于,他們的表示空間仍然主要通過(guò)重建訓(xùn)練得到,這一點(diǎn)我認(rèn)為是錯(cuò)誤的。

      盡管如此,他們的系統(tǒng)整體效果非常好,在這一領(lǐng)域已經(jīng)走得相當(dāng)靠前。

      此外,NVIDIA 和 Sandbox AQ 也在談?lì)愃品较颉andbox AQ 的 CEO Jack Hidary 提出“大型定量模型”,而不是語(yǔ)言模型,本質(zhì)上就是能夠處理連續(xù)、高維、噪聲數(shù)據(jù)的預(yù)測(cè)模型——這與我的主張高度一致。

      Google 也做了很多世界模型,但主要仍是生成式路徑。Danijar Hafner 的 Dreamer 系列模型其實(shí)走在一條正確道路上,只可惜他已經(jīng)離開(kāi) Google 創(chuàng)業(yè)了。

      Ravid Shwartz-Ziv:你曾嚴(yán)厲批評(píng)硅谷過(guò)度聚焦大語(yǔ)言模型。這是否也是你選擇在巴黎啟動(dòng)新公司的原因之一?你認(rèn)為這種現(xiàn)象會(huì)改變嗎?

      Yan LeCun:我先澄清一點(diǎn):我創(chuàng)辦的是一家全球性公司,只是其中一個(gè)辦公室在巴黎,在紐約等地也有布局。

      硅谷存在一個(gè)非常典型的現(xiàn)象:因?yàn)楦?jìng)爭(zhēng)極端激烈,所有公司都被迫做同一件事。如果你走一條不同的技術(shù)路線,就有“掉隊(duì)”的巨大風(fēng)險(xiǎn)。這種環(huán)境會(huì)催生一種技術(shù)單一化(monoculture)。

      OpenAI、Meta、Google、Anthropic,幾乎所有公司都在做同樣的事情。

      結(jié)果就是:大家拼命在同一條戰(zhàn)壕里向前沖,卻很容易被來(lái)自“完全不同方向”的技術(shù)突破所顛覆。

      我所關(guān)注的世界模型與目標(biāo)驅(qū)動(dòng)架構(gòu),本質(zhì)上是為了解決語(yǔ)言模型根本不擅長(zhǎng)的問(wèn)題:連續(xù)、高維、噪聲數(shù)據(jù),比如視頻、物理世界感知。這些領(lǐng)域里,LLM 的嘗試幾乎都失敗了。

      在硅谷,有一種說(shuō)法叫“你是否已經(jīng)被 LLM 洗腦”。很多人堅(jiān)信,只要不斷擴(kuò)大模型規(guī)模、生成更多合成數(shù)據(jù)、加強(qiáng) RL 微調(diào),就一定能走向超級(jí)智能。我認(rèn)為這是徹底錯(cuò)誤的。

      你必須跳出這種文化。而事實(shí)上,在硅谷的大公司內(nèi)部,也有不少人私下認(rèn)同這一點(diǎn)——我現(xiàn)在正在把他們招過(guò)來(lái)。

      7 為什么 65 歲仍然創(chuàng)業(yè)?

      Ravid Shwartz-Ziv:你已經(jīng) 65 歲,拿過(guò)圖靈獎(jiǎng)、女王獎(jiǎng),完全可以退休。為什么現(xiàn)在還要?jiǎng)?chuàng)業(yè)?

      Yan LeCun:因?yàn)槲矣惺姑?。我一直認(rèn)為,提升世界上的“智能總量”是一件內(nèi)在正確的事情。智能是這個(gè)世界上最稀缺、最被需要的資源,這也是為什么人類投入如此多的成本去教育。

      無(wú)論是幫助人類更聰明,還是用機(jī)器來(lái)增強(qiáng)人類智能,本質(zhì)上都是在服務(wù)同一個(gè)目標(biāo)。當(dāng)然,強(qiáng)大技術(shù)必然伴隨風(fēng)險(xiǎn),但那是工程和治理問(wèn)題,而不是不可逾越的根本障礙。

      我一生的研究、教學(xué)、公共傳播,幾乎都圍繞著同一件事:讓人類變得更聰明。而機(jī)器智能,本質(zhì)上也是這個(gè)目標(biāo)的一部分。

      Ravid Shwartz-Ziv:有沒(méi)有什么你一直沒(méi)來(lái)得及寫(xiě)下的想法,或者職業(yè)上的遺憾?

      Yan LeCun:太多了。我整個(gè)職業(yè)生涯都在后悔一件事:沒(méi)有花足夠時(shí)間把自己的想法寫(xiě)下來(lái),結(jié)果經(jīng)常被別人搶先。

      反向傳播就是一個(gè)例子。我其實(shí)很早就有類似思路,但沒(méi)有及時(shí)完整發(fā)表。不過(guò)我并不糾結(jié)??茖W(xué)思想幾乎從來(lái)不是孤立產(chǎn)生的,從想法到論文、到理論、到應(yīng)用、到產(chǎn)品,本身就是一個(gè)漫長(zhǎng)而復(fù)雜的鏈條。

      “世界模型”這個(gè)概念也并不新。早在 1960 年代,控制論和航天工程就已經(jīng)在使用世界模型來(lái)規(guī)劃火箭軌道。所謂系統(tǒng)辨識(shí),更是 1970 年代的老概念。

      真正的難點(diǎn),從來(lái)不在“最早提出”,而在于把一個(gè)想法真正變成可工作的系統(tǒng)。

      https://www.youtube.com/watch?v=7u-DXVADyhc

      聲明:本文為 InfoQ 翻譯整理,未經(jīng)許可禁止轉(zhuǎn)載。

      AI 重塑組織的浪潮已至,Agentic 企業(yè)時(shí)代正式開(kāi)啟!當(dāng) AI 不再是單純的輔助工具,而是深度融入業(yè)務(wù)核心、驅(qū)動(dòng)組織形態(tài)與運(yùn)作邏輯全面革新的核心力量。

      把握行業(yè)變革關(guān)鍵節(jié)點(diǎn),12 月 19 日 - 20 日,AICon 全球人工智能開(kāi)發(fā)與應(yīng)用大會(huì)(北京站) 即將重磅啟幕!本屆大會(huì)精準(zhǔn)錨定行業(yè)前沿,聚焦大模型訓(xùn)練與推理、AI Agent、研發(fā)新范式與組織革新,邀您共同深入探討:如何構(gòu)建起可信賴、可規(guī)?;⒖缮虡I(yè)化的 Agentic 操作系統(tǒng),讓 AI 真正成為企業(yè)降本增效、突破增長(zhǎng)天花板的核心引擎。

      特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關(guān)推薦
      熱點(diǎn)推薦
      華為“變天”!余承東升任董事長(zhǎng),孟晚舟、徐直軍等卸任董事

      華為“變天”!余承東升任董事長(zhǎng),孟晚舟、徐直軍等卸任董事

      樹(shù)科技
      2025-12-16 15:44:16
      病情急轉(zhuǎn)直下!46歲上海獨(dú)身女子離世,沒(méi)有一個(gè)近親屬,身后事不能用自己的錢?

      病情急轉(zhuǎn)直下!46歲上海獨(dú)身女子離世,沒(méi)有一個(gè)近親屬,身后事不能用自己的錢?

      新民晚報(bào)
      2025-12-16 10:06:15
      爭(zhēng)議?曝張水華連續(xù)2個(gè)周日被護(hù)士長(zhǎng)安排值班 錯(cuò)過(guò)2項(xiàng)家門(mén)口賽事

      爭(zhēng)議?曝張水華連續(xù)2個(gè)周日被護(hù)士長(zhǎng)安排值班 錯(cuò)過(guò)2項(xiàng)家門(mén)口賽事

      風(fēng)過(guò)鄉(xiāng)
      2025-12-16 15:32:54
      黎智英遭裁決,美國(guó)大魚(yú)被供出,30國(guó)勢(shì)力同時(shí)冒頭,逼中方放人?

      黎智英遭裁決,美國(guó)大魚(yú)被供出,30國(guó)勢(shì)力同時(shí)冒頭,逼中方放人?

      涵豆說(shuō)娛
      2025-12-16 14:46:22
      首次披露!山西女縣長(zhǎng)被查!

      首次披露!山西女縣長(zhǎng)被查!

      晉城關(guān)注暢緣
      2025-12-16 11:58:31
      A股:剛剛,大消息傳來(lái),釋放兩個(gè)信號(hào),周三很可能迎來(lái)更大變盤(pán)

      A股:剛剛,大消息傳來(lái),釋放兩個(gè)信號(hào),周三很可能迎來(lái)更大變盤(pán)

      云鵬敘事
      2025-12-17 00:00:07
      看齊梅西C羅!28歲登貝萊包攬金球獎(jiǎng)+世界足球先生,近10年第4人

      看齊梅西C羅!28歲登貝萊包攬金球獎(jiǎng)+世界足球先生,近10年第4人

      我愛(ài)英超
      2025-12-17 03:12:39
      演員林光寧去世

      演員林光寧去世

      中吳網(wǎng)
      2025-12-16 15:15:12
      特朗普突然發(fā)現(xiàn),俄烏打到現(xiàn)在,中國(guó)才是真正的高明,美國(guó)學(xué)不來(lái)

      特朗普突然發(fā)現(xiàn),俄烏打到現(xiàn)在,中國(guó)才是真正的高明,美國(guó)學(xué)不來(lái)

      古事尋蹤記
      2025-12-17 07:04:29
      向華強(qiáng)迎77歲生日,兒子向佐曬一家四口合照,真是幸福又美滿

      向華強(qiáng)迎77歲生日,兒子向佐曬一家四口合照,真是幸福又美滿

      知法而形
      2025-12-16 16:32:01
      聯(lián)賽第一!楊舒予14分廣東女籃22分大勝湖北 衛(wèi)冕冠軍6戰(zhàn)全勝

      聯(lián)賽第一!楊舒予14分廣東女籃22分大勝湖北 衛(wèi)冕冠軍6戰(zhàn)全勝

      醉臥浮生
      2025-12-16 21:14:10
      讓人眼紅了!16歲小伙深圳賣烤雞,日入過(guò)萬(wàn),每月給家里寄幾萬(wàn)元

      讓人眼紅了!16歲小伙深圳賣烤雞,日入過(guò)萬(wàn),每月給家里寄幾萬(wàn)元

      火山詩(shī)話
      2025-12-17 05:38:28
      霍啟剛攜手妻子現(xiàn)身哈爾濱,穿正裝戴眼鏡十分紳士,郭晶晶也時(shí)髦

      霍啟剛攜手妻子現(xiàn)身哈爾濱,穿正裝戴眼鏡十分紳士,郭晶晶也時(shí)髦

      八八尚語(yǔ)
      2025-12-16 16:15:09
      豬肚再次成為討論對(duì)象!研究發(fā)現(xiàn):常吃豬肚,可能會(huì)獲取3大益處

      豬肚再次成為討論對(duì)象!研究發(fā)現(xiàn):常吃豬肚,可能會(huì)獲取3大益處

      九哥聊軍事
      2025-12-15 21:18:17
      瘋爽對(duì)金主發(fā)瘋被家暴了

      瘋爽對(duì)金主發(fā)瘋被家暴了

      毒舌扒姨太
      2025-12-16 23:28:09
      一場(chǎng)2-0踢出6連勝,弗里克神了:率隊(duì)狂飆,目標(biāo)直指三冠王

      一場(chǎng)2-0踢出6連勝,弗里克神了:率隊(duì)狂飆,目標(biāo)直指三冠王

      足球狗說(shuō)
      2025-12-17 07:05:56
      新中運(yùn)飛了,100噸級(jí)和空客A400M差不多

      新中運(yùn)飛了,100噸級(jí)和空客A400M差不多

      三叔的裝備空間
      2025-12-16 18:11:13
      梁?jiǎn)⒊c丫鬟王桂荃同房,事后做了個(gè)決定,注定了王桂荃一生悲苦

      梁?jiǎn)⒊c丫鬟王桂荃同房,事后做了個(gè)決定,注定了王桂荃一生悲苦

      古書(shū)記史
      2025-12-11 17:36:32
      越是自己沒(méi)本事的人,就越喜歡在3件事上消耗孩子,導(dǎo)致孩子自卑

      越是自己沒(méi)本事的人,就越喜歡在3件事上消耗孩子,導(dǎo)致孩子自卑

      布谷媽媽
      2025-12-16 21:31:33
      何晴生前遺憾曝光,兒子行為惹爭(zhēng)議,母親生病他忙著拍雜志!

      何晴生前遺憾曝光,兒子行為惹爭(zhēng)議,母親生病他忙著拍雜志!

      古希臘掌管月桂的神
      2025-12-14 13:31:38
      2025-12-17 08:07:00
      InfoQ incentive-icons
      InfoQ
      有內(nèi)容的技術(shù)社區(qū)媒體
      11831文章數(shù) 51634關(guān)注度
      往期回顧 全部

      科技要聞

      Waymo據(jù)稱洽談新融資,估值至少近千億美元

      頭條要聞

      上海一魚(yú)塘遭"垃圾圍困"9年 10多斤的大魚(yú)頻頻死亡

      頭條要聞

      上海一魚(yú)塘遭"垃圾圍困"9年 10多斤的大魚(yú)頻頻死亡

      體育要聞

      楊瀚森18+10首次兩雙 關(guān)鍵攻防統(tǒng)治G聯(lián)賽

      娛樂(lè)要聞

      《雙軌》遭網(wǎng)友舉報(bào),稱劇情三觀不正

      財(cái)經(jīng)要聞

      浙金中心暴雷始末:祥源控股設(shè)計(jì)的騙局?

      汽車要聞

      打造全域安全2.0,吉利的新“長(zhǎng)征”

      態(tài)度原創(chuàng)

      家居
      本地
      親子
      公開(kāi)課
      軍事航空

      家居要聞

      溫馨獨(dú)棟 駝色與淺色碰撞

      本地新聞

      云游安徽|尋跡六安,三處舊址回望烽火歲月

      親子要聞

      馬筱梅大方展示孕肚,打臉黑粉,公開(kāi)營(yíng)養(yǎng)餐,透露預(yù)產(chǎn)期!

      公開(kāi)課

      李玫瑾:為什么性格比能力更重要?

      軍事要聞

      畫(huà)面公開(kāi) 菲方人員揮舞長(zhǎng)刀挑釁中國(guó)海警

      無(wú)障礙瀏覽 進(jìn)入關(guān)懷版 主站蜘蛛池模板: 猫咪www免费人成网站| 玩弄丰满少妇一二三区| 色啪综合| 兴业县| 国产精品涩涩涩视频网站| 老司机午夜福利视频| 超清无码一区二区三区| 亚洲色性| 国产乱码精品一品二品| 一起cao网站免费入口在线观看| 国产亚洲精品久久久久秋霞| 天堂中文8资源在线8| 激情综合区| 91视频网站| 999毛片| 国产精品亚洲一区二区三区喷水 | 国产欧美日韩另类在线专区 | 88XV日韩| 丰满的少妇愉情HD高清果冻传媒| 日本高清视频在线www色| 国产精品久久久久久久9999| 人妻少妇精品久久久久久0000 | 鲁大师在线视频播放免费观看| 亚洲av免费在线观看| 强奷乱码中文字幕| 91无码国产成人精品| 爆乳2把你榨干哦ova在线观看 | 成人麻豆日韩在无码视频 | 色香色欲综合网| 无码人妻丰满熟妇区bbbbxxxx| 久久精品无码一区二区三区免费| 亚洲无码电影在线观看| 南漳县| 免费观看性行为视频的网站| 久久亚洲国产成人亚| 国产精品V在线播放| 粗大的内捧猛烈进出视频| 欧美黑人又粗又大的性格特点| 人人做人人澡人人人爽| 91瑟瑟| 香蕉av777xxx色综合一区|