百億美金開源模型Llama3: 小札最新2萬(wàn)字訪談披露一切 · 全紀(jì)錄+視頻

未經(jīng)授權(quán)不得轉(zhuǎn)載，保留原文出處和公眾號(hào)傳送按鈕

文: 天空之城·城主

這或許是小札很久以來(lái)最重要的一次訪談。

Llama3今夜發(fā)布，無(wú)數(shù)AI從業(yè)者無(wú)眠。

Llama3有三個(gè)版本，80億參數(shù)，700億參數(shù)和4050億參數(shù)。最新測(cè)試已經(jīng)表明，已經(jīng)公布的Llama3 700億模型性能優(yōu)于所有已知開源大模型。而最強(qiáng)大的4050億參數(shù)版本還在路上... 小札也親自確認(rèn)，最小參數(shù)的Llama3 80億和最大參數(shù)的上一代Llama2 700億模型性能是同一量級(jí)。

這是妥妥的王炸，毫無(wú)疑問Llama3的開源進(jìn)一步深刻影響著這個(gè)世界AI大模型的格局。

這個(gè)關(guān)于Meta大模型的長(zhǎng)篇訪談在Llama3發(fā)布的今天同步發(fā)出，說(shuō)沒有預(yù)先計(jì)劃是不可能的。這就是Meta小札向全世界的宣言。

在這個(gè)長(zhǎng)達(dá)80分鐘2萬(wàn)字的訪談里，基本所有內(nèi)容都圍繞著Llama3 展開。大家可想而知這里包含多少干貨內(nèi)容。

為什么一定要開源最強(qiáng)大的模型？Meta如何從開源模型中賺錢？小札做出這些重大開源決定的初心是什么？如果考慮開源模型的風(fēng)險(xiǎn)問題？

有太多值得關(guān)注的問題在這個(gè)訪談里得到了詳細(xì)的解答。

所有關(guān)心AI的人們都不應(yīng)該錯(cuò)過(guò)這個(gè)采訪。強(qiáng)烈推薦。

B站傳送門：【【精校】馬克·扎克伯格：Llama3，價(jià)值百億美金的開源模型 |最新訪談完整版2024.4.19【中英】-嗶哩嗶哩】

https://b23.tv/tp6ZtBb

在這個(gè)采訪里，扎克伯格首先介紹了Meta.ai的最新進(jìn)展,包括模型升級(jí)、新的創(chuàng)作功能以及實(shí)時(shí)知識(shí)的整合。他重點(diǎn)推出了Llama 3模型,認(rèn)為這是最智能的AI助手,并且可以免費(fèi)使用。談到Meta.ai的發(fā)展歷程,他提到了購(gòu)買H100的決定以及如何處理信息流推薦的挑戰(zhàn)。此外,他還討論了Meta的估值問題,以及如何基于個(gè)人信念和價(jià)值觀做出重大決策。

扎克伯格強(qiáng)調(diào),AI已成為Meta的核心,并創(chuàng)建了FAIR（Facebook人工智能研究）來(lái)推動(dòng)創(chuàng)新,改善所有產(chǎn)品。他提到,ChatGPT和圖像創(chuàng)建模型的出現(xiàn)改變了人們與應(yīng)用程序的交互方式。盡管人們可能并未直接向模型提出編碼問題,但對(duì)模型進(jìn)行編碼訓(xùn)練可以幫助它們更嚴(yán)謹(jǐn)?shù)鼗卮饐栴},推理出許多不同領(lǐng)域的問題。

談到Llama 3,扎克伯格強(qiáng)調(diào)了大量編碼訓(xùn)練的重要性,即使人們的主要問題并非編碼。他認(rèn)為,AI的任務(wù)不僅僅是回答問題,而是需要更全面地思考,這實(shí)際上已經(jīng)變成了一個(gè)推理問題。他還提到,AI在大多數(shù)方面超越人類的可能性取決于模型的強(qiáng)大程度,并強(qiáng)調(diào)了多模態(tài)性和情感理解的重要性。

對(duì)于Llama模型的未來(lái)發(fā)展,扎克伯格提到了Llama 4的可能性,以及他對(duì)社區(qū)微調(diào)最興奮的部分的看法。他還討論了對(duì)模型大小的看法,以及使用GPU訓(xùn)練大型模型的想法,強(qiáng)調(diào)了推理計(jì)算的重要性,尤其是在服務(wù)大規(guī)模社區(qū)時(shí)。

在AI模型的訓(xùn)練和發(fā)展方面,扎克伯格提到已經(jīng)使用了大量數(shù)據(jù)進(jìn)行訓(xùn)練,并發(fā)現(xiàn)即使在訓(xùn)練了700億個(gè)Token后,模型仍在學(xué)習(xí)和改進(jìn)。他還討論了訓(xùn)練過(guò)程中需要做出的決策,如GPU的使用、是否繼續(xù)訓(xùn)練模型或開始測(cè)試新假設(shè)等。他指出,訓(xùn)練大型AI模型可能面臨資本和能源限制等挑戰(zhàn)。

展望AI的未來(lái),扎克伯格認(rèn)為AI將像計(jì)算的創(chuàng)造一樣從根本上改變我們的生活,帶來(lái)許多以前不可能的新應(yīng)用。然而,他也指出這個(gè)過(guò)程可能會(huì)遇到許多物理限制,不太可能在一夜之間發(fā)生。

在談到AI對(duì)人類社會(huì)的影響時(shí),扎克伯格認(rèn)為AI的出現(xiàn)與人類進(jìn)化同等重要,可能會(huì)改變?nèi)祟惖莫?dú)特性。他認(rèn)為,AI可能發(fā)展成為一個(gè)與意識(shí)和行為完全分離的有價(jià)值工具。他強(qiáng)調(diào)了開源的重要性,認(rèn)為它對(duì)社區(qū)和我們都有好處,因?yàn)槲覀儠?huì)從創(chuàng)新中受益。但如果AI的能力發(fā)生了質(zhì)的變化,開源可能是不負(fù)責(zé)任的。

扎克伯格還討論了AI可能帶來(lái)的風(fēng)險(xiǎn),包括AI的負(fù)面行為,以及被不信任的人或?qū)κ终莆盏娘L(fēng)險(xiǎn)。他認(rèn)為,擁有優(yōu)秀的開源AI,使其成為標(biāo)準(zhǔn),可能是緩解這種情況的最佳方法。他還提到了生物武器的風(fēng)險(xiǎn),以及可能的緩解措施。

在公司運(yùn)營(yíng)方面,扎克伯格討論了風(fēng)險(xiǎn)平衡,以及如何通過(guò)AI系統(tǒng)打擊網(wǎng)絡(luò)上的有害內(nèi)容。他提到AI在處理仇恨言論和誤報(bào)問題上的優(yōu)勢(shì)和潛力,以及AI在應(yīng)對(duì)國(guó)家級(jí)網(wǎng)絡(luò)干預(yù)方面的策略。

除了AI,扎克伯格還談到了元宇宙的概念及其在歷史教育、社交、工作等方面的潛力。他強(qiáng)調(diào)了創(chuàng)新的重要性,以及如何將事物從物理約束領(lǐng)域轉(zhuǎn)移到軟件中。

最后,扎克伯格分享了他19歲時(shí)對(duì)古代和古典作品的閱讀,特別是從羅馬皇帝奧古斯都試圖建立和平的故事中學(xué)到的重要課程。他強(qiáng)調(diào)了開源對(duì)科技領(lǐng)域和投資者理解的影響,以及年輕人創(chuàng)新思維的重要性。他還討論了開源模型的可能性、商品化和質(zhì)量改進(jìn),以及如何通過(guò)協(xié)調(diào)技術(shù)消除開源的潛在危害。

扎克伯格認(rèn)為,像PyTorch、React、Open Compute等開源項(xiàng)目可能對(duì)世界的影響甚至超過(guò)Meta在社交媒體方面的影響。他還透露了在定制芯片上訓(xùn)練Llama模型的計(jì)劃,以提高處理排名和推薦類型內(nèi)容推理任務(wù)的效率。

在管理方面,扎克伯格強(qiáng)調(diào)了首席執(zhí)行官和管理團(tuán)隊(duì)組織能力的重要性,引用了本·霍洛維茨的話,強(qiáng)調(diào)了把主要的事情放在首位,并盡量專注于關(guān)鍵優(yōu)先事項(xiàng)的重要性。

總體而言,扎克伯格在這次訪談中全面闡述了他對(duì)AI發(fā)展的看法,以及Meta在AI領(lǐng)域的布局和規(guī)劃。他既看到了AI的巨大潛力,也意識(shí)到了其中的風(fēng)險(xiǎn)和挑戰(zhàn)。他強(qiáng)調(diào)了開源和創(chuàng)新的重要性,同時(shí)也提出了一些應(yīng)對(duì)AI風(fēng)險(xiǎn)的策略。此外,他還分享了自己的感悟和管理心得,全面展現(xiàn)了一位科技領(lǐng)袖的深度思考。

=以下是訪談全文的天空之城書面整理版=

主持人：馬克，歡迎你參加播客節(jié)目。

扎克伯格：嘿，謝謝你的邀請(qǐng)。我非常喜歡你的播客。

哦，謝謝你。你這么說(shuō)真是太好了。

好的，讓我們先談?wù)勥@次采訪結(jié)束后將發(fā)布的版本。告訴我關(guān)于模型的事情。告訴我關(guān)于Meta.ai的事情。有什么新的東西？它們有什么令人興奮的地方？

是的，當(dāng)然。我認(rèn)為世界上大多數(shù)人將看到的主要內(nèi)容是Meta.ai的新版本。我們正在做的最重要的事情是升級(jí)模型。我們正在推出Llama 3。我們既將其作為開源軟件提供給開發(fā)者社區(qū)，現(xiàn)在它還將為Meta.ai提供支持。所以，我相信我們會(huì)圍繞Llama 3進(jìn)行大量討論。

但我認(rèn)為最重要的是，有了Llama 3，我們現(xiàn)在認(rèn)為Meta.ai是人們可以免費(fèi)使用的最智能的AI助手。我們還整合了Google和Bing以獲取實(shí)時(shí)知識(shí)。我們將在我們的應(yīng)用程序中使其更加突出。因此，基本上，在WhatsApp、Instagram、Facebook和Messenger的頂部，你只需使用那里的搜索框即可提出任何問題。

我們添加了許多新的創(chuàng)作功能，我認(rèn)為這些功能非常酷，人們會(huì)喜歡。我認(rèn)為動(dòng)畫是一個(gè)很好的功能。你基本上可以拍攝任何圖像并為其制作動(dòng)畫。但我認(rèn)為人們會(huì)發(fā)現(xiàn)它非常瘋狂的一點(diǎn)是它現(xiàn)在可以如此快速地生成高質(zhì)量的圖像。我不知道你是否有機(jī)會(huì)玩這個(gè)，它實(shí)際上在你輸入時(shí)生成并實(shí)時(shí)更新。所以你就像輸入查詢一樣，它有點(diǎn)像磨練。而且，好吧，給我看一張牛在田野里的照片，背景是群山。就像一切都很流行。吃澳洲堅(jiān)果。是的，吃澳洲堅(jiān)果，喝啤酒。而且就像實(shí)時(shí)更新圖像一樣。這很瘋狂。

我認(rèn)為人們會(huì)喜歡的。我認(rèn)為世界上大多數(shù)人都會(huì)看到這一點(diǎn)。我們正在進(jìn)行全球推廣，但并非一蹴而就，而是從少數(shù)幾個(gè)國(guó)家開始，預(yù)計(jì)在未來(lái)幾周和幾個(gè)月內(nèi)將擴(kuò)展到更多的國(guó)家。我認(rèn)為這將是一項(xiàng)重大的工作，我非常高興能將其推向市場(chǎng)。這是MetAI向前邁進(jìn)的一大步。然而，如果你想深入了解，我認(rèn)為L(zhǎng)lama 3在技術(shù)上最為引人入勝。

對(duì)于我們的首個(gè)版本，我們實(shí)際上訓(xùn)練了三個(gè)版本，分別是80億、700億和4050億的密集模型，其中4050億的模型仍在訓(xùn)練中，因此我們今天并未發(fā)布。然而，對(duì)于80億和700億的模型，我對(duì)其結(jié)果感到非常興奮。它們?cè)谝?guī)模方面處于領(lǐng)先地位。我們將發(fā)布一篇包含所有基準(zhǔn)的博客文章，以便人們可以自行查看。顯然，它是開源的，因此人們有機(jī)會(huì)使用它。

我們有一個(gè)新版本的路線圖，這些新版本將為現(xiàn)有版本帶來(lái)多模態(tài)性、更多語(yǔ)言性和更大的上下文窗口。然后，我們希望在今年晚些時(shí)候推出4050億的模型，盡管它仍在訓(xùn)練中，但就目前的訓(xùn)練水平而言，它已經(jīng)達(dá)到約85 MMLU。我們預(yù)計(jì)它將在許多基準(zhǔn)測(cè)試中擁有領(lǐng)先的基準(zhǔn)。因此，我對(duì)所有這些都感到非常興奮。700億的模型也非常出色，我們今天發(fā)布了它。它大約是82 MMLU，在數(shù)學(xué)和推理方面擁有領(lǐng)先的分?jǐn)?shù)。因此，我認(rèn)為只要把它交到人們手中，它就會(huì)非常瘋狂。

有趣的是，這是我第一次聽到這樣的基準(zhǔn)測(cè)試，這真是令人印象深刻。

是的，80億的模型幾乎與我們發(fā)布的最大版本的Llama2一樣強(qiáng)大。因此，最小的Llama 3基本上與最大的Llama2一樣強(qiáng)大。

在我們深入研究這些模型之前，我實(shí)際上想回到過(guò)去。我假設(shè)2022年是你開始購(gòu)買這些H100的時(shí)候。你可以告訴我什么時(shí)候。是的，你覺得股價(jià)正在遭受重創(chuàng)。人們想知道，所有這些資本支出發(fā)生了什么？人們沒有購(gòu)買元宇宙。你可能正在用這些資本支出來(lái)購(gòu)買這些H100。那時(shí)，你怎么知道要買H100？你怎么知道我們需要GPU？

我想是因?yàn)槲覀兿胙芯啃畔⒘魍扑]，我們陷入了一種情況，我們總是希望有足夠的能力來(lái)構(gòu)建一些我們尚無(wú)法預(yù)見的東西。我們進(jìn)入了這種境地，需要更多的GPU來(lái)訓(xùn)練模型，這對(duì)我們的服務(wù)來(lái)說(shuō)是一個(gè)巨大的進(jìn)步，我們不再只是對(duì)你關(guān)注的人、你的朋友和你關(guān)注的任何頁(yè)面的內(nèi)容進(jìn)行排名，我們大力推廣所謂的無(wú)關(guān)聯(lián)內(nèi)容。基本上，就是來(lái)自你未關(guān)注的人或頁(yè)面的內(nèi)容。因此，現(xiàn)在我們可以向您展示的內(nèi)容候選語(yǔ)料庫(kù)已經(jīng)從數(shù)千個(gè)擴(kuò)展到數(shù)億個(gè)。因此，基礎(chǔ)設(shè)施完全不同，我們已經(jīng)開始著手處理這個(gè)問題。我們受到基礎(chǔ)設(shè)施的限制，必須盡快趕上TikTok的發(fā)展速度。

我仔細(xì)考慮了一下，然后想到，我們必須確保我們永遠(yuǎn)不會(huì)再遇到這種情況。因此，我們需要購(gòu)買足夠的GPU來(lái)完成我們?cè)跐L動(dòng)、內(nèi)容和信息流排名方面需要做的事情。但我們也需要將其翻一番，因?yàn)椋俅螐?qiáng)調(diào)，就像我們的正常原則一樣，地平線上總會(huì)出現(xiàn)一些我們目前無(wú)法看到的東西。

你是否知道這會(huì)是人工智能呢？

我們認(rèn)為這會(huì)是與訓(xùn)練大型模型有關(guān)的事情。但當(dāng)時(shí)，我認(rèn)為這可能與內(nèi)容有關(guān)。但我并不確定，這幾乎只是模式匹配，經(jīng)營(yíng)公司總是有其他事情需要處理。所以我甚至不確定當(dāng)時(shí)我是否深入研究，只是試圖讓推薦適用于滾動(dòng)和其他內(nèi)容。

這對(duì)Instagram和Facebook來(lái)說(shuō)是一個(gè)很大的解鎖，現(xiàn)在能夠向人們展示他們感興趣的內(nèi)容，這些內(nèi)容來(lái)自他們甚至沒有關(guān)注的人。但是，回想起來(lái)，我認(rèn)為這最終是一個(gè)非常好的決定。

這個(gè)決定源于我們之前的落后。所以那時(shí)我并不是遙遙領(lǐng)先。實(shí)際上，我認(rèn)為大多數(shù)時(shí)候我們做出一些最終看起來(lái)不錯(cuò)的決定是因?yàn)槲覀冎案阍伊四臣拢皇遣幌胫貜?fù)這個(gè)錯(cuò)誤。

這可能有些跑題，但我實(shí)際上想趁此機(jī)會(huì)問一下這個(gè)問題。我們稍后再回到人工智能的話題。所以你并沒有損失10億美元，但你可能會(huì)以某個(gè)價(jià)格出售，對(duì)嗎？你有沒有在腦子里寫下，我認(rèn)為Facebook當(dāng)時(shí)的實(shí)際估值是這個(gè)，而他們實(shí)際上并沒有得到正確的估值？

到了5萬(wàn)億美元，當(dāng)然你會(huì)選擇出售。我真的不知道。我認(rèn)為其中一些事情只是個(gè)人問題。我當(dāng)時(shí)不知道我是否足夠老練來(lái)做那種分析。

但是我周圍的人都在爭(zhēng)論，十億美元到底是多少，這就是我們需要賺取的收入。這就是我們需要達(dá)到的規(guī)模。而且，這顯然是未來(lái)很多年的事情。它遠(yuǎn)遠(yuǎn)超出了我們當(dāng)時(shí)的水平。而且我不知道，我真的沒有足夠的財(cái)務(wù)知識(shí)來(lái)真正參與這種辯論。

我只是，我想我內(nèi)心深處相信我們正在做的事情。我做了一些分析。我想，如果我不做這個(gè)，我會(huì)做什么？我真的很喜歡建造東西。我喜歡幫助人們交流。我喜歡了解人們正在發(fā)生的事情以及人與人之間的動(dòng)態(tài)。因此，我在思考，如果我將現(xiàn)有的公司出售，我可能會(huì)去創(chuàng)立另一家類似的公司。我對(duì)我現(xiàn)在擁有的公司有一種特殊的喜愛。那么，為什么會(huì)這樣呢？我也不清楚。人們往往會(huì)基于自己的信念和價(jià)值觀來(lái)做出重大的決策。實(shí)際上，嘗試分析并將這些因素聯(lián)系起來(lái)通常是非常困難的。

你已經(jīng)對(duì)Facebook的人工智能進(jìn)行了長(zhǎng)期的研究。現(xiàn)在，它似乎已經(jīng)成為你們公司的核心。那么，在什么時(shí)候，制造AGI或者其他的東西，無(wú)論你如何看待這個(gè)使命，這成為Meta正在做的事情的關(guān)鍵優(yōu)先事項(xiàng)了呢？

是的，這已經(jīng)是一件大事了。

大約10年前，我們創(chuàng)立了FAIR。我們的想法是，在通用智能或人工智能（如全人工智能）的道路上，無(wú)論你想叫它什么，都可以有各種各樣的創(chuàng)新，這將改善我們所做的一切。因此，我們并沒有把它設(shè)想成一種產(chǎn)品，而是更像是一個(gè)研究小組。在過(guò)去的10年里，它創(chuàng)造了很多不同的東西，基本上改進(jìn)了我們所有的產(chǎn)品，并推動(dòng)了該領(lǐng)域的發(fā)展，允許該領(lǐng)域的其他人創(chuàng)造一些東西，也改進(jìn)了我們的產(chǎn)品。因此，我認(rèn)為這很棒。但顯然有很大的變化。

在過(guò)去的幾年里，隨著ChatGPT的出現(xiàn)，圍繞圖像創(chuàng)建的模型也隨之出現(xiàn)。這是一些非常瘋狂的東西，我認(rèn)為它們顯然會(huì)影響人們與每個(gè)應(yīng)用程序的交互方式。因此，在那時(shí)，我們成立了第二個(gè)小組，即Gen AI小組，目標(biāo)是將這些東西引入我們的產(chǎn)品。因此，構(gòu)建領(lǐng)先的基礎(chǔ)模型，為所有這些不同的產(chǎn)品提供動(dòng)力。

最初，當(dāng)我們開始這樣做時(shí)，最初的理論是，嘿，我們做的很多事情都非常社交化。因此，幫助人們與創(chuàng)作者互動(dòng)，幫助人們與企業(yè)互動(dòng)，以便企業(yè)可以銷售產(chǎn)品或提供客戶支持。或者基本的助手功能，無(wú)論是用于我們的應(yīng)用程序、智能眼鏡、VR還是所有這些不同的東西。因此，最初，我們并不完全清楚是否需要完整的AGI才能支持這些用例。但是，通過(guò)研究它們，我認(rèn)為實(shí)際上已經(jīng)很清楚你需要。

所有這些微妙的方式。例如，對(duì)于Llama 2，當(dāng)我們?cè)陂_發(fā)它時(shí)，我們沒有優(yōu)先考慮編碼。我們沒有優(yōu)先考慮編碼的原因是因?yàn)槿藗儾粫?huì)在WhatsApp中向Meta AI詢問很多編碼問題。

不，他們會(huì)。

我不知道。我不確定WhatsApp是否是人們會(huì)問很多編碼問題的UI。所以，我們好吧，看，就那些……或Facebook或Instagram或那些不同的服務(wù)而言。也許是網(wǎng)站，我想是我們正在推出的Meta.ai。

然而，我認(rèn)為在過(guò)去的18個(gè)月里，有一個(gè)令人驚訝的發(fā)現(xiàn)，那就是編碼在許多領(lǐng)域都顯得至關(guān)重要，而不僅僅局限于編碼本身，因此，即使人們并未直接向模型提出編碼問題，對(duì)模型進(jìn)行編碼訓(xùn)練也能幫助它們更嚴(yán)謹(jǐn)?shù)鼗卮饐栴}，推理出許多不同類型的領(lǐng)域。

以Llama 3為例，我們確實(shí)專注于使用大量編碼來(lái)訓(xùn)練它，因?yàn)?strong>即使人們主要的問題并非關(guān)于編碼，這種訓(xùn)練方式也能使其在各個(gè)方面的表現(xiàn)更加出色。

我認(rèn)為推理是另一個(gè)例子。例如，你可能想要與創(chuàng)作者進(jìn)行交談，或者作為一家企業(yè)，你可能想要與客戶進(jìn)行互動(dòng)。這種互動(dòng)并不僅僅是對(duì)方給你發(fā)了一條消息，你只是回復(fù)，這是一種多步驟的互動(dòng)，你需要仔細(xì)思考，如何實(shí)現(xiàn)對(duì)方的目標(biāo)？

很多時(shí)候，當(dāng)客戶來(lái)的時(shí)候，他們可能并不清楚他們?cè)趯ふ沂裁矗部赡懿恢廊绾翁釂枴?/strong>所以，人工智能的任務(wù)并不僅僅是回答問題。你需要更全面地思考這個(gè)問題。這實(shí)際上已經(jīng)變成了一個(gè)推理問題，

因此，如果其他人已經(jīng)解決了推理問題或在推理方面取得了很大進(jìn)步，而我們只是坐在這里開發(fā)一個(gè)基本的聊天機(jī)器人，那么我們的產(chǎn)品與其他人的產(chǎn)品相比就顯得很差勁。

所以，我們最終意識(shí)到我們必須解決通用智能問題。我們只是加大了賭注和投資，以確保我們能夠做到這一點(diǎn)。

那么，Llama的版本是否能夠?yàn)橛脩艚鉀Q所有這些用例，這個(gè)版本是否強(qiáng)大到足以取代這棟樓里的程序員？

我認(rèn)為所有這些都會(huì)隨著時(shí)間的推移而進(jìn)步。

但是，如果是Llama 10呢？

我認(rèn)為這個(gè)問題有很多層面。我不確定我們是在取代人，還是在為人們提供工具來(lái)做更多的事情。

在Llama 10之后，這棟樓里的程序員的生產(chǎn)力是否會(huì)提高10倍？

我希望能提高更多。但是，我并不認(rèn)為人類存在一個(gè)單一的智力門檻，因?yàn)槿藗儞碛胁煌募寄堋?/p>

在某種程度上，我認(rèn)為人工智能可能會(huì)在大多數(shù)方面超越人類，這取決于模型的強(qiáng)大程度。但我認(rèn)為這是一個(gè)漸進(jìn)的過(guò)程。我并不認(rèn)為AGI（人工通用智能）是一蹴而就的。我認(rèn)為你基本上是在添加不同的功能。

因此，多模態(tài)性是我們現(xiàn)在關(guān)注的一個(gè)關(guān)鍵問題，最初是照片、圖像和文本，但最終是視頻。然后，因?yàn)槲覀兎浅ｊP(guān)注元宇宙，所以3D類型的東西很重要。

我非常關(guān)注的一種模態(tài)，我還沒有看到業(yè)內(nèi)其他人關(guān)注這一點(diǎn)，那就是情感理解。

人類大腦的大部分都致力于理解人，理解你的表情和情緒。我認(rèn)為這就像它自己的整個(gè)模態(tài)，你可以說(shuō)，好吧，也許它只是視頻或圖像，但它顯然是這兩個(gè)的非常專業(yè)的版本。

所以你基本上想要訓(xùn)練模型專注于所有這些不同的能力，同時(shí)還要提高推理能力和記憶能力，我認(rèn)為這本身就是一個(gè)整體。未來(lái)我們不會(huì)主要依賴于將上下文或其他信息填充到查詢上下文窗口中以提出更復(fù)雜的問題。我預(yù)見到，我們可能會(huì)有不同的記憶存儲(chǔ)方式或不同的自定義模型，這些模型可能更適合人們的需求。然而，我并不確定，我只是認(rèn)為這些都是不同的可能性。顯然，我們會(huì)根據(jù)需要對(duì)這些可能性進(jìn)行擴(kuò)大或縮小。

我們關(guān)注這些問題，因?yàn)槲覀兿Ｍ绻氵\(yùn)行的是類似META AI這樣的系統(tǒng)，我們就有能力處理，這主要是基于服務(wù)器的。但我們也希望它能在智能眼鏡上運(yùn)行，而智能眼鏡的空間有限。因此，你需要一個(gè)非常高效的系統(tǒng)。

如果你在工業(yè)規(guī)模上使用智能進(jìn)行價(jià)值數(shù)百億美元，甚至最終價(jià)值數(shù)千億美元的推理，那么用例是什么？是模擬嗎？是元宇宙中的人工智能嗎？我們將如何利用數(shù)據(jù)中心？我們預(yù)計(jì)這將改變所有產(chǎn)品，

因此，我認(rèn)為會(huì)有一種META AI通用助理產(chǎn)品。我認(rèn)為這將從一個(gè)類似聊天機(jī)器人的形式轉(zhuǎn)變?yōu)槟阒恍杼岢鲆粋€(gè)問題，它就能給出答案的形式，你可以給它更復(fù)雜的任務(wù)，它會(huì)去完成這些任務(wù)。因此，這需要大量的推理，也需要大量的計(jì)算和其他方式。

我們要做的很大一部分就是與其他人的代理進(jìn)行互動(dòng)。無(wú)論是企業(yè)還是創(chuàng)作者，我認(rèn)為我的理論主要是，你不會(huì)只與一個(gè)單一的人工智能互動(dòng)。因?yàn)槲艺J(rèn)為每個(gè)企業(yè)都希望有一個(gè)代表他們利益的人工智能。他們不會(huì)想主要通過(guò)一個(gè)銷售競(jìng)爭(zhēng)對(duì)手產(chǎn)品的人工智能與你互動(dòng)。

是的，我認(rèn)為創(chuàng)作者將是一個(gè)很大的群體。我們的平臺(tái)上大約有2億創(chuàng)作者。他們基本上都有一種模式，他們希望與他們的社區(qū)互動(dòng)，但他們的時(shí)間有限。因此，如果你能創(chuàng)造一些東西，讓創(chuàng)造者基本上可以擁有人工智能，并以他們想要的方式訓(xùn)練它，并讓他們的社區(qū)參與進(jìn)來(lái)，我認(rèn)為這也會(huì)非常強(qiáng)大。所以我認(rèn)為所有這些事情都會(huì)有大量的參與。

但這些只是消費(fèi)者用例。當(dāng)你想到這樣的東西時(shí)，我和妻子經(jīng)營(yíng)著我們的基金會(huì)，一個(gè)陳·扎克伯格計(jì)劃，我們?cè)诳茖W(xué)上做了很多事情。顯然，我認(rèn)為很多人工智能工作都會(huì)推動(dòng)科學(xué)和醫(yī)療保健以及所有這些事情的發(fā)展。所以我知道，我認(rèn)為這最終會(huì)影響到產(chǎn)品和經(jīng)濟(jì)的每一個(gè)領(lǐng)域。

你提到的AI可以為你做一些多步驟的事情。這是一個(gè)更大的模型嗎？你會(huì)制作像Llama4這樣的版本，它仍然是70B，但你只需在正確的數(shù)據(jù)上訓(xùn)練它，它就會(huì)非常強(qiáng)大。進(jìn)展是什么樣的？它會(huì)擴(kuò)展嗎？它只是大小相同，但像你所說(shuō)的那樣有不同的區(qū)分嗎？

我不知道我們是否知道答案。所以我認(rèn)為似乎是一種模式，那就是你有Llama模型，然后你圍繞它構(gòu)建某種其他特定于應(yīng)用程序的代碼，所以其中一些是針對(duì)用例的微調(diào)，但其中一些只是邏輯，好吧，例如，我們應(yīng)該如何集成 MetAI，或者它應(yīng)該如何與 Google 或 Bing 等工具配合使用以帶來(lái)實(shí)時(shí)知識(shí)。這并不是基本Llama模型的一部分。對(duì)于 Llama2，我們?cè)O(shè)計(jì)了一些這樣的功能，這些功能更像是手工設(shè)計(jì)的。然后，我們的目標(biāo)之一是將更多這樣的功能帶入 Llama3 的模型本身。

然而，對(duì)于 Llama3，隨著我們開始更多地研究這些類似代理的行為，我認(rèn)為其中一些將更加手工設(shè)計(jì)。然后，我認(rèn)為我們對(duì) Llama4 的目標(biāo)將是將更多這樣的功能帶入模型。因此，我認(rèn)為在每個(gè)階段，就像沿途的每一步，你都會(huì)對(duì)未來(lái)可能發(fā)生的事情有一種感覺。你開始擺弄它并破解它。然后我認(rèn)為這有助于你磨練你的直覺，了解你想嘗試訓(xùn)練到模型本身的下一個(gè)版本中的內(nèi)容，這使得它更加通用，因?yàn)楹苊黠@，你手工編碼的任何東西都可以解鎖一些用例，但它本質(zhì)上是脆弱的和非通用的。

當(dāng)您說(shuō)進(jìn)入模型本身時(shí)，您會(huì)根據(jù)模型本身中想要的東西對(duì)其進(jìn)行訓(xùn)練。但是您所說(shuō)的進(jìn)入模型本身是什么意思？

我認(rèn)為就像我為 Llama2舉的例子一樣，我們真的……對(duì)于 Llama 2，工具的使用非常非常具體。而 Llama 3 有能力……有更好的工具使用，所以我們不必手動(dòng)編寫所有內(nèi)容以使其使用 Google 進(jìn)行搜索。它只是可以做到這一點(diǎn)。所以，對(duì)于編碼和運(yùn)行代碼以及諸如此類的東西也是如此。

一旦你掌握了這種能力，你就會(huì)知道，好吧，我們接下來(lái)可以做什么？好吧，我不一定想等到 Llama 4 出現(xiàn)后才開始構(gòu)建這些功能，所以讓我們開始破解它。這樣你就可以進(jìn)行大量的手工編碼，這會(huì)使產(chǎn)品在過(guò)渡期內(nèi)變得更好。但這也有助于展示我們想要嘗試構(gòu)建到模型的下一個(gè)版本中的方式。

您對(duì)Llama 3社區(qū)微調(diào)中最讓您興奮的部分是什么？這可能并不是對(duì)您最有用的部分，但您會(huì)非常喜歡去嘗試和玩耍它。他們喜歡在古物上進(jìn)行微調(diào)，那么，您對(duì)什么感到興奮？

我其實(shí)并不確定。你可能會(huì)對(duì)我們可能構(gòu)建的任何具有價(jià)值的具體事物感到驚訝，因此，我認(rèn)為你可能會(huì)得到一個(gè)精簡(jiǎn)版，一個(gè)更小的版本。我認(rèn)為有一件事是……80億，對(duì)于很多用例來(lái)說(shuō)，這個(gè)數(shù)字可能還不夠小，隨著時(shí)間的推移，我很想看到一個(gè)擁有十億參數(shù)的模型，或者二十億參數(shù)的模型，甚至可能是一個(gè)五億參數(shù)的模型，看看我們能用它做些什么。

因?yàn)楫?dāng)他們開始擁有80億個(gè)參數(shù)時(shí)，我們的模型基本上就和最大的Llama2模型一樣強(qiáng)大了。那么，如果有了10億個(gè)參數(shù)，你應(yīng)該能夠做一些有趣的事情，對(duì)嗎？而且速度更快，這對(duì)于分類或者理解用戶查詢意圖并將其提供給最強(qiáng)大的模型以磨練提示等基本任務(wù)都非常有利。

所以我不確定，我認(rèn)為這是社區(qū)可能可以幫助我們解決的一個(gè)問題。但我們也在考慮自己去提煉其中的一些。但現(xiàn)在，我們正在用GPU訓(xùn)練4050億參數(shù)Llama3。

好的，所以你有所有這些GPU。我記得你說(shuō)到今年年底會(huì)有350,000個(gè)。

那是我們的整個(gè)艦隊(duì)。我們建立了24,000個(gè)集群，這些集群是我們用于訓(xùn)練大型模型的單個(gè)集群。顯然，在我們做的很多事情中，很多資源都用于訓(xùn)練，比如Reels模型、Facebook新聞提要和Instagram提要。然后推理對(duì)我們來(lái)說(shuō)是一件大事，因?yàn)槲覀兎?wù)的用戶非常多。因此，由于我們服務(wù)的社區(qū)規(guī)模龐大，我們所需的推理計(jì)算與訓(xùn)練的比率可能比大多數(shù)其他做這些事情的公司高得多。

是的，他們之前與我分享的材料非常有趣，你們用比訓(xùn)練時(shí)計(jì)算最優(yōu)值更多的數(shù)據(jù)來(lái)訓(xùn)練它，因?yàn)橥评韺?duì)你們和社區(qū)來(lái)說(shuō)都是一件大事，所以有這個(gè)東西并在里面放一萬(wàn)億個(gè)Token是有意義的。

是的，是的。我們發(fā)現(xiàn)的一個(gè)有趣的事情是，即使有700億個(gè)Token，我們也認(rèn)為它會(huì)變得更加飽和。就像我們?cè)诖蠹s15萬(wàn)億個(gè)Token上訓(xùn)練它一樣。我想我們一開始的預(yù)測(cè)是它會(huì)越來(lái)越接近，但即使到了最后，它仍然在學(xué)習(xí)，對(duì)嗎？就像我們可能可以給它更多的Token，它會(huì)變得更好一些。

但在某個(gè)時(shí)候，你在經(jīng)營(yíng)一家公司，你需要解決這些元推理問題，比如，好吧，我應(yīng)該如何使用我們的GPU來(lái)進(jìn)一步訓(xùn)練700億個(gè)模型？我們是否應(yīng)該繼續(xù)進(jìn)行下去，以便開始測(cè)試Llama 4的假設(shè)？因此，我們需要做出這個(gè)決定。我認(rèn)為我們已經(jīng)做到了。我認(rèn)為我們?cè)谶@個(gè)700億的版本中取得了合理的平衡。

未來(lái)還會(huì)有其他版本，700億的多模式版本將在下一階段推出。然而，目前的架構(gòu)能夠處理如此大量的數(shù)據(jù)，這真是令人著迷。

這確實(shí)非常有趣。那么，這對(duì)未來(lái)的模型意味著什么？你提到Llama 3 8B比Llama2 70B更好嗎？

它幾乎一樣好。我并沒有夸大其詞，它們?cè)谕粋€(gè)數(shù)量級(jí)。

但是，這是否意味著Llama 4 70B將與Llama 4050B一樣好？

這是一個(gè)很好的問題，我認(rèn)為沒有人知道。這是世界上最難規(guī)劃的事情之一，當(dāng)你面對(duì)的是指數(shù)曲線時(shí)，它會(huì)持續(xù)多久？我認(rèn)為它很可能會(huì)繼續(xù)下去，值得投資100億或1000多億美元來(lái)建設(shè)基礎(chǔ)設(shè)施，假設(shè)如果這種情況持續(xù)下去，你將會(huì)得到一些真正令人驚嘆的東西，這些東西將制造出令人驚嘆的產(chǎn)品。

但我認(rèn)為業(yè)內(nèi)沒有人能真正告訴你它肯定會(huì)以這種速度繼續(xù)擴(kuò)大。一般來(lái)說(shuō)，在歷史上，你會(huì)在某些時(shí)候遇到瓶頸。現(xiàn)在人們投入了如此多的精力，也許這些瓶頸很快就會(huì)被打破。但我不知道。我認(rèn)為這是一個(gè)有趣的問題。

如果沒有這些瓶頸，世界會(huì)是什么樣子？假設(shè)進(jìn)步以這種速度繼續(xù)下去，這似乎是合理的，就像縮小一樣。會(huì)有不同的瓶頸。所以如果不是訓(xùn)練，那么就是基礎(chǔ)設(shè)施。

我認(rèn)為在過(guò)去幾年的某個(gè)時(shí)候，我認(rèn)為存在GPU生產(chǎn)的問題。因此，即使有錢購(gòu)買GPU的公司也不一定能得到他們想要的數(shù)量，因?yàn)榇嬖谒羞@些供應(yīng)限制。現(xiàn)在我認(rèn)為供應(yīng)量正在減少。所以現(xiàn)在我認(rèn)為你看到很多公司在想，哇，我們應(yīng)該真的投入大量資金來(lái)構(gòu)建這些東西。

我認(rèn)為這種情況會(huì)持續(xù)一段時(shí)間。我認(rèn)為有一個(gè)資本問題，比如，好吧，在什么時(shí)候投入資本不再值得？但我認(rèn)為在我們達(dá)到這一點(diǎn)之前，你會(huì)遇到能源限制。因?yàn)槲艺J(rèn)為還沒有人建造過(guò)千兆瓦的單一訓(xùn)練集群。然后你會(huì)遇到這些最終在世界上變得更慢的事情，比如獲得能源許可就像一個(gè)受到嚴(yán)格監(jiān)管的政府職能。

對(duì)，所以一方面，你要從軟件開始，軟件在某種程度上受到監(jiān)管。它受到的監(jiān)管比科技界許多人認(rèn)為的要多，盡管如果你創(chuàng)辦一家小公司，情況顯然會(huì)有所不同。如果你是一家大公司，你可能會(huì)感覺不那么受監(jiān)管。我們只是與人互動(dòng)，不同的政府和監(jiān)管機(jī)構(gòu)，我們有很多規(guī)則需要遵守，確保我們?cè)谑澜绺鞯刈龅煤芎谩：翢o(wú)疑問，能源行業(yè)與我們正在討論的問題有許多相似之處。如果你要建造大型新發(fā)電廠或大型建筑，然后建造穿越其他私人或公共土地的輸電線路，這無(wú)疑是一個(gè)受到嚴(yán)格監(jiān)管的事情。因此，你需要準(zhǔn)備多年的時(shí)間。如果我們想建立一個(gè)大型設(shè)施來(lái)供電，我認(rèn)為那是一個(gè)非常長(zhǎng)期的項(xiàng)目。

我不知道人們是否會(huì)這么做。我不認(rèn)為這是一件神奇的事情，你獲得了一定程度的人工智能，獲得了大量資本，然后投入其中。然后突然之間，模型就會(huì)變得像它一樣，我認(rèn)為你在這一過(guò)程中會(huì)遇到不同的瓶頸。

我想問，是否有一個(gè)項(xiàng)目，可能與人工智能有關(guān)，也可能無(wú)關(guān)，甚至像 Meta 這樣的公司也沒有資源來(lái)做？比如，如果你的研發(fā)預(yù)算或資本支出預(yù)算是現(xiàn)在的 10 倍，那么你就可以追求它。這個(gè)項(xiàng)目可能在你的腦海中，但今天的 Meta，也許你會(huì)喜歡，因?yàn)槟闵踔敛荒転樗l(fā)行股票或債券。它就像你的預(yù)算的 10 倍。

我認(rèn)為能源是其中的一部分。如果我們能夠獲得能源來(lái)做到這一點(diǎn)，我們可能會(huì)建立比現(xiàn)在更大的集群。所以我認(rèn)為這從根本上來(lái)說(shuō)就是資金瓶頸。比如如果你有一萬(wàn)億美元，我認(rèn)為是時(shí)候了，

如果你從這個(gè)角度來(lái)看，但這取決于指數(shù)曲線的走向，許多公司正在努力，我認(rèn)為很多數(shù)據(jù)中心的功率都在 50 兆瓦或 100 兆瓦左右，或者像一個(gè)大數(shù)據(jù)中心可能達(dá)到 150 兆瓦。所以你拿一整個(gè)數(shù)據(jù)中心，把你需要做的所有訓(xùn)練的東西都填滿它，然后你就可以構(gòu)建最大的集群。我認(rèn)為很多公司都在做這樣的事情。

但是當(dāng)你開始建造一個(gè) 300 兆瓦、500 兆瓦或 1 千兆瓦的數(shù)據(jù)中心時(shí)，還沒有人建造過(guò)一個(gè)千兆瓦的數(shù)據(jù)中心。所以我認(rèn)為這會(huì)發(fā)生，這只是時(shí)間問題，但不會(huì)是明年。我認(rèn)為其中的一些事情需要花費(fèi)幾年的時(shí)間才能完成。

然后問題是，如果你把這個(gè)放在一個(gè)角度來(lái)看，我認(rèn)為千兆瓦，就像一個(gè)有意義的核電站的大小，只用于訓(xùn)練一個(gè)模型。亞馬遜不是這樣做了嗎？他們有一個(gè) 950 千兆瓦的東西。我不太確定做了什么。你必須問他們，他們做了什么。但它不必在同一個(gè)地方，如果分布式訓(xùn)練有效，它可以是分布式的。我認(rèn)為這是一個(gè)大問題。

對(duì)，基本上就是它將如何工作。我確實(shí)認(rèn)為，在未來(lái)，我們所說(shuō)的對(duì)這些大型模型的訓(xùn)練似乎更有可能沿著推理生成合成數(shù)據(jù)的路線前進(jìn)，然后將其輸入到模型中。因此，我無(wú)法確定這個(gè)比例會(huì)是多少，但如今，合成數(shù)據(jù)的生成更多依賴于推理，而非訓(xùn)練。然而，顯然如果你的目的是為了訓(xùn)練模型，那么它就成為了更廣泛的訓(xùn)練過(guò)程的一部分。

我不確定，這是一個(gè)待解的問題，即平衡點(diǎn)在哪里，以及它如何發(fā)揮作用。

如果是這樣，那么Llama-3是否也可能如此？也許在Llama-4等之后，你推出了它，如果有人擁有大量的計(jì)算能力，那么他們就可以使用你推出的模型，使這些東西變得更智能。例如，科威特、阿聯(lián)酋或其他任何擁有大量計(jì)算能力的國(guó)家，他們實(shí)際上可以使用Llama-4來(lái)使某些事物變得更智能。

我確實(shí)認(rèn)為會(huì)有這樣的動(dòng)態(tài)存在。但我也認(rèn)為，網(wǎng)絡(luò)架構(gòu)或模型架構(gòu)存在根本的限制。

因此，我認(rèn)為我們用Llama-3架構(gòu)訓(xùn)練的700億模型可以變得更好。它可以繼續(xù)發(fā)展。正如我所說(shuō)，我們認(rèn)為如果我們繼續(xù)向它輸入更多的數(shù)據(jù)或再次輪換高價(jià)值Token，它就會(huì)繼續(xù)變得更好。

我們已經(jīng)看到，世界各地的許多人和不同的公司基本上都在使用Llama-2的700億基礎(chǔ)，例如采用該模型架構(gòu)，然后構(gòu)建新模型。當(dāng)你對(duì)Llama-3的700億或Llama-3的405進(jìn)行代際改進(jìn)時(shí)，情況仍然如此，今天還沒有開源的類似產(chǎn)品。這是一個(gè)巨大的步驟函數(shù)，我認(rèn)為人們?cè)谄浠A(chǔ)上能夠構(gòu)建的東西不能無(wú)限地從那里發(fā)展。我認(rèn)為在你進(jìn)入下一個(gè)步驟函數(shù)之前，可以進(jìn)行一些優(yōu)化。

是的。好的，讓我們稍微縮小一下具體模型，甚至看一下獲得能源批準(zhǔn)等所需的多年準(zhǔn)備時(shí)間。從大局來(lái)看，未來(lái)幾十年，人工智能將會(huì)發(fā)生什么？它感覺像是另一種技術(shù)，如元宇宙或社交，還是感覺像是人類歷史進(jìn)程中完全不同的東西？

我認(rèn)為它將是非常根本的。我認(rèn)為它將更像最初計(jì)算的創(chuàng)造。

因此，你會(huì)得到所有這些新應(yīng)用程序，就像你得到網(wǎng)絡(luò)或手機(jī)一樣，你會(huì)覺得人們基本上重新思考了所有這些體驗(yàn)，很多以前不可能的事情現(xiàn)在都成為可能。

我認(rèn)為這會(huì)發(fā)生。但我認(rèn)為這是一種基礎(chǔ)創(chuàng)新。在我看來(lái)，這更像是從沒有電腦的人到有電腦的人。

但我不知道，很難推斷出這究竟是如何進(jìn)行的。我傾向于認(rèn)為，在宇宙尺度上，顯然，它會(huì)在幾十年內(nèi)迅速發(fā)生。有些人擔(dān)心，它真的只是在一夜之間從有點(diǎn)聰明變成非常聰明。所有這些物理限制使得這種情況不太可能發(fā)生。我真的不認(rèn)為那會(huì)發(fā)生。

所以我認(rèn)為你會(huì)有時(shí)間去適應(yīng)一點(diǎn)，但它確實(shí)會(huì)改變我們的工作方式，并為人們提供所有這些創(chuàng)造性的工具來(lái)做不同的事情，是的，我認(rèn)為它將真正使人們能夠做他們更想做的事情，這是我的觀點(diǎn)。

好吧，也許不是一夜之間，但你認(rèn)為在宇宙尺度上，如果你認(rèn)為人類進(jìn)化了，然后人工智能出現(xiàn)了，然后他們穿越了銀河系，或者可能需要幾十年，也許需要一個(gè)世紀(jì)，但就像現(xiàn)在歷史上正在發(fā)生的事情一樣，這是不是宏偉的計(jì)劃？

盡管存在其他技術(shù)，例如計(jì)算機(jī)，甚至像火這樣的發(fā)明，但我認(rèn)為人工智能的出現(xiàn)與人類進(jìn)化的重要性相當(dāng)。

這個(gè)問題我覺得很復(fù)雜。我認(rèn)為人們喜歡研究人類歷史，他們基本上認(rèn)為人類在某些方面是非常獨(dú)特的，然后開始接受這樣一個(gè)事實(shí)，即人類并不像我們想象的那樣獨(dú)特，但實(shí)際上，人類仍然具有很多特殊之處。是的，就像我們?cè)?jīng)認(rèn)為地球是宇宙的中心一樣。事實(shí)證明并非如此，但人類仍然是非常了不起的，而且我們也是非常獨(dú)特的。

我認(rèn)為人們存在另一種偏見，那就是他們認(rèn)為智能在某種程度上與生命有著根本的聯(lián)系。但實(shí)際上，我們并不清楚這是否真的如此，

人們可能會(huì)認(rèn)為，我們對(duì)于意識(shí)或生命的定義并不足夠清晰，無(wú)法完全探究這一點(diǎn)。但我知道有很多科幻小說(shuō)都描述了這樣的情景，即你創(chuàng)造了智能，然后它開始表現(xiàn)出所有這些類似人類的行為。但實(shí)際上，我認(rèn)為所有這些東西的當(dāng)前形態(tài)，至少在某種程度上，它們正在朝著一個(gè)方向發(fā)展，即智能可以與意識(shí)和行動(dòng)等東西完全分離，我認(rèn)為這只是讓它成為一個(gè)非常有價(jià)值的工具。所以我不知道。很明顯，很難預(yù)測(cè)這些東西隨著時(shí)間的推移會(huì)朝什么方向發(fā)展，這就是為什么我認(rèn)為任何人都不應(yīng)該教條地認(rèn)為他們計(jì)劃如何開發(fā)它或他們計(jì)劃做什么。

我認(rèn)為你應(yīng)該關(guān)注每個(gè)版本，我們顯然非常支持開源。是的。但我還沒有承諾我們會(huì)發(fā)布我們所做的每一件事。但基本上，我通常非常傾向于認(rèn)為開源對(duì)社區(qū)和我們都有好處，因?yàn)槲覀儠?huì)從創(chuàng)新中受益。

但如果在某個(gè)時(shí)候，某樣?xùn)|西的能力發(fā)生了一些質(zhì)的變化，我們覺得開源是不負(fù)責(zé)任的，那么我們就不會(huì)開源。但我不知道。這一切都很難預(yù)測(cè)。

什么是質(zhì)變，比如一個(gè)具體的事物，你正在訓(xùn)練 Llama4，你已經(jīng)看到了這一點(diǎn)，即不確定是否要開源它。

從抽象的角度回答這個(gè)問題有點(diǎn)困難，因?yàn)槿魏萎a(chǎn)品都可能表現(xiàn)出負(fù)面行為，只要你能減輕它的影響，那就沒問題了， 所以，社交媒體有一些不好的地方，我們會(huì)努力減輕，Llama2 也有一些不好的地方，我們花了很多時(shí)間試圖確保它不會(huì)幫助人們實(shí)施暴力行為或類似的事情，

這并不意味著它是一種自主或智能的代理。這只是意味著它對(duì)世界了解很多，它可以回答一系列我們認(rèn)為對(duì)它來(lái)說(shuō)沒有幫助的問題。所以我不知道。我認(rèn)為問題不是它會(huì)表現(xiàn)出什么行為，而是在它表現(xiàn)出這些行為之后，我們無(wú)法減輕什么。

好壞參半的方式太多了，很難一一列舉。如果你看看我們?cè)谏缃幻襟w上遇到的各種危害，就會(huì)發(fā)現(xiàn)人們所做的有害事情有 18 或 19 類。我們基本上已經(jīng)建立了人工智能系統(tǒng)，試圖識(shí)別人們正在做的事情，并盡可能確保這種情況不會(huì)發(fā)生在我們的網(wǎng)絡(luò)上。

所以，是的，我認(rèn)為隨著時(shí)間的推移，你可以將其分解成更多的分類法。我認(rèn)為這也是我們花時(shí)間研究的事情，因?yàn)槲覀兿氪_保我們理解這一點(diǎn)。在我看來(lái)，如果未來(lái)人工智能系統(tǒng)沒有得到廣泛部署，而且不是每個(gè)人都能使用它們，我會(huì)感到失望。同時(shí)，我也希望能更深入地了解緩解措施。因?yàn)槿绻徑庵皇俏⒄{(diào)，那么開放權(quán)重的全部意義就在于你可以去除微調(diào)，而微調(diào)往往只是這些能力的表面現(xiàn)象。

如果這就像在 Slack 上與生物學(xué)研究人員交談，我認(rèn)為模型與此相去甚遠(yuǎn)。現(xiàn)在，它們就像谷歌搜索。但我可以向他們展示我的培養(yǎng)皿，他們可以解釋，這就是你的天花樣本沒有生長(zhǎng)的原因。這就是需要改變的地方。你如何緩解這種情況？因?yàn)橛腥丝梢栽谀抢镂⒄{(diào)它，

我認(rèn)為很多人基本上會(huì)使用現(xiàn)成的模型。而一些基本上不誠(chéng)實(shí)的人會(huì)試圖去除所有不好的東西。所以我認(rèn)為這是一個(gè)問題。另一方面，這也是我如此支持開源的原因之一，我確實(shí)認(rèn)為未來(lái)人工智能的集中化可能會(huì)像人工智能的廣泛傳播一樣危險(xiǎn)。

我認(rèn)為很多人都在思考這樣的問題：如果我們能做這些事情，那么讓它們廣泛使用是否不好？我認(rèn)為另一個(gè)版本是，如果一個(gè)機(jī)構(gòu)擁有的人工智能比其他機(jī)構(gòu)的人工智能強(qiáng)大得多，那可能也很糟糕。

我想到的一個(gè)安全類比是，并不只是人工智能，很多不同的東西都有安全漏洞。如果你能回到一年或兩年前，那不是人工智能。就像你只是比現(xiàn)在多了一兩年的安全漏洞知識(shí)。

這幾乎就像任何系統(tǒng)一樣容易被黑客入侵，因此，相信一個(gè)非常聰明的人工智能可能能夠識(shí)別一些漏洞，并且基本上像人類一樣，有可能回到一兩年前并破壞所有這些系統(tǒng)，這并不是太牽強(qiáng)。那么，我們作為一個(gè)社會(huì)應(yīng)該如何應(yīng)對(duì)這個(gè)問題呢？

開源軟件是解決這個(gè)問題的一個(gè)重要部分，它使得當(dāng)對(duì)軟件進(jìn)行改進(jìn)時(shí)，它不會(huì)僅僅局限于一家公司的產(chǎn)品，而是可以廣泛部署到許多不同的系統(tǒng)中，無(wú)論是銀行、醫(yī)院還是政府系統(tǒng)。而且，隨著軟件的強(qiáng)化，每個(gè)人都可以喜歡，這是因?yàn)楦嗟娜丝梢钥吹剿嗟娜丝梢怨羲６疫@些東西的工作原理是有標(biāo)準(zhǔn)的。世界有可能在短時(shí)間內(nèi)共同升級(jí)。在一個(gè)人工智能被廣泛部署的世界中，隨著時(shí)間的推移，它會(huì)逐漸變得更加強(qiáng)大，所有不同的系統(tǒng)都會(huì)受到控制。在我看來(lái)，這種情況比一個(gè)人工智能更集中的世界要健康得多。

然而，這其中也存在風(fēng)險(xiǎn)。這是一種風(fēng)險(xiǎn)，但人們很少討論它。有一種風(fēng)險(xiǎn)，那就是，如果人工智能系統(tǒng)做了壞事怎么辦？我更擔(dān)心的是，如果有一些你不信任的人，無(wú)論他們?cè)谀睦铮绻麄儞碛谐瑥?qiáng)的人工智能，無(wú)論是其他政府，還是我們國(guó)家的對(duì)手，或者你不信任的公司，或者其他什么。我認(rèn)為這可能是一個(gè)更大的風(fēng)險(xiǎn)。

他們可能會(huì)利用這種超強(qiáng)的人工智能推翻我們的政府，因?yàn)樗麄儞碛袆e人沒有的武器，這可能會(huì)造成很多混亂。我認(rèn)為直覺是，這些東西最終會(huì)變得非常重要，而且對(duì)經(jīng)濟(jì)、安全和其他方面都有價(jià)值。我不知道，我只是覺得，如果你不信任的人或你的對(duì)手得到了更強(qiáng)大的東西，那么我認(rèn)為這可能是一個(gè)問題。

我認(rèn)為緩解這種情況的最佳方法可能是擁有優(yōu)秀的開源人工智能，使其成為標(biāo)準(zhǔn)。在很多方面，它可以成為領(lǐng)導(dǎo)者。這樣一來(lái)，它就確保了這是一個(gè)更加公平和平衡的競(jìng)爭(zhēng)環(huán)境。是的，這對(duì)我來(lái)說(shuō)似乎是可行的。如果成功的話，那將是我喜歡的未來(lái)。

我想從機(jī)制上理解，如果有人要用人工智能系統(tǒng)制造混亂，世界上還有其他開源系統(tǒng)這一事實(shí)如何防止這種情況發(fā)生，比如有人帶著生物武器來(lái)襲？是不是我們會(huì)在世界其他地方進(jìn)行大量研發(fā)，以便快速研制出疫苗？發(fā)生了什么？

如果你以計(jì)算機(jī)為例，我剛才談到的安全問題，我認(rèn)為一個(gè)人工智能較弱的人試圖入侵一個(gè)受人工智能較強(qiáng)保護(hù)的系統(tǒng)，成功率會(huì)更低。所以，這就像……我們?cè)趺粗朗澜缟系囊磺卸际沁@樣？

不，我不知道世界上的一切都是這樣。我想，這是其中之一……生物武器是我認(rèn)為最擔(dān)心這個(gè)問題的人關(guān)注的領(lǐng)域之一。而且，我認(rèn)為考慮這一點(diǎn)很有意義。

我認(rèn)為有一些緩解措施，你可以嘗試不將某些知識(shí)訓(xùn)練到模型中，有不同的事情。但是，這是某種程度的。如果你遇到了一個(gè)足夠糟糕的演員，而你沒有其他人工智能可以平衡他們，了解正在發(fā)生的事情和威脅，那么，這可能是一個(gè)風(fēng)險(xiǎn)。所以我認(rèn)為這是我們需要注意的事情之一。

嗯。在這些系統(tǒng)的部署中，你能看到什么嗎？你觀察到，就像你在訓(xùn)練 Llama4 一樣，它好像在騙你，因?yàn)樗詾槟銢]有注意到什么？你會(huì)想，哇，這是怎么回事？

這可能不太可能發(fā)生在 Llama4 測(cè)試系統(tǒng)中。

但你能想象到這樣的事情嗎？你會(huì)真正擔(dān)心欺騙性嗎？如果有數(shù)十億份東西在野外傳播？

確實(shí)，我并不認(rèn)為這一定是……目前，我們看到了許多幻覺。是的，確實(shí)如此。因此，我認(rèn)為我們需要更深入地探討。我認(rèn)為如何區(qū)分幻覺和欺騙是一個(gè)有趣的問題。但是，是的，我認(rèn)為存在許多風(fēng)險(xiǎn)和需要考慮的事項(xiàng)。

另一方面，也存在許多……在經(jīng)營(yíng)我們的公司時(shí)，我試圖至少在我認(rèn)為的長(zhǎng)期理論風(fēng)險(xiǎn)和我認(rèn)為當(dāng)前存在的相當(dāng)現(xiàn)實(shí)的風(fēng)險(xiǎn)之間找到平衡。

因此，當(dāng)你提到欺騙時(shí)，我最擔(dān)心的是人們利用它制造錯(cuò)誤信息，然后將其灌輸?shù)轿覀兊木W(wǎng)絡(luò)或其他網(wǎng)絡(luò)中。因此，我們主要通過(guò)建立比對(duì)抗系統(tǒng)更智能的人工智能系統(tǒng)來(lái)打擊大量此類有害內(nèi)容。

這在某種程度上也反映了我的理論，如果你觀察人們通過(guò)社交網(wǎng)絡(luò)造成的或試圖造成的各種傷害，你會(huì)發(fā)現(xiàn)有些傷害并不是非常具有對(duì)抗性的。例如，我認(rèn)為仇恨言論并不是非常具有對(duì)抗性的，因?yàn)槿藗儾]有變得更善于種族主義。然而，如果你這樣認(rèn)為，我認(rèn)為人工智能在這些問題上通常比人類更快地變得更加復(fù)雜。

因此，我們雙方都存在問題。就像人們做壞事一樣，無(wú)論他們是試圖煽動(dòng)暴力還是其他什么。但我們也有很多誤報(bào)，因此，我們基本上審查了我們不應(yīng)該審查的內(nèi)容，我認(rèn)為這讓很多人感到惱火是可以理解的。因此，我認(rèn)為擁有一個(gè)在這方面越來(lái)越精確的人工智能，隨著時(shí)間的推移，這將是一件好事。

但讓我再舉一個(gè)例子，就像民族國(guó)家試圖干涉選舉。他們絕對(duì)擁有尖端技術(shù)，而且每年都在進(jìn)步。因此，我們阻止了一些技術(shù)，他們學(xué)習(xí)了我們的做法，然后使用不同的技術(shù)來(lái)對(duì)付我們。這不像是有人試圖說(shuō)刻薄的話，他們基本上有一個(gè)目標(biāo)，他們很老練，他們擁有很多技術(shù)。在這種情況下，我仍然認(rèn)為，讓我們的人工智能系統(tǒng)以比他們的更快的速度發(fā)展和成熟，這是一場(chǎng)軍備競(jìng)賽，但我認(rèn)為我們至少目前贏得了這場(chǎng)軍備競(jìng)賽。

我不知道，我認(rèn)為那是，但這就像我花時(shí)間思考的很多東西，比如，好吧，無(wú)論是 Llama4 還是 Llama5 或 Llama6，是的，我們都需要考慮我們正在觀察什么行為。

我認(rèn)為你們將其開源的部分原因是還有很多人也在研究這個(gè)問題。

所以，是的，我們想看看其他人在觀察什么，我們?cè)谟^察什么，我們可以減輕什么。然后我們會(huì)評(píng)估是否可以將其開源。但我認(rèn)為在可預(yù)見的未來(lái)，我對(duì)我們能夠做到這一點(diǎn)持樂觀態(tài)度。

在短期內(nèi)，我不想忽視人們今天試圖使用這些模型的實(shí)際壞事，即使它們不是存在的，但它們就像我們熟悉的和運(yùn)行我們的服務(wù)的相當(dāng)嚴(yán)重的日常危害。實(shí)際上，我認(rèn)為這也是我們必須花費(fèi)大量時(shí)間的事情。

實(shí)際上我發(fā)現(xiàn)合成數(shù)據(jù)的事情真的很奇怪。我實(shí)際上感興趣的是為什么你不像當(dāng)前的模型那樣思考，為什么一遍又一遍地進(jìn)行合成數(shù)據(jù)可能會(huì)有漸近線是有道理的。如果他們變得更聰明，并采用我在論文或博客文章中提到的那種技術(shù)，這些技術(shù)將在發(fā)布當(dāng)天被廣泛應(yīng)用，它將引領(lǐng)正確的思維鏈條。為什么這不會(huì)形成一個(gè)循環(huán)呢？

當(dāng)然，這不會(huì)在一夜之間發(fā)生，而是需要經(jīng)過(guò)數(shù)月甚至數(shù)年的訓(xùn)練。可能會(huì)使用更智能的模型，它會(huì)變得更聰明，產(chǎn)生更好的輸出，然后再變得更聰明，如此循環(huán)。我認(rèn)為這是在模型架構(gòu)的參數(shù)范圍內(nèi)可以實(shí)現(xiàn)的。

在某種程度上，我并不確定，我認(rèn)為就像今天的80億參數(shù)模型一樣，我并不認(rèn)為你能夠像最先進(jìn)的數(shù)千億參數(shù)模型那樣好，這些模型將新的研究融入到架構(gòu)本身中。但這些模型也會(huì)是開源的，但我認(rèn)為這取決于我們剛才討論的所有問題。

我們希望情況會(huì)是這樣。然而，在每個(gè)階段，就像你在開發(fā)軟件時(shí)，你可以用軟件做很多事情，但在某種程度上，你會(huì)受到運(yùn)行它的芯片的限制，所以總是會(huì)有不同的物理限制。模型的大小會(huì)受到你可以獲得和用于推理的能量的限制。所以我同時(shí)非常樂觀地認(rèn)為這些東西會(huì)繼續(xù)快速改進(jìn)。

我比有些人更謹(jǐn)慎，我只是認(rèn)為失控的情況不太可能發(fā)生。我認(rèn)為保持選擇的開放是有意義的。我們面臨的未知事物太多了。有一種情況是，保持權(quán)力平衡真的很重要。你不想開源架構(gòu)，因?yàn)橹袊?guó)可以用它來(lái)趕上美國(guó)的人工智能。就像有一場(chǎng)智力爆炸。他們喜歡贏得勝利。很多事情似乎都是可能的。就像保持你的選擇開放一樣，考慮所有的選擇似乎是合理的。

是的，我們來(lái)談?wù)勂渌虑椤：玫模钪妗Ｄ阕钕脒M(jìn)入人類歷史上的哪個(gè)時(shí)期？公元前10萬(wàn)年到現(xiàn)在。你只是想看看它是什么樣子。它必須是過(guò)去嗎？

嗯？它必須是過(guò)去嗎？

哦，是的，它必須是過(guò)去。

我不知道。我有我感興趣的時(shí)期。我對(duì)美國(guó)歷史和古典歷史非常感興趣。我對(duì)科學(xué)史也很感興趣。所以我實(shí)際上認(rèn)為看到并試圖更多地了解一些重大進(jìn)步是如何產(chǎn)生的。我們所擁有的只是關(guān)于其中某些內(nèi)容的有限的文字。

我不確定元宇宙是否會(huì)讓你這樣做。因?yàn)槲覀儫o(wú)法，很難回到過(guò)去，去回憶那些我們沒有記錄的事情。但是，我實(shí)際上不確定回到過(guò)去對(duì)他們來(lái)說(shuō)是否是一件重要的事情。我認(rèn)為這對(duì)于歷史課之類的東西來(lái)說(shuō)會(huì)很酷。

但是，這可能不是我對(duì)元宇宙最興奮的用例。我認(rèn)為最重要的是無(wú)論你身在何處，都能感受到與人同在的能力。我認(rèn)為這將是一項(xiàng)非常棒的事情。在我們進(jìn)行的人工智能對(duì)話中，許多討論都是關(guān)于物理限制的，這些限制是所有這些討論的基礎(chǔ)，如果你想要進(jìn)行創(chuàng)新，技術(shù)的一個(gè)教訓(xùn)就是你應(yīng)該盡可能地將事物從物理約束領(lǐng)域轉(zhuǎn)移到軟件中。因?yàn)檐浖臉?gòu)建和發(fā)展要容易得多。此外，你可以讓它更加民主化，因?yàn)椴⒎敲總€(gè)人都有能力擁有一個(gè)數(shù)據(jù)中心。然而，許多人可以編寫代碼，獲取開源代碼并對(duì)其進(jìn)行修改。

元宇宙版本能夠?qū)崿F(xiàn)真實(shí)的數(shù)字存在，這將是一個(gè)巨大的區(qū)別。它使人們感覺他們不必為了很多事情而親自在一起。現(xiàn)在，我認(rèn)為親自在一起會(huì)更好。所以，這些事情并非二元的。它并不意味著，好吧，現(xiàn)在，你不需要再這樣做了。但是，總的來(lái)說(shuō)，我認(rèn)為這對(duì)于社交、與人建立聯(lián)系、工作來(lái)說(shuō)都非常強(qiáng)大。對(duì)于我不知道的部分行業(yè)、醫(yī)學(xué)，對(duì)于很多事情來(lái)說(shuō)。

我想回到你在談話開始時(shí)說(shuō)的一件事，你沒有以10億美元的價(jià)格出售公司。還有，比如元宇宙，你知道我們會(huì)這樣做，即使市場(chǎng)為此而打擊你。然后我真的很好奇，比如，這種優(yōu)勢(shì)的來(lái)源是什么？你說(shuō)，哦，價(jià)值觀。我有這種直覺。但是，每個(gè)人都這么說(shuō)，比如，如果你必須說(shuō)一些對(duì)你來(lái)說(shuō)很特別的話呢？是什么，你會(huì)如何表達(dá)它？比如，你為什么如此相信元宇宙？

我認(rèn)為那些是不同的問題。

所以，什么東西能給我?guī)?lái)那種力量？我想我們已經(jīng)討論了很多事情。所以，我真的很喜歡建造東西。我特別喜歡圍繞人們?nèi)绾谓涣饕约傲私馊藗內(nèi)绾伪磉_(dá)自己和人們?nèi)绾喂ぷ鱽?lái)構(gòu)建事物。我上大學(xué)的時(shí)候，學(xué)的是計(jì)算機(jī)科學(xué)和心理學(xué)。我認(rèn)為這個(gè)行業(yè)里還有很多人學(xué)的是計(jì)算機(jī)科學(xué)，所以，對(duì)我來(lái)說(shuō)，這一直是這兩件事的交集。但我認(rèn)為這也是一種非常深層的驅(qū)動(dòng)力。

我不知道該如何解釋，但我只是覺得，從本質(zhì)上講，如果我不創(chuàng)造新的東西，我就做錯(cuò)了。所以即使我們?cè)谥贫ㄉ虡I(yè)案例，比如在人工智能上投資一千億美元，或者在元宇宙上投入巨額資金。是的，我們有計(jì)劃，我認(rèn)為這些計(jì)劃非常明確，如果我們的東西有效，那將是一項(xiàng)很好的投資。但你不能從一開始就知道。而且，人們有各種各樣的爭(zhēng)論，無(wú)論是與顧問還是不同的人。好吧，你怎么能，你怎么有足夠的信心去做這件事？

好吧，當(dāng)我停止嘗試建造新事物的那一天，我就完了。我要去別的地方建造新事物。我從根本上無(wú)法經(jīng)營(yíng)某件事或經(jīng)營(yíng)自己的生活，也無(wú)法嘗試建造我認(rèn)為有趣的新事物。對(duì)我來(lái)說(shuō)，這甚至都不構(gòu)成一個(gè)問題。我們是否會(huì)嘗試去創(chuàng)造下一個(gè)新事物？我無(wú)法不去嘗試。在我生活的各個(gè)方面，都是如此。就像我們建造了這個(gè)，就像我的家人在考艾島上建造了這個(gè)牧場(chǎng)，我只是設(shè)計(jì)了所有這些建筑。我有時(shí)會(huì)想，我們開始養(yǎng)牛了，我想，好吧，我想養(yǎng)出世界上最好的牛。那么，我們?cè)撊绾卧O(shè)計(jì)它呢？這樣我們就可以弄清楚，然后構(gòu)建和調(diào)用我們需要的東西，嘗試這樣做。所以，我不知道，這就是我。那么，問題的另一部分是什么呢？

我不確定，但我實(shí)際上對(duì)其他事情很好奇……

19歲的馬克讀了很多古代和古典作品，包括高中和大學(xué)期間。你從中學(xué)到了什么重要的一課？不僅僅是你發(fā)現(xiàn)的有趣的東西，而且像……到你19歲的時(shí)候，你消耗的Token并不多。其中很多都是關(guān)于經(jīng)典的。顯然，這在某種程度上很重要。

我不知道，這是個(gè)好問題。

我認(rèn)為真正有趣的事情之一是……所以，當(dāng)奧古斯都第一次當(dāng)上皇帝時(shí)，他試圖建立和平。當(dāng)時(shí)并沒有真正的和平概念。人們對(duì)和平的理解是……這是敵人不可避免地再次攻擊你之間的暫時(shí)時(shí)間。所以你得到了短暫的休息。他有這樣一種觀點(diǎn)，看，我們想改變經(jīng)濟(jì)……而不是如此唯利是圖和軍國(guó)主義……實(shí)際上是這種正和的東西。在當(dāng)時(shí)，這是一個(gè)非常創(chuàng)新的想法。

我不確定，但我認(rèn)為其中包含了一些非常基本的元素。這就像是當(dāng)時(shí)人們能夠想象的極限，是一種合理的工作方式。我想回到這個(gè)話題，這適用于元宇宙和人工智能。但是，許多投資者和其他人卻無(wú)法理解我們?yōu)槭裁匆_源。這就像開源一樣，這只是你暫時(shí)擁有事物的時(shí)間。但實(shí)際上，我認(rèn)為這就像科技領(lǐng)域的一種深刻理念。實(shí)際上，它創(chuàng)造了許多贏家。

我不確定，我不想過(guò)分強(qiáng)調(diào)這個(gè)比喻。我確實(shí)認(rèn)為，有很多時(shí)候，你可以像建造模型一樣去構(gòu)建事物。人們甚至無(wú)法理解這對(duì)他們來(lái)說(shuō)是一件有價(jià)值的事情，或者是一個(gè)合理的世界狀態(tài)。實(shí)際上有比人們想象的更多合理的事情。這非常有趣，我可以告訴你我當(dāng)時(shí)的想法嗎？

當(dāng)然，你可能已經(jīng)從中找到了答案，這可能完全不對(duì)。這些人中有些人非常年輕，他們?cè)诘蹏?guó)中扮演著非常重要的角色。就像凱撒·奧古斯都，到他19歲時(shí)，他實(shí)際上已經(jīng)非常了不起，他是羅馬政壇最杰出的人物之一。他領(lǐng)導(dǎo)著戰(zhàn)爭(zhēng)并組建了第二個(gè)三頭執(zhí)政聯(lián)盟。我想知道你是否喜歡這樣的例子，一個(gè)19歲的孩子會(huì)說(shuō)，我真的可以做到。我認(rèn)為這是一個(gè)有趣的例子，兩者都來(lái)自歷史，包括美國(guó)歷史。

我最喜歡的名言之一是畢加索的這句話：“所有的孩子都是藝術(shù)家，挑戰(zhàn)在于你長(zhǎng)大后如何保持藝術(shù)家的身份？”基本上，因?yàn)楫?dāng)你年輕的時(shí)候，你更容易產(chǎn)生瘋狂的想法。你的生活中存在著所有這些與創(chuàng)新者困境的類比，以及你的公司或你所建立的任何東西。所以，你在你的軌跡上有點(diǎn)早期，更容易轉(zhuǎn)變并接受新的想法，而不會(huì)破壞你對(duì)不同事物做出的其他承諾。

我不確定，但我認(rèn)為這是經(jīng)營(yíng)公司的一個(gè)有趣的部分，你如何保持活力？回到開源投資者，100億美元的模式，假設(shè)它是完全安全的，你已經(jīng)做了這些評(píng)估。與此不同，評(píng)估人員還可以對(duì)模型進(jìn)行微調(diào)。你希望未來(lái)的模型也能如此嗎？

你會(huì)開源100億美元的模型嗎？

只要它對(duì)我們有幫助，那么是的。

但會(huì)嗎？100億美元的研發(fā)費(fèi)用現(xiàn)在開源了嗎？

我想，這是一個(gè)問題，隨著時(shí)間的推移，我們也必須對(duì)此進(jìn)行評(píng)估。我們?cè)陂_源軟件方面有著悠久的歷史，但我們不傾向于開源我們的產(chǎn)品，我們不會(huì)將Instagram的代碼開源。我們采用了大量的基礎(chǔ)設(shè)施，并將其開源。在我們的歷史上，最大的項(xiàng)目可能就是開放計(jì)算項(xiàng)目，我們將所有的服務(wù)器、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心的設(shè)計(jì)開源。這個(gè)項(xiàng)目最終證明非常有價(jià)值，因?yàn)殡m然很多人都可以設(shè)計(jì)服務(wù)器，但現(xiàn)在行業(yè)已經(jīng)對(duì)我們的設(shè)計(jì)進(jìn)行了標(biāo)準(zhǔn)化。這意味著供應(yīng)鏈基本上都是圍繞我們的設(shè)計(jì)建立的。隨著數(shù)量的增加，對(duì)每個(gè)人來(lái)說(shuō)都更便宜了，為我們節(jié)省了數(shù)十億美元。這是不是很棒？

我認(rèn)為開源可以通過(guò)多種方式幫助我們。首先，如果人們能找到更便宜的運(yùn)行模型的方法，我們將在所有這些事情上花費(fèi)數(shù)百億甚至一千億美元或更多。因此，如果我們能更有效地做到這一點(diǎn)，比如提高10%，我們將節(jié)省數(shù)十億或數(shù)百億美元。這本身可能就值很多錢，特別是如果有其他競(jìng)爭(zhēng)模型。我們的東西并不是在放棄某種瘋狂的優(yōu)勢(shì)。

你問我是否認(rèn)為訓(xùn)練將被商品化。我認(rèn)為有很多方法可以實(shí)現(xiàn)這一點(diǎn)，這只是其中之一。另一個(gè)是商品化意味著它會(huì)變得非常便宜，因?yàn)橛泻芏噙x擇。這可能朝另一個(gè)方向發(fā)展，即質(zhì)量改進(jìn)。

你提到了微調(diào)，對(duì)嗎？就像現(xiàn)在，你能對(duì)其他主流模型進(jìn)行微調(diào)的能力非常有限。也有一些選擇，但通常不適用于最大的模型。因此，我認(rèn)為能夠做到這一點(diǎn)，能夠做不同的應(yīng)用程序特定的事情或用例特定的事情，或?qū)⑺鼈儤?gòu)建到特定的工具鏈中，不僅可以實(shí)現(xiàn)更高效的開發(fā)，還可以實(shí)現(xiàn)質(zhì)量上不同的事情。

我想給你一個(gè)類比。我認(rèn)為移動(dòng)生態(tài)系統(tǒng)普遍糟糕的一件事是，有兩家守門人公司，蘋果和谷歌，它們可以告訴你允許構(gòu)建什么。在我們的歷史上有很多次，有經(jīng)濟(jì)版本，我們建造了一些東西，他們就要拿走你一大筆錢。但還有定性版本，這實(shí)際上讓我更心煩意亂。很多時(shí)候，當(dāng)我們發(fā)布或想要發(fā)布新功能時(shí)，蘋果卻說(shuō)，不行，你不會(huì)發(fā)布這個(gè)功能。我當(dāng)時(shí)想，這太糟糕了。

所以問題是，我們是否已經(jīng)為這樣的人工智能世界做好了準(zhǔn)備，在那里，你將得到少數(shù)幾家運(yùn)行這些封閉模型的公司，這些公司將控制 API，因此將能夠告訴你可以構(gòu)建什么？首先，我可以說(shuō)，我們自己去建立一個(gè)模型，以確保我們不會(huì)處于那種境地，這是值得的。比如，我不希望其他任何公司告訴我們可以構(gòu)建什么。但從開源的角度來(lái)看，我認(rèn)為很多開發(fā)人員也不希望這些公司告訴他們可以構(gòu)建什么。

所以問題是，圍繞這個(gè)構(gòu)建的生態(tài)系統(tǒng)是什么？什么是有趣的新事物？這對(duì)我們的產(chǎn)品有多大改善？我知道有很多情況下，如果這最終成為我們的數(shù)據(jù)庫(kù)或緩存系統(tǒng)或架構(gòu)，我們將從社區(qū)獲得寶貴的貢獻(xiàn)，這將使我們的產(chǎn)品更好。然后，我們所進(jìn)行的特定應(yīng)用程序的工作仍然具有如此大的差異性，以至于它實(shí)際上并不重要，對(duì)嗎？

我們將能夠繼續(xù)做我們所做的事情。我們將從所有系統(tǒng)中受益。無(wú)論是我們自己的還是社區(qū)的，都會(huì)因?yàn)樗情_源的而變得更好。然而，也存在一個(gè)可能的世界，模型最終可能會(huì)成為產(chǎn)品本身。在這種情況下，我認(rèn)為是否開源就成了一個(gè)更為復(fù)雜的經(jīng)濟(jì)計(jì)算，因?yàn)檫@樣做在很大程度上就是將自己商品化。但從我目前所看到的情況來(lái)看，我們似乎還沒有達(dá)到那個(gè)水平。

您是否希望通過(guò)將模型授權(quán)給云提供商來(lái)獲得可觀的收入？他們必須向您支付費(fèi)用才能真正提供該模型嗎？

我們希望有這樣的安排，但我不知道它會(huì)有多重要。我們有這個(gè)……這基本上是我們對(duì)Llama的許可證。在很多方面，這是一個(gè)非常寬松的開源許可證，只是我們對(duì)使用它的最大公司有一個(gè)限制。這就是我們?cè)O(shè)置這個(gè)限制的原因。我們并不是想阻止他們使用它。我們只是希望他們來(lái)和我們談?wù)?/strong>，因?yàn)槿绻麄冎皇悄米呶覀兘ㄔ斓臇|西并轉(zhuǎn)售它并從中賺錢，那么好吧，如果你是像微軟、Azure或亞馬遜這樣的公司，那么是的，如果你要轉(zhuǎn)售該模型，那么我們應(yīng)該從中獲得一些收入份額。所以在你這樣做之前先來(lái)和我們談?wù)劇＿@就是事情的發(fā)展方式。

所以對(duì)于Llama 2，我們基本上與所有這些主要的云公司都有交易，Llama2作為所有這些云上的托管服務(wù)提供。隨著我們發(fā)布越來(lái)越大的模型，這會(huì)成為一件大事。這不是我們的主要工作，但我認(rèn)為如果這些公司要銷售我們的模型，我們應(yīng)該以某種方式分享其中的好處。

是的。關(guān)于其他開源危險(xiǎn)，我認(rèn)為你關(guān)于權(quán)力平衡的觀點(diǎn)確實(shí)合理，而且由于我們擁有更好的協(xié)調(diào)技術(shù)等，你可以消除潛在的危害。我希望Meta有某種框架。其他實(shí)驗(yàn)室也有這種框架，他們說(shuō)，如果我們看到這個(gè)具體的東西，那么開源甚至部署都行不通。只是把它寫下來(lái)，這樣公司就可以做好準(zhǔn)備。人們對(duì)它有期望等等。是的。我認(rèn)為這是生存風(fēng)險(xiǎn)方面的一個(gè)公平觀點(diǎn)。

現(xiàn)在，我們更關(guān)注我們今天看到的風(fēng)險(xiǎn)類型，這些風(fēng)險(xiǎn)更多是內(nèi)容風(fēng)險(xiǎn)。我們有底線，我們不希望模型基本上做一些幫助人們實(shí)施暴力或欺詐或以不同方式傷害人們的事情。因此，在實(shí)踐中，對(duì)于今天的模型，我想下一代，甚至可能是下一代，我認(rèn)為雖然談?wù)撋骘L(fēng)險(xiǎn)在智力上可能更有趣，我實(shí)際上認(rèn)為，真正需要付出更多精力來(lái)減輕的危害是，有人會(huì)采用模型，用今天的參數(shù)和我們今天看到的更平凡的危害類型來(lái)傷害他人。比如人們互相欺詐，諸如此類。所以我不想忽視這一點(diǎn)。我認(rèn)為我們有責(zé)任確保我們?cè)谶@方面做得很好。

是的，Meta是一家大公司，你可以同時(shí)處理這兩件事。

是的。

關(guān)于開源，我非常好奇，你是否認(rèn)為像 PyTorch、React、Open Compute 這樣的開源項(xiàng)目對(duì)世界的影響甚至超過(guò)了 Meta 在社交媒體方面的影響。我曾與使用這些服務(wù)的人進(jìn)行過(guò)交談，他們認(rèn)為這是可能的，因?yàn)榛ヂ?lián)網(wǎng)的很大一部分都在運(yùn)行這些項(xiàng)目。

這是一個(gè)有趣的問題。我認(rèn)為幾乎一半的世界都在使用我們的產(chǎn)品。這是一個(gè)很好的觀點(diǎn)。因此，我認(rèn)為很難超越它。但我認(rèn)為開源作為一種新的構(gòu)建事物的方式確實(shí)非常強(qiáng)大。

是的，這是可能的。它可能就是這些項(xiàng)目之一，我不確定，比如貝爾實(shí)驗(yàn)室，他們正在研究晶體管，因?yàn)樗麄兿胍獙?shí)現(xiàn)長(zhǎng)途通話。他們成功了。最終，他們實(shí)現(xiàn)了長(zhǎng)途通話，這給他們帶來(lái)了真正的利潤(rùn)。

如果你問他們，五到十年后，他們發(fā)明的最有用的東西是什么？他們可能會(huì)回答，我們實(shí)現(xiàn)了長(zhǎng)途通話，現(xiàn)在所有人都在打長(zhǎng)途電話。但如果你問 100 年后，答案可能就不同了。所以我認(rèn)為我們正在建造的很多東西都是如此，

就像現(xiàn)實(shí)實(shí)驗(yàn)室、一些人工智能的項(xiàng)目、一些開源的項(xiàng)目，我認(rèn)為具體的產(chǎn)品在不斷發(fā)展，有時(shí)候來(lái)來(lái)去去。但我認(rèn)為人類的進(jìn)步是持續(xù)的，這是我們所有人都能做的很酷的一部分。

Llama 模型什么時(shí)候會(huì)在你自己的定制芯片上進(jìn)行訓(xùn)練？

很快，不是 Llama 4。我們的方法是，首先，我們基本上構(gòu)建了可以處理排名和推薦類型內(nèi)容推理的定制芯片。所以卷軸、新聞提要、廣告，這些都消耗了大量的 GPU。但是當(dāng)我們能夠?qū)⑵滢D(zhuǎn)移到我們自己的芯片上時(shí)，我們現(xiàn)在能夠使用更昂貴的 NVIDIA GPU 進(jìn)行訓(xùn)練。所以在某個(gè)時(shí)候，我們希望有自己的芯片，我們可以用它來(lái)先訓(xùn)練一些簡(jiǎn)單的東西，然后最終訓(xùn)練這些非常大的模型。但與此同時(shí)，我想說(shuō)這個(gè)項(xiàng)目進(jìn)展得相當(dāng)順利。我們正在有條不紊地推出這項(xiàng)計(jì)劃，并制定了長(zhǎng)期路線圖。

最后一個(gè)問題。這完全出乎意料：如果您成為 Google+ 的首席執(zhí)行官，您能讓它發(fā)揮作用嗎？

Google Plus？哦。好吧，我不知道。我不知道。這是一個(gè)非常困難的反事實(shí)。

好的，那么真正的最后一個(gè)問題是，當(dāng) Gemini 推出時(shí)，辦公室里有人有沒有可能說(shuō)XXX？

不，我認(rèn)為我們現(xiàn)在更溫和了。

很酷。太棒了，馬克。

是的，我不知道。這是個(gè)好問題。我不知道。問題是 Google+ 沒有首席執(zhí)行官。它就像公司內(nèi)部的一個(gè)部門。

我認(rèn)為你之前問過(guò)，什么是最稀缺的商品。我實(shí)際上認(rèn)為對(duì)于大多數(shù)公司來(lái)說(shuō)，它都是這種規(guī)模，至少它是重點(diǎn)，就像當(dāng)你剛成立一家公司時(shí)，你可能會(huì)受到更多資金的限制。您可能只是在探索一個(gè)想法，而且可能并沒有所有的資源。我認(rèn)為在某個(gè)時(shí)刻，你會(huì)跨越一些門檻，你所做的事情的性質(zhì)將決定你在構(gòu)建多個(gè)項(xiàng)目時(shí)，如何在它們之間創(chuàng)造更多的價(jià)值。然而，你會(huì)變得更加受限，無(wú)法控制如何順利進(jìn)行。總會(huì)有一些情況，組織中會(huì)發(fā)生一些隨機(jī)的、令人驚喜的事情，這些事情我甚至都無(wú)法預(yù)知。

這是一件好事。但我認(rèn)為總的來(lái)說(shuō)，組織的能力在很大程度上受到首席執(zhí)行官和管理團(tuán)隊(duì)能夠監(jiān)督和管理的內(nèi)容的限制。我認(rèn)為這一直是我們關(guān)注的重點(diǎn)。我想引用本·霍洛維茨的話，我們應(yīng)該把主要的事情放在首位，并盡量專注于你的關(guān)鍵優(yōu)先事項(xiàng)。

非常好，非常感謝。馬克，你做得太棒了。