未經(jīng)許可請勿轉(zhuǎn)載,保留原文出處鏈接和公眾號按鈕
![]()
文:天空之城·城主
最近幾天,Stripe創(chuàng)始人Patrick Collison與NVIDIA的首席執(zhí)行官黃仁勛同臺現(xiàn)場訪談,他是科技行業(yè)任職時(shí)間最長的CEO,已經(jīng)擔(dān)任了31年。
黃仁勛強(qiáng)調(diào),做偉大的事情并不容易,需要付出努力和承受困苦。他分享了自己作為移民的經(jīng)歷,以及父母如何通過努力工作教給他們?nèi)松?jīng)驗(yàn)。從小就開始工作的黃仁勛,無論是清潔浴室還是在餐館工作,始終堅(jiān)持盡自己最大的努力去做好每一件事。
作為NVIDIA的CEO,黃仁勛領(lǐng)導(dǎo)著一個(gè)60人的團(tuán)隊(duì),他堅(jiān)信這是最佳的管理實(shí)踐,盡管這在傳統(tǒng)觀念中并不被普遍接受。他強(qiáng)調(diào)信息的重要性,認(rèn)為每個(gè)人都應(yīng)該有平等獲取信息的權(quán)利,這樣才能賦予他們權(quán)力。黃仁勛反對一對一的談話,而是傾向于在所有人面前進(jìn)行討論和反饋,因?yàn)樗J(rèn)為這樣可以讓每個(gè)人都從中學(xué)習(xí)。
談到公司的層級結(jié)構(gòu),黃仁勛認(rèn)為CEO的直屬員工應(yīng)該有60人,這樣可以減少公司的層級數(shù)量。他不鼓勵(lì)一對一的交流,而是希望每個(gè)人都能了解公司的情況。此外,黃仁勛表示他不喜歡解雇員工,寧愿提高員工的能力,給他們學(xué)習(xí)和進(jìn)步的機(jī)會(huì)。他相信每個(gè)人都有可能做出偉大的事情,只需要給他們機(jī)會(huì)。
在談到堅(jiān)持不懈的精神時(shí),黃仁勛鼓勵(lì)不要放棄,因?yàn)閭ゴ蟮某删涂赡芫驮谘矍啊K窒砹俗约旱慕?jīng)驗(yàn),描述了如何在一夜之間實(shí)現(xiàn)了重大突破。對于工作與生活的平衡,黃仁勛認(rèn)為他做得很好。他每天都在工作,即使在休息時(shí)間也在思考工作。他強(qiáng)調(diào)了工作的不確定性和需要解決問題的重要性,并分享了他的日常生活,包括早起習(xí)慣和對GPU的癡迷。
展望未來,尤其是人工智能的發(fā)展,黃仁勛強(qiáng)調(diào)了創(chuàng)新和創(chuàng)造新事物的重要性,而不僅僅是關(guān)注市場份額。他提出了"零到十億美元的市場"這一概念,即一個(gè)以前從未存在過的市場,需要通過創(chuàng)新和創(chuàng)造新事物來實(shí)現(xiàn)。黃仁勛認(rèn)為,未來幾十年我們將要?jiǎng)?chuàng)造的大部分價(jià)值可能不受物質(zhì)事物的限制。他還強(qiáng)調(diào),NVIDIA的使命是增加互聯(lián)網(wǎng)的GDP,而不僅僅是關(guān)注已有的交易和業(yè)務(wù)。
在決策過程中,黃仁勛重視直覺和推理,而不是依賴電子表格。他認(rèn)為,文字是推理的載體,可以幫助我們理解直覺以及為什么某些問題重要且難以解答。黃仁勛熱衷于解決困難問題,因?yàn)檫@需要大量的時(shí)間和專注力。這種挑戰(zhàn)性的工作可能不會(huì)立即得到他人的注意,但他仍然堅(jiān)持下去。
NVIDIA最重要的創(chuàng)新之一是CUDA,它源自兩個(gè)想法:加速計(jì)算和統(tǒng)一驅(qū)動(dòng)程序架構(gòu)(UDA)。加速計(jì)算通過I.O.設(shè)備加速應(yīng)用程序,而UDA允許程序員直接對I.O.設(shè)備進(jìn)行編程。NVIDIA還嘗試讓GPU更易于高級編程語言編程,因此發(fā)明了CG,但其編程模型并不完全正確,所以他們進(jìn)行了擴(kuò)展,發(fā)明了CUDA。
盡管CUDA的創(chuàng)新一開始并未立即帶來成功,反而導(dǎo)致了一場災(zāi)難,增加了芯片成本,卻沒有應(yīng)用程序,導(dǎo)致無法為此收取額外費(fèi)用,進(jìn)而影響了毛利率。但黃仁勛仍然堅(jiān)信CUDA的價(jià)值,因?yàn)樗J(rèn)為加速計(jì)算將能夠解決普通計(jì)算機(jī)無法解決的問題。他堅(jiān)信NVIDIA的使命和機(jī)會(huì),認(rèn)為分析師們的判斷是錯(cuò)誤的,他們并未真正欣賞NVIDIA所建造的東西。盡管CUDA的創(chuàng)新過程充滿了困難,但黃仁勛始終堅(jiān)守自己所信仰的東西。
黃仁勛認(rèn)為,CUDA可能是現(xiàn)代計(jì)算領(lǐng)域最重要的發(fā)明之一,它表明程序的一小部分代碼占用了99.999%的運(yùn)行時(shí)間,對于許多非常重要的應(yīng)用程序來說確實(shí)如此。NVIDIA的想法是利用那個(gè)內(nèi)核,那個(gè)軟件的一部分,并加速它。如果不加速每個(gè)軟件,就會(huì)看到非同尋常的計(jì)算膨脹。
在直覺與固執(zhí)之間,黃仁勛認(rèn)為每個(gè)人都需要找到平衡點(diǎn),而這條界線往往模糊不清。他強(qiáng)調(diào)需要對直覺進(jìn)行檢查,推理策略時(shí)所依據(jù)的首要原則,這些原則很容易記住,而且并不是一個(gè)很長的清單。需要不斷地進(jìn)行直覺檢查,從第一原則出發(fā),而不是固執(zhí)地堅(jiān)持自己的想法。同時(shí),他也提醒要保持聰明和警覺,因?yàn)樾碌墓竞蜋C(jī)會(huì)正在不斷涌現(xiàn)。
黃仁勛分享了NVIDIA如何找到將CUDA貨幣化的方法,即使是小規(guī)模的貨幣化。他們尋找并發(fā)現(xiàn)了與CT重建、地震處理和分子動(dòng)力學(xué)相關(guān)的應(yīng)用程序,雖然這些嘗試并未完全成功,但足以支撐他們并贏得時(shí)間,讓他們實(shí)現(xiàn)目標(biāo)。
談到人工智能的未來,黃仁勛預(yù)測未來五年全球GPU的總計(jì)算能力將大幅增長。他強(qiáng)調(diào)了通用計(jì)算的局限性,認(rèn)為未來的數(shù)據(jù)中心和計(jì)算機(jī)將成為加速服務(wù)器。他還提出了一個(gè)新概念——Token,這是一種代表智能的浮點(diǎn)數(shù),可以被轉(zhuǎn)化為各種形式,如英語、法語、蛋白質(zhì)、化學(xué)物質(zhì)、圖形、圖像、視頻等。黃仁勛預(yù)測,未來將大量生產(chǎn)Token,這將催生新的產(chǎn)品和服務(wù),提升各行各業(yè)的生產(chǎn)力。
此外,黃仁勛對Meta發(fā)布的開源模型Llama 3表示贊賞,認(rèn)為ChatGPT和Llama系列模型分別實(shí)現(xiàn)了計(jì)算和生成式AI的民主化。他還討論了AGI(人工智能)的定義和預(yù)測其出現(xiàn)的時(shí)間,認(rèn)為如果按照當(dāng)前的基準(zhǔn)列表定義,AGI可能在未來五年內(nèi)實(shí)現(xiàn)。最后,黃仁勛強(qiáng)調(diào)了AI在企業(yè)中的重要性,認(rèn)為沒有積極采用AI的公司可能會(huì)被使用AI的公司淘汰,并分享了NVIDIA如何利用AI改進(jìn)芯片設(shè)計(jì)和軟件編寫的例子。
對于NVIDIA作為一家大型AI公司的未來,黃仁勛認(rèn)為,盡管擁有一個(gè)超級模型可以幫助推理一般事物,但對于擁有特定領(lǐng)域?qū)I(yè)知識的公司來說,他們需要訓(xùn)練自己的模型,因?yàn)閷S姓Z言的微小差異可能會(huì)產(chǎn)生重大影響。
最后,黃仁勛談到了NVIDIA的市值和員工數(shù)量,以及他對工藝重要性的看法。他認(rèn)為,盡管可以通過卓越運(yùn)營做出好東西,但只有通過精心呵護(hù)和關(guān)愛才能做出非凡的東西。這一點(diǎn)與Stripe創(chuàng)始人帕特里克的觀點(diǎn)不謀而合,他強(qiáng)調(diào)工藝和美感的重要性,盡管這并不直接滿足客戶的具體需求。
以下是訪談全文的天空之城書面整理版:
Patrick:
各位下午好。今天下午的主題演講或爐邊談話,我將介紹一位眾所周知的人物。然而,你可能不知道的一個(gè)有趣的事實(shí)是,他已經(jīng)擔(dān)任NVIDIA首席執(zhí)行官31年,這使他成為科技行業(yè)任職時(shí)間最長的首席執(zhí)行官,這是合乎邏輯的。
因此,我和John只做了14年,即使我們的時(shí)間翻倍,我們也無法趕上他。我們將在臺上討論Jensen Huang曾經(jīng)在肯塔基州的奧奈達(dá)浸信會(huì)學(xué)院就讀的事情,這個(gè)問題我們肯定會(huì)提到。
在1993年創(chuàng)立NVIDIA之前,他在俄勒岡州立大學(xué)、Denny's、LSI Logic和AMD工作過,AMD現(xiàn)在由他的表妹經(jīng)營,我們肯定會(huì)提到這個(gè)問題。2011年Stripe推出時(shí),NVIDIA的市值為80億美元,而現(xiàn)在,NVIDIA的市值已經(jīng)是當(dāng)時(shí)的200多倍,所以從那以后他一直很忙。
歡迎Jensen Huang(黃仁勛)上臺。
黃仁勛:大家好。
Patrick:你剛才看了主題演講。那么,告訴我們主題演講表現(xiàn)如何?
黃:
你完美地解釋了公司的目標(biāo)、激勵(lì)你們的因素、推動(dòng)你們前進(jìn)的因素、讓你們?nèi)绱伺ぷ鞯囊蛩亍⒛銈兎?wù)的生態(tài)系統(tǒng)、你們構(gòu)建的令人難以置信的平臺以及你們對世界經(jīng)濟(jì)做出的驚人貢獻(xiàn)。有一大堆我完全不懂的技術(shù)、功能和金錢方面的東西,比如CYK之類的東西。那是什么?
Patrick:
KYC,對,這在我們的世界中是一件大事。
我所欣賞的部分是,你從一開始就意識到金融支付其實(shí)是關(guān)于代碼,而非金融。我覺得這個(gè)觀點(diǎn)令人難以置信。
大約18個(gè)月前,那是我們上次交談后的幾年。他對Stripe的最新情況有些好奇,我就給他做了解釋。你說,哦,所以它就像是軟件定義的網(wǎng)絡(luò),但是針對的是金錢。這個(gè)觀點(diǎn)一直在我腦海中回蕩。
這就是我們想到軟件定義金融服務(wù)的想法的起源。因此,我希望我們不必為此支付許可費(fèi)。你并沒有因?yàn)檫@個(gè)好主意而獲得股權(quán)。
黃:好吧,你們做得很好。我一直在思考這個(gè)問題。
Patrick:
昨天的特斯拉收益報(bào)告當(dāng)然是重要的。埃隆·馬斯克宣布,我認(rèn)為特斯拉今年年底將生產(chǎn)85,000輛H100。我只是在思考,建立一個(gè)讓CEO們相互競爭,宣布誰花更多的錢購買你的產(chǎn)品的企業(yè),這是相當(dāng)成功的。因此,我認(rèn)為你做了一件非常了不起的事情。
但是,我想先談?wù)勀阕罱谒固垢;顒?dòng)上發(fā)表的言論。你說,我希望你有足夠的痛苦和折磨。請?jiān)敿?xì)說明一下。
黃:
好吧,讓我們看看。這是一個(gè)誤解。有一句話說你應(yīng)該根據(jù)你的激情來選擇你的職業(yè)。通常,人們把激情和幸福聯(lián)系在一起。我認(rèn)為這里缺少了一些東西。沒有什么不對,但是缺少了一些東西。這樣做的原因是,如果你想做偉大的事情,我知道這對你創(chuàng)建Stripe來說是正確的。
順便說一句,他是世界上最優(yōu)秀的首席執(zhí)行官之一,盡管他很年輕。你們知道我見過很多首席執(zhí)行官。我聽說過很多公司。而這確實(shí)是世界上最有遠(yuǎn)見的公司之一。所以無論如何,我只想說。這就是我來這里的原因。我只是喜歡……
Patrick:不允許再贊美了。這讓我們非常不舒服。
黃:我知道。我能看到他。他開始出汗了。
所以問題是,當(dāng)你想要?jiǎng)?chuàng)造一些偉大的東西時(shí),這并不容易。當(dāng)你做一些不容易做的事情時(shí),你并不總是喜歡它。我并不是每天都喜歡我的工作。我不認(rèn)為每天都能給我?guī)砜鞓罚鞓芬膊灰欢ň褪呛萌兆拥亩x。我并不是每天都開心。每年我都不滿意公司的工作。但我每一秒都喜歡公司。所以我認(rèn)為人們誤解了最好的工作是能一直給你帶來快樂的工作。我不認(rèn)為那是對的。你必須受苦。你必須全力以赴,你必須付出努力。你必須去做那些艱難的事情,并且努力去完成它,這樣你才能真正欣賞你所做的一切。沒有任何偉大的事情是容易實(shí)現(xiàn)的。因此,根據(jù)這個(gè)定義,我會(huì)說,我希望你能夠變得偉大,用我的話來說,我希望你能夠經(jīng)歷困苦。
Patrick:那么,你的成長經(jīng)歷是否教會(huì)了你這個(gè)觀念,還是這只是你的天性使然?
黃:
我從未想過我必須為此付出代價(jià)。我即將告訴你一些我從未告訴過任何人的事情,甚至我的家人也沒有告訴過。我是一個(gè)移民。1973年我來到這里時(shí),我只有9歲。我的哥哥快11歲了。這是一個(gè)陌生的國家,這絕對不是一件容易的事情。我們的父母非常非常好,但我們并不富裕。因此,他們努力工作,他們至今仍在努力工作。因此,他們通過努力工作傳授了我們很多人生經(jīng)驗(yàn)。
現(xiàn)在,我做過各種各樣的工作,我們在學(xué)校里也有很多家務(wù)活。是在肯塔基州的奧奈達(dá)浸信會(huì)學(xué)院嗎?我不認(rèn)為它和麻省理工學(xué)院一樣,雖然是同一個(gè)詞,但是它們是不同類型的學(xué)院。但我的學(xué)院要求你去上學(xué),那是一所宿舍學(xué)院,所以有很多家務(wù)活。
我是學(xué)校里最小的孩子,所以其他孩子都得干苦力活,他們得在煙草農(nóng)場干活。而我干的是輕松的工作,我當(dāng)時(shí)九歲。所以他們走后,我就得打掃所有的浴室。我從未覺得自己的工作很輕松,因?yàn)樗麄兞粝碌氖悄銦o法忽視的東西。但那是我的工作,那是我的工作,所以我很愉快地完成了它。然后我做了很多其他工作,Denny's就是其中之一。我從洗碗工做起,成為餐館服務(wù)生,然后成為服務(wù)員。我喜歡他們每一個(gè)人,我喜歡他們每一個(gè)人。
不知何故,我總是發(fā)現(xiàn),我想說快樂,但那并不完全正確。我所做的每一件事,我都想盡我所能做到最好。也許這從一開始就根深蒂固。但我肯定是世界上最好的浴室清潔工。
Patrick:
那么,如果我們快進(jìn)一點(diǎn)到今天的NVIDIA,你的領(lǐng)導(dǎo)團(tuán)隊(duì)有多大?你的領(lǐng)導(dǎo)團(tuán)隊(duì)有多大?
黃:NVIDIA的領(lǐng)導(dǎo)團(tuán)隊(duì)有60多人。
Patrick:60人。他們都向你匯報(bào)嗎?
黃:是的,他們都向我匯報(bào)。60名直接下屬。
Patrick:
60名直接下屬。這在傳統(tǒng)上不被認(rèn)為是最佳實(shí)踐。我同意最佳實(shí)踐有點(diǎn)……
黃:
我確信那是最佳實(shí)踐。這不是傳統(tǒng)的,但我確信那是最佳實(shí)踐。到最后,我會(huì)說服你們所有人,讓60人成為你們的直接下屬。各位可以自由發(fā)表意見。首先,我要強(qiáng)調(diào)的是,貴公司的層級結(jié)構(gòu)的確至關(guān)重要。信息的重要性無需多言。我個(gè)人認(rèn)為,你對工作的貢獻(xiàn)不應(yīng)僅僅基于你對信息的特權(quán)訪問。我并不進(jìn)行一對一的談話,因?yàn)槲业膯T工眾多。我所說的幾乎所有事情,我都會(huì)同時(shí)告訴所有人。這是因?yàn)槲覉?jiān)信,我所處理的任何信息都不應(yīng)只有一兩個(gè)人知道。無論是公司面臨的挑戰(zhàn),我試圖解決的問題,還是我們試圖進(jìn)入的方向,這些都是新的嘗試。有些行得通,有些行不通。因此,所有這類信息,每個(gè)人都應(yīng)該能夠聽到。
我希望每個(gè)人都在同一首歌里工作,沒有特權(quán)訪問信息,我們都能為解決問題做出貢獻(xiàn)。當(dāng)你在一個(gè)房間里有60個(gè)人時(shí),通常,我的員工會(huì)議每隔一周舉行一次。一切都基于問題,無論我們遇到什么問題。每個(gè)人都在同一時(shí)間處理它。每個(gè)人都聽到了問題的理由,解決方案的理由,每個(gè)人都聽到了一切。這樣就賦予了人們權(quán)力。我相信,當(dāng)你讓每個(gè)人都平等地獲取信息時(shí),它就賦予了人們權(quán)力。所以這是第一點(diǎn),賦權(quán)。
第二點(diǎn),如果CEO的直屬員工有60人,你在公司中移除的層級數(shù)量可能大約是七層,這取決于公司的情況。每一層都是60個(gè),還是只有60個(gè)?比如,如果我是主管,如果我是幸運(yùn)的60人之一,我是否也有60個(gè)直接下屬?答案是否定的。我也不認(rèn)為這是向下擴(kuò)展的。原因是,根據(jù)某些級別,你需要越來越多的監(jiān)督。而在e-staff級別,如果你不幸在NVIDIA的e-staff中任職,那么你不太可能需要很多管理。
Patrick:
所以我很少發(fā)現(xiàn)自己必須堅(jiān)持傳統(tǒng)觀點(diǎn)。但如果我是另一邊的鋼鐵俠,我會(huì)說,一對一是你提供指導(dǎo)的地方,你們可以一起討論目標(biāo)、個(gè)人目標(biāo)、職業(yè)發(fā)展,你有什么,也許你會(huì)對你看到某人系統(tǒng)性地做得不太好的事情提供反饋,等等。所以,所有這些事情都是在一對一的情況下按照慣例應(yīng)該做的。你不做這些事情,還是你以不同的方式做?
黃:
這個(gè)問題問得真好。我就是這么做的。我在所有人面前給你反饋。
事實(shí)上,這真的是一件大事。首先,反饋就是學(xué)習(xí)。為什么你是唯一應(yīng)該學(xué)習(xí)這一點(diǎn)的人?現(xiàn)在,你因?yàn)樽约悍傅囊恍╁e(cuò)誤或自己帶來的愚蠢行為創(chuàng)造了條件。我們都應(yīng)該從這個(gè)機(jī)會(huì)中學(xué)習(xí)。所以你創(chuàng)造了條件,但我們都應(yīng)該從中學(xué)習(xí)。這有意義嗎?所以對我來說,向你解釋為什么這沒有意義或者我與它有何不同,不是因?yàn)槲矣袝r(shí)間,我是不對的。對我而言,公開進(jìn)行推理對每個(gè)人學(xué)習(xí)推理的方式有所幫助。然而,我在一對一交流和反饋方面遇到的問題是,你無法從大眾中獲得反饋。從錯(cuò)誤中學(xué)習(xí),別人的錯(cuò)誤是最好的學(xué)習(xí)方式。那么,為什么我們要從自己的錯(cuò)誤中學(xué)習(xí)呢?為什么我們要從自己的尷尬中吸取教訓(xùn)呢?實(shí)際上,你必須從別人的尷尬中吸取教訓(xùn)。這就是我們進(jìn)行案例研究的原因,不是嗎?我們試圖從他人的災(zāi)難、他人的悲劇中吸取教訓(xùn)。沒有什么比這更讓我們感到滿足的了。
Patrick:
你是否成功讓NVIDIA的其他領(lǐng)導(dǎo)者采用這種做法,或者這是否很難?
黃:
我給人們機(jī)會(huì)去解讀自己,但我并不鼓勵(lì)一對一的交流。沒有什么比有人說“哦,Jensen希望我們這樣做”更糟糕的了。為什么必須對任何人說呢?每個(gè)人都應(yīng)該知道。所以,或者有人說,那個(gè)e-staff這么說過。沒有什么比這更讓我抓狂的了。
Patrick:
你曾經(jīng)告訴我,你真的不喜歡解雇人,而且很少這么做。你能詳細(xì)說明一下嗎?
黃:
好吧,我寧愿提高你,也不愿放棄你。當(dāng)你解雇某人時(shí),你其實(shí)是在說,很多人會(huì)說,這不是你的錯(cuò)。或者我做了錯(cuò)誤的選擇。工作機(jī)會(huì)很少。看,我以前是清潔浴室的,現(xiàn)在是一家公司的首席執(zhí)行官。我認(rèn)為你可以學(xué)會(huì)。我非常肯定你可以學(xué)會(huì)這一點(diǎn)。我相信生活中有很多東西你可以學(xué)會(huì),你只需要有機(jī)會(huì)去學(xué)習(xí)。
我有幸看到很多聰明人做很多事情。我周圍有60個(gè)人。他們一直在做聰明的事情。他們可能沒有意識到這一點(diǎn),但我不斷地向他們每個(gè)人學(xué)習(xí)。所以我不喜歡因?yàn)槲艺J(rèn)為他們可以進(jìn)步而放棄別人。所以這有點(diǎn)諷刺,但人們知道我寧愿折磨他們,讓他們變得偉大。那是我希望發(fā)現(xiàn)的短語。是的,我記得你提到過。是的,所以我寧愿折磨你,讓你變得偉大,因?yàn)槲蚁嘈拍恪?/p>
我認(rèn)為真正相信自己球隊(duì)的教練會(huì)用盡全力讓他們?nèi)〉脗ゴ蟪删汀6液芏鄷r(shí)候,他們離偉大就這么近了。不要放棄。他們離偉大就這么近了。偉大,突然有一天就來了,我得到了它。你知道我在說什么嗎?那種感覺,你昨天沒有得到它,突然有一天,我明白了,我得到了它。你能想象你在得到它之前的那一刻放棄了嗎?所以我不希望你放棄。所以讓我們繼續(xù)折磨你吧。
Patrick:
你的工作與生活平衡得怎么樣?
黃:
這取決于你問誰。我認(rèn)為我的工作與生活平衡非常好。真的很棒。我盡我所能工作。我有種感覺,他在對我進(jìn)行評價(jià)
Patrick:
這些都是我們對話中的亮點(diǎn),我認(rèn)為應(yīng)該讓更多的人聽到。
黃:
從我醒來的那一刻到我上床睡覺的那一刻,我都在工作。我每周工作七天。當(dāng)我不在工作時(shí),我會(huì)思考工作。當(dāng)我在工作時(shí),我就在工作。因此,我看電影,但我記不住,因?yàn)槲以谙牍ぷ鳌N业墓ぷ鞑⒉皇且怀刹蛔兊模]有固定的模式,因?yàn)榭傆袉栴}需要你去解決。你在思考公司可以成為什么,我們是否可以做得更好,或者有時(shí)只是試圖解決一個(gè)問題。但有時(shí)你會(huì)想象未來,如果我們這樣做,那樣做,而且它有效,你在幻想,你在做夢,這真是太不可思議了。
Patrick:
為了具體化這一點(diǎn),我們將討論人工智能,我聽說這現(xiàn)在是一件大事,而且,確實(shí),它是一件大事。但為了具體化這一點(diǎn),比如詹森的一天是什么樣的?
黃:
我以前五點(diǎn)起床。現(xiàn)在我六點(diǎn)起床,因?yàn)槲业墓贰V允橇c(diǎn),是因?yàn)槲覀儾恢趺淳蜎Q定六點(diǎn)是它們起床的時(shí)間,但我不知道具體時(shí)間是什么時(shí)候。我不介意叫醒任何人,但當(dāng)我叫醒小狗時(shí),我會(huì)感到內(nèi)疚。這實(shí)際上給我?guī)砹素?fù)擔(dān),所以我不想動(dòng)。它們可能會(huì)感受到房子里的任何振動(dòng),從而被吵醒。所以我們就呆在床上,我只是在床上看書,直到六點(diǎn)鐘,時(shí)間到了。當(dāng)然。我對 GPU 很著迷。
然后我想,一整天都是小組會(huì)議,因?yàn)椴荒苁且粚σ坏臅?huì)議。是的,我在上班前完成工作,然后當(dāng)我上班時(shí)……
Patrick:通常一天要開多少次會(huì)議?
黃:
幾乎一整天,所以我選擇對我來說真正重要的會(huì)議。我盡量不定期開會(huì),不定期召開運(yùn)營會(huì)議,因?yàn)楣纠镉泻芏嗪馨舻娜耍麄儠?huì)定期召開運(yùn)營會(huì)議。所以我們應(yīng)該是替補(bǔ),首席執(zhí)行官是替補(bǔ)。我們應(yīng)該致力于別人無法或無人能及的事情。因此,你會(huì)跳入停滯不前或偏離軌道的項(xiàng)目或新想法。只要我們能推動(dòng)事情發(fā)展。沒有報(bào)告,沒有報(bào)告會(huì)議。我討厭報(bào)告會(huì)議。他們不想向我匯報(bào)。只有問題會(huì)議。因此,問題會(huì)議、創(chuàng)意會(huì)議、頭腦風(fēng)暴會(huì)議、創(chuàng)造會(huì)議或任何其他會(huì)議,這些都是我要參加的會(huì)議。所以我通常會(huì)打電話給他們。我非常努力不讓 Outlook 管理我的生活。因此,我們有目的地決定我們想要做什么,我們想要做什么。因此,我曾嘗試過過一種有目的的生活,并相應(yīng)地管理我的時(shí)間。
Patrick:
你曾經(jīng)提到過一個(gè)詞語,"零億美元的市場",這是你最喜歡的市場。你是什么意思?
黃:
如果你退一步來看,我們的目的,幾乎所有的目的都應(yīng)該是去做一些以前從未做過的事情,一些非常難做的事情。如果你做到了,就可以做出真正的貢獻(xiàn)。我知道你的公司就是這樣做的。我也試著這樣做。
如果是這樣的話,以前沒有做過,做起來非常困難,很可能,而且以前從未做過,這個(gè)市場的規(guī)模可能為0億美元,因?yàn)樗郧皬奈醋鲞^。我寧愿做市場制造者、市場創(chuàng)造者,而不是市場接受者。創(chuàng)造以前從未存在過的新事物,而不是考慮份額。我不喜歡考慮份額。我不喜歡份額的概念。
原因是,如果你從大局來看,Stripe是憑空而來的。你憑空創(chuàng)造了一些東西。這并不是說還有其他東西。所以我認(rèn)為我們能夠想出一個(gè)零億美元的方案。而零億美元的市場是讓公司思考如何創(chuàng)造新事物的好方法。
Patrick:
所以我們的使命是增加互聯(lián)網(wǎng)的GDP。互聯(lián)網(wǎng)的GDP,通常是一個(gè)最受關(guān)注的條款。但我認(rèn)為最重要的部分是動(dòng)詞“增長”。因?yàn)椋缒闼f,我們不應(yīng)該考慮哪些是已經(jīng)發(fā)生的交易,哪些是已經(jīng)存在的業(yè)務(wù)。我們應(yīng)該考慮哪些是不存在的交易,哪些是不存在的業(yè)務(wù)。
世界GDP約為100萬億美元,但不一定非要達(dá)到100萬億美元。可能是200萬億美元或1,000萬億美元。
黃:
完全正確。完全正確。未來幾十年我們將要?jiǎng)?chuàng)造的大部分價(jià)值可能不受物質(zhì)事物的限制。所以這是一個(gè)相當(dāng)不平凡的時(shí)期。
Patrick:
因此,對于零億美元市場的概念,如果我再次回到NVIDIA,我會(huì)帶著某個(gè)項(xiàng)目的提案來找你,也許涉及數(shù)十億美元的資本支出,或者,這是一個(gè)多年的追求,但目前沒有客戶,也沒有我可以證明的需求,而你們只是憑直覺說,是的,今天沒有人這樣做,我們認(rèn)為他們可以,我們認(rèn)為他們應(yīng)該,因此我們會(huì)追求它。非常接近,是的。有點(diǎn)像那樣。
黃:
這是一種直覺,因?yàn)槟愕闹庇X會(huì)說出一些作為起始論點(diǎn)的東西。但然后你必須對其進(jìn)行推理。對我來說,它的推理比電子表格重要得多。我討厭電子表格,因?yàn)槟憧梢宰岆娮颖砀褡鋈魏文阆胱龅氖虑椤D憧梢杂秒娮颖砀裰谱魅魏文阆胍膱D表。你只需要輸入一些數(shù)字。因此,我不喜歡電子表格。因此,我對文字有著深厚的喜愛。文字,就是推理的載體。請告訴我,你是如何進(jìn)行推理的?我們的直覺又是什么?為什么我們會(huì)認(rèn)為這些問題重要?又為何我們會(huì)覺得這些問題難以解答?
我喜歡面對困難,因?yàn)榻鉀Q困難問題往往需要花費(fèi)大量的時(shí)間。如果一個(gè)問題需要很長時(shí)間才能解決,那么那些不夠投入的人可能就不會(huì)去嘗試。如果一個(gè)問題真的很難解決,那么解決它就需要花費(fèi)大量的時(shí)間。只有那些堅(jiān)韌、專注、投入的人才會(huì)去追求解決它。如果解決一個(gè)問題需要很長時(shí)間,你可能會(huì)在這個(gè)過程中掙扎幾年,但可能沒有人會(huì)注意到,你知道嗎?所以,我可能會(huì)在這個(gè)過程中掙扎幾年,每個(gè)人都會(huì)說,好吧,誰看到了?
Patrick:那么,CUDA是從哪里來的呢?
黃:
好的,CUDA最初源自兩個(gè)想法。一個(gè)是我們創(chuàng)造、開創(chuàng)了這個(gè)叫做加速計(jì)算的想法。加速計(jì)算就像一個(gè)I.O.設(shè)備,即位于PCI Express上的設(shè)備,如果有人從事計(jì)算機(jī)行業(yè),那么他們就會(huì)知道,I.O.設(shè)備允許應(yīng)用程序與該I.O進(jìn)行交互,以某種方式加速應(yīng)用程序的各個(gè)部分。
UDA是1993年的一項(xiàng)發(fā)明,它是一項(xiàng)真正意義深遠(yuǎn)的發(fā)明,它允許軟件程序員直接對I.O進(jìn)行編程。設(shè)備,直接向I.O編寫應(yīng)用程序。設(shè)備,因?yàn)镮.O.設(shè)備是虛擬化的,而且它在架構(gòu)上兼容多代產(chǎn)品,無論如何,我們發(fā)明了這種稱為加速計(jì)算的想法,無論出于什么原因,我們都將其稱為統(tǒng)一驅(qū)動(dòng)程序架構(gòu)。
幾年后,我們認(rèn)為我們可以讓我們的GPU更易于高級編程語言編程,我們發(fā)明了這種稱為CG的想法,C代表圖形。這帶來了一些非常令人興奮的機(jī)會(huì),我們認(rèn)為,你知道嗎,這會(huì)奏效,但CG的編程模型并不完全正確,所以我們進(jìn)行了擴(kuò)展,發(fā)明了CUDA,即計(jì)算。所以無論如何,坦率地說,這是一個(gè)可怕的故事。無論如何,我們發(fā)明了這個(gè)稱為加速計(jì)算的想法,我們開創(chuàng)了這種方法。
Patrick:我想真正的問題是,它是不是一夜之間轟動(dòng)一時(shí)?
黃:不,它一夜之間變成了一場令人難以置信的災(zāi)難。事情是這樣的。
Patrick:這是你追求的0億美元市場之一?這是一場災(zāi)難?
黃:
是的。因?yàn)槲覀冏非蟮氖?億美元,但追求這個(gè)0億美元市場的成本太高了,它實(shí)際上壓垮了我們正在享受的10億美元市場。原因是CUDA給我們的芯片增加了大量成本,但沒有應(yīng)用程序。沒有應(yīng)用程序,產(chǎn)品就無法得到客戶的重視,也無法為此收取額外費(fèi)用。如果客戶不愿意為此付費(fèi),而你的成本卻在上升,那么你的毛利率將會(huì)受到壓力。
我們的市值已經(jīng)降至很低的水平,我估計(jì)我們的市值已經(jīng)跌至約10億美元。我本希望能購買它,但無論如何,這已經(jīng)成為事實(shí)。
Patrick:你是否立即取消了CUDA,回歸了原來的策略?
黃:
不,我堅(jiān)信CUDA的價(jià)值,因?yàn)槲覍Υ诉M(jìn)行了深入的推理。我認(rèn)為加速計(jì)算將能夠解決普通計(jì)算機(jī)無法解決的問題。如果我們想將架構(gòu)擴(kuò)展為更通用的用途,我們就必須做出犧牲。
我深信我們公司的使命和它的機(jī)會(huì)。我堅(jiān)信分析師們的判斷是錯(cuò)誤的,他們并未真正欣賞我們所建造的東西。
Patrick:
盡管分析師、董事會(huì)和員工并未對此進(jìn)行推廣,甚至破壞了現(xiàn)有的收入來源,但你仍然堅(jiān)信這一點(diǎn)。你在兜售一個(gè)似乎沒人真正想要的崇高夢想,跟我們講講你的信仰。
黃:
你可能會(huì)認(rèn)為我在否認(rèn)現(xiàn)實(shí),但我只是在開玩笑。我始終堅(jiān)守我所信仰的東西。
Patrick:即使董事會(huì)對你施加壓力...
黃:
我每次與他們的談話都會(huì)以我深信不疑的事物作為開端。他們之所以相信它,是因?yàn)樗麄兛吹轿覍Υ说膱?jiān)信。我對此進(jìn)行了深入的推理,這并不像電子表格那樣簡單。你必須相信電子表格,他們必須留下推理,留下文字。這個(gè)過程大約花了10年的時(shí)間,這個(gè)時(shí)間段來了又去,占據(jù)了我任期的三分之一。我?guī)缀跻呀?jīng)忘記了那種痛苦。
Patrick:
如果沒有CUDA,NVIDIA能在AI領(lǐng)域取得同樣的成功嗎?
黃:
不,這是不可能的。CUDA可能是現(xiàn)代計(jì)算領(lǐng)域最重要的發(fā)明之一。我們發(fā)明了這種稱為加速計(jì)算的想法,這個(gè)想法非常簡單,但意義深遠(yuǎn)。它表明,程序的一小部分代碼占用了99.999%的運(yùn)行時(shí)間,這對于許多非常重要的應(yīng)用程序來說,情況確實(shí)如此。那個(gè)小內(nèi)核,或者說,幾個(gè)內(nèi)核,我都可以加速。而且它們往往不僅僅是并行處理,它沒有那么簡單。但我們的想法是,我們可以利用那個(gè)內(nèi)核、那個(gè)軟件的一部分,并加速它。今天,摩爾定律正在發(fā)揮作用,CPU的擴(kuò)展基本停止了,如果我們不加速每個(gè)軟件,你就會(huì)看到非同尋常的計(jì)算膨脹。世界每年的計(jì)算量仍在以指數(shù)級別增長。然而,如果因?yàn)槟撤N原因,CPU和通用計(jì)算機(jī)無法提高性能,那么我們應(yīng)該尋找什么樣的替代方案?這是我們現(xiàn)在需要考慮的問題。每個(gè)人都在經(jīng)營自己的企業(yè),都在尋求加速發(fā)展。
Patrick:
可能每個(gè)人都有自己的 CUDA 版本,他們認(rèn)為這個(gè)版本對他們的行業(yè)或技術(shù)有實(shí)質(zhì)性的意義,但市場尚未看到它。你是否認(rèn)為有可能提取出一些可推廣的原則,來指導(dǎo)我們何時(shí)應(yīng)該堅(jiān)定地信任這個(gè)愿景,何時(shí)應(yīng)該重新考慮?我們是否可以從 CUDA 和 NVIDIA 的歷史中,以及其他 CUDA 的存在情況中,推斷出這些原則?
黃:
問題在于,我們需要在決心和承諾與固執(zhí)之間找到平衡,而這條界線往往模糊不清。
我每天都在審視自己內(nèi)心的核心信念,我會(huì)繼續(xù)這樣做。你需要對你的直覺進(jìn)行檢查,你推理策略時(shí)所依據(jù)的首要原則,這些原則很容易記住,而且并不是一個(gè)很長的清單。現(xiàn)在的問題是,這些原則是否發(fā)生了根本性的變化?外部條件是否使它們不再像以前那么重要?是否有其他人解決了這個(gè)問題,使得這個(gè)問題現(xiàn)在已經(jīng)消失?或者,這個(gè)問題是否永遠(yuǎn)都不需要解決?你需要不斷地進(jìn)行直覺檢查。
在某種程度上,這是第一點(diǎn),直覺檢查。首先,你必須非常小心地提煉出第一原則,而不是固執(zhí)地堅(jiān)持自己想要什么。你無法推理出“我就是想要”,我們不是五歲的孩子,所以你必須推理出這是第一原則。第二點(diǎn),你必須聰明。事實(shí)上,這里有很多新公司正在創(chuàng)建,令人驚訝的是,觀眾中有這么多偉大的公司,還有年輕的公司。你必須聰明。
我們找到了將 CUDA 貨幣化的方法,即使是小規(guī)模的貨幣化。我們到處尋找應(yīng)用程序,我們發(fā)現(xiàn)了一個(gè)與 CT 重建相關(guān)的應(yīng)用程序,我們發(fā)現(xiàn)了一個(gè)與地震處理相關(guān)的應(yīng)用程序,我們發(fā)現(xiàn)了另一個(gè)與分子動(dòng)力學(xué)相關(guān)的應(yīng)用程序,所以我們一直在尋找應(yīng)用程序。他們沒有成功,但這足以支撐我們,并為我們爭取到了時(shí)間,讓我們真正實(shí)現(xiàn)這一目標(biāo)。
Patrick:
現(xiàn)在,讓我們來談?wù)勅斯ぶ悄堋N艺J(rèn)為,為了在這里做一些數(shù)學(xué)計(jì)算,我們假設(shè)當(dāng)今世界上所有 GPU 的總計(jì)算能力是 X。你認(rèn)為,五年后我們的計(jì)算能力將達(dá)到 X 的多少倍?
黃:
首先,你知道我會(huì)后悔這么說。我是一家上市公司,這個(gè)瘋子。看,私有化有多好?(笑)可以我繼續(xù)詳細(xì)闡述嗎?
讓我們來進(jìn)行一些推理。首先,全球已經(jīng)安裝了價(jià)值約一萬億美元的數(shù)據(jù)中心,這些價(jià)值數(shù)萬億美元的數(shù)據(jù)中心被用于通用計(jì)算。然而,通用計(jì)算已經(jīng)走到了盡頭,我們不能再繼續(xù)以這種方式處理。因此,世界將加速一切,無論是數(shù)據(jù)處理還是其他任何事情。當(dāng)我們加速一切時(shí),每個(gè)數(shù)據(jù)中心、每臺計(jì)算機(jī)都將成為加速服務(wù)器。
如果我們的增長速度為零,那么在未來四年內(nèi),我們將不得不更換價(jià)值約一萬億美元的計(jì)算機(jī)。這個(gè)時(shí)間可以是四年,也可以是六年,取決于你的選擇。但如果計(jì)算機(jī)行業(yè)繼續(xù)以大約20%的速度增長,我們可能不得不在未來幾年內(nèi),無論你選擇多少年,用加速計(jì)算替換價(jià)值約2萬億美元的計(jì)算機(jī)。因此,我們應(yīng)該使用圖形處理器(GPU)。
這是我要闡述的第一點(diǎn)。第二點(diǎn)是,這就是為什么你們所有人,包括Stripe,都在做一件具有里程碑意義的事情。這個(gè)想法,你可能已經(jīng)聽我提到過工業(yè)革命。讓我告訴你為什么。
我們正在首次生產(chǎn)一些以前從未生產(chǎn)過的東西,并且我們正在大量生產(chǎn)它。生產(chǎn)這個(gè)東西需要一種以前從未存在過的新儀器,那就是GPU。我們首次生產(chǎn)的東西,對于在場的數(shù)學(xué)家和所有計(jì)算機(jī)科學(xué)家來說,你們都知道我們正在生產(chǎn)Token。我們歷史上第一次大量生產(chǎn)浮點(diǎn)數(shù),這些浮點(diǎn)數(shù)具有價(jià)值。它們之所以有價(jià)值,是因?yàn)樗鼈兇砹酥悄埽砹巳斯ぶ悄堋D憧梢园堰@些浮點(diǎn)數(shù)重新表述成英語、法語、蛋白質(zhì)、化學(xué)物質(zhì)、圖形、圖像、視頻、機(jī)器人關(guān)節(jié)、方向盤關(guān)節(jié),我們正在大規(guī)模生產(chǎn)Token。
現(xiàn)在,我們已經(jīng)發(fā)現(xiàn)了一種方法,可以通過我們在人工智能方面所做的所有工作,生產(chǎn)幾乎任何類型的Token。因此,世界將大量生產(chǎn)Token。這些Token將在新型數(shù)據(jù)中心生產(chǎn),我們稱之為AI工廠。
在上一次工業(yè)革命中,水進(jìn)入機(jī)器,你點(diǎn)燃水,把它變成蒸汽,然后它變成電子。原子進(jìn)來,電子出去。在這場新的工業(yè)革命中,電子進(jìn)來,浮點(diǎn)數(shù)出來。就像上一次工業(yè)革命一樣,沒有人理解為什么這種電力如此有價(jià)值,現(xiàn)在以千瓦時(shí)每美元的價(jià)格出售和營銷。所以現(xiàn)在我們每美元有一百萬個(gè)Token。
這種邏輯對很多人來說可能和上一次工業(yè)革命一樣難以理解,但在未來十年,它將變得完全正常。好的,這些Token將會(huì)催生新的產(chǎn)品和服務(wù),提升各行各業(yè)的生產(chǎn)力,這是一個(gè)價(jià)值高達(dá)一千萬億美元的行業(yè),就在我們的眼前。因此,這個(gè)行業(yè)的規(guī)模將會(huì)變得非常龐大。為了實(shí)現(xiàn)貨幣化和交易,你需要Stripe。(觀眾鼓掌)
我必須告訴你,Stripe是我最喜歡的公司之一。我第一次見到帕特里克時(shí),他不得不向我解釋Stripe是什么。首先,它的業(yè)務(wù)非常復(fù)雜。我們一直在嘗試隨著時(shí)間的推移來完善對它的描述。無論如何,你都處于一個(gè)復(fù)雜的業(yè)務(wù)環(huán)境中。但盡管如此,我還是被它所啟發(fā)。你們所建立的東西令人難以置信。
我希望我的業(yè)務(wù)需要計(jì)費(fèi)。
Patrick:
我們會(huì)跟進(jìn)。(笑)
所以,考慮到這個(gè)Token,你不能這么說。你是一家上市公司。因此,考慮到這些token工廠,我認(rèn)為現(xiàn)在一個(gè)大問題是模型是否飽和,就像我們之前在舞臺上演示的Sigma助手一樣,你可以編寫一些自然語言,然后我們將其轉(zhuǎn)換為SQL。從70億參數(shù)模型到700億參數(shù)模型或類似的模型可能會(huì)顯著提高用戶對人們傾向于構(gòu)建的典型查詢類型的查詢準(zhǔn)確性,但也許轉(zhuǎn)向比這大10倍的模型是不必要的。
在某個(gè)時(shí)候,你會(huì)變得足夠好,你可以可靠地將自然語言轉(zhuǎn)換為SQL。我認(rèn)為對于部署LLM的用例有一個(gè)問題,飽和曲線是什么樣的,對于多少用例,需要一個(gè)萬億參數(shù)模型或十萬億參數(shù)模型,或者我們是否只是達(dá)到了某個(gè)數(shù)字(比如說,少于1000億)就足夠的程度?你對此有什么看法嗎,或者這是否是看待這個(gè)問題的合理方式?
黃:
好的,讓我們分解一下,然后推理。在公共場合,適當(dāng)?shù)亍N沂盏降拿恳粋€(gè)問題。
Patrick:好的
黃:
讓我們分解一下,然后推理一下。讓我們從一個(gè)例子開始。2012年,AlexNet是計(jì)算機(jī)視覺、ImageNet、圖像識別,準(zhǔn)確率為82%左右。在接下來的差不多不到十年的時(shí)間里,我想大概是七年,每一年,準(zhǔn)確率誤差都會(huì)減少一半,每年,誤差都會(huì)減少一半,或者也稱為摩爾定律,好嗎?所以你每年都會(huì)將性能翻一番,將準(zhǔn)確率翻一番,將可信度翻一番。在過去的七年中,這項(xiàng)技術(shù)已經(jīng)發(fā)展到了超乎尋常的地步。無論是語音識別還是自然語言理解,都有了顯著的進(jìn)步。我們總是期待并希望,而非僅僅知道,我們期待并希望預(yù)測給出的答案是準(zhǔn)確的。因此,整個(gè)行業(yè)都在追求這種可信度或準(zhǔn)確性,每年都在努力將其準(zhǔn)確性提高兩倍。我相信,自然語言理解也會(huì)如此。當(dāng)然,問題空間要復(fù)雜得多。但我堅(jiān)信,我們將每年將其準(zhǔn)確性提高一倍,直到它達(dá)到如此準(zhǔn)確的程度,我們已經(jīng)對許多示例進(jìn)行了廣泛的測試,當(dāng)你與它交互時(shí),你會(huì)說,這真的非常好,我相信它給我提供的答案。這個(gè)條件非常重要。
第二件事是,今天的語言模型、今天的人工智能和我們展示的一切都只是一次性的。然而,我們都知道,我們考慮的很多事情都不是一次性的,你必須迭代。那么你如何想出一個(gè)計(jì)劃,如何推理一個(gè)計(jì)劃?你如何想出一個(gè)解決問題的策略?也許你需要使用工具,也許你必須查找一些專有數(shù)據(jù),也許你必須做一些研究,也許你必須問另一個(gè)代理,也許問另一個(gè)人工智能,也許你必須像人類一樣循環(huán),問一個(gè)人,觸發(fā)事件,給某人發(fā)送電子郵件或短信,在你進(jìn)入該計(jì)劃的下一步之前得到回復(fù)。因此,大型語言模型必須迭代并制定計(jì)劃,這不是一次性的事情。一旦它想出了一個(gè)計(jì)劃,當(dāng)它遍歷該圖時(shí),就會(huì)有一大堆語言模型被實(shí)例化和啟動(dòng)。所以我認(rèn)為你未來的模型將會(huì)迭代,因此,它不僅僅是一個(gè)一次性的模型,而是一個(gè)規(guī)劃模型,周圍還有一大堆其他模型,這些模型都具有特定的技能。所以我認(rèn)為我們還有很長的路要走。
Patrick:
上周,Meta發(fā)布了Llama 3,這是迄今為止最令人印象深刻的開源模型,引起了廣泛關(guān)注。
黃:
對于開源模型,我的觀點(diǎn)是,如果你問我過去幾年最重要的事件是什么,我會(huì)毫不猶豫地告訴你是ChatGPT,以及強(qiáng)化學(xué)習(xí)人類反饋,將其植根于人類價(jià)值觀并擁有實(shí)現(xiàn)這一目標(biāo)所需的技術(shù)。這無疑是一項(xiàng)突破,使計(jì)算民主化,使每個(gè)人都有可能成為程序員。現(xiàn)在每個(gè)人都在用它做著了不起的事情。ChatGPT,以及OpenAI所做的工作,我為Greg、Sam和他們的團(tuán)隊(duì)感到驕傲。
我想說的第二件同樣重要的事情是Llama,不是Llama 1,而是Llama 2。Llama 2激活了幾乎每個(gè)行業(yè),使其開始研究生成式人工智能。它打開了每個(gè)行業(yè)能夠使用這項(xiàng)技術(shù)的閘門,無論是醫(yī)療保健、金融服務(wù)、制造業(yè)、客戶服務(wù),還是零售業(yè),各種各樣的行業(yè)都開始使用這項(xiàng)技術(shù)。我個(gè)人認(rèn)為,Llama 2和Llama 3是開源的,它們不僅參與了各種研究,也參與了初創(chuàng)企業(yè)和行業(yè)的發(fā)展。這使得生成式人工智能變得觸手可及,我認(rèn)為這是一件重大的事情。因此,我堅(jiān)信ChatGPT實(shí)現(xiàn)了計(jì)算的民主化,而Llama則實(shí)現(xiàn)了生成式AI的民主化。這種觀點(diǎn)是否合理呢?
我認(rèn)為,如果沒有這些工具,所有關(guān)于安全的研究、所有改變思維方式的嘗試,以及現(xiàn)在正在開發(fā)的所有推理技術(shù)和強(qiáng)化學(xué)習(xí)內(nèi)容,都將難以啟動(dòng)。更甚者,如果沒有Llama,這些事情將更加困難。
Patrick:
兩周前,Dario Amodei參加了Ezra Klein的播客,他和許多其他人一樣,特別是許多參與前沿實(shí)驗(yàn)室的人,預(yù)測AGI將在相對較短的時(shí)間內(nèi)出現(xiàn),可能在未來幾年,2027年等年份經(jīng)常被提及。對此,你有什么想法呢?
黃:
這其實(shí)取決于你如何定義AGI。首先,作為一名工程師,你應(yīng)該明白,我們只有能夠衡量問題,才能最終解決問題。因此,你必須以某種可衡量的方式表達(dá)問題陳述和使命。如果你告訴我AGI是我們目前使用的基準(zhǔn)列表,它們是數(shù)學(xué)測試、英語理解測試和推理測試,你參加了體檢和律師資格考試,并列出了你想要的所有測試。不管是什么,只要列出你的清單就行了。如果你列出了清單,我相信我們會(huì)在很短的時(shí)間內(nèi)取得優(yōu)異的成績。如果這就是AGI的定義,我猜,它很可能在未來五年內(nèi)實(shí)現(xiàn)。因此,我們目前用來測量這些模型的所有測試,它們的準(zhǔn)確性或錯(cuò)誤率每六個(gè)月就會(huì)減少一半。因此,我們沒有理由不期望它很快就會(huì)成為超人。這不符合標(biāo)準(zhǔn),只是要清楚一點(diǎn)。這不符合普通人認(rèn)為它是AGI的標(biāo)準(zhǔn)。這有道理嗎?
街上的人,嘿,AGI,這可能不是他們所想的,也不是我所定義的。我定義它的方式只是一種工程定義方式,以便您可以回答該問題。回答該問題的第二種方式是,您何時(shí)可以以未定義的方式實(shí)現(xiàn)AGI?如果無法定義,那么您會(huì)知道需要多長時(shí)間?無法定義。
Patrick:
每個(gè)在座的人都在經(jīng)營企業(yè)。因此,我們所有人都面臨的一個(gè)實(shí)際問題是,您如何知道自己是否正面臨您剛才描述的那種變化,如何知道,如何知道自己是否以正確的方式做出了適當(dāng)、充分的反應(yīng),等等?有什么建議嗎?
黃:
如果您沒有積極主動(dòng)地參與AI,那么您就做錯(cuò)了。您不會(huì)因?yàn)锳I而失去工作。您會(huì)因?yàn)槭褂肁I的人而失去工作。您的公司不會(huì)因?yàn)锳I而倒閉。毫無疑問,如果你的公司不盡快采用人工智能,那么它可能會(huì)因?yàn)槠渌镜腁I應(yīng)用而被淘汰。因此,你必須盡快使用人工智能,這樣你才能去做那些你認(rèn)為成本過高的事情。例如,如果智能的邊際成本幾乎為零,那么你現(xiàn)在可以做很多事情,而這些事情在以前可能因?yàn)槌杀具^高而無法實(shí)現(xiàn)。因此,我們需要注意我們搜索的頻率,注意我們這些天提出問題的頻率。對于任何隨機(jī)問題,我都會(huì)感到困惑,但我仍然會(huì)去提問,即使我知道答案,我還是會(huì)去問,只是想看看會(huì)出現(xiàn)什么結(jié)果。
我們希望這種情況能夠發(fā)生,我們希望這類活動(dòng)的邊際成本盡可能低,以便你大量使用它。其次,如果你可以使用人工智能來提高生產(chǎn)力,你應(yīng)該知道高效的公司會(huì)帶來更高的收入,更高的收入會(huì)帶來更多的就業(yè)機(jī)會(huì),更多的就業(yè)機(jī)會(huì)會(huì)帶來更多的社會(huì)發(fā)展。因此,有很多理由促使公司提高生產(chǎn)力。
Patrick:
AI是否改變了NVIDIA內(nèi)部的工作方式,除了改變制造計(jì)劃和資本支出計(jì)劃之外?
黃:
實(shí)際上,我們是首批投資自己的AI超級計(jì)算機(jī)的科技公司之一。如果沒有AI,我們就無法設(shè)計(jì)芯片。到了晚上,我們的AI會(huì)探索廣闊的設(shè)計(jì)空間,而我們自己永遠(yuǎn)不會(huì)這樣做,因?yàn)樘剿鬟@些空間需要花費(fèi)太多錢。因此,我們的芯片要好得多。有了AI,我們可以減少芯片的能耗,提高性能。如果沒有AI,我們就無法編寫軟件。我們必須探索所有優(yōu)化編譯器的設(shè)計(jì)空間,因?yàn)樵O(shè)計(jì)空間太大了。我們使用AI來提交錯(cuò)誤,因此,我們的錯(cuò)誤數(shù)據(jù)庫實(shí)際上會(huì)告訴您誰的代碼出了什么問題,誰可能參與其中,并激活該人去修復(fù)它。因此,我認(rèn)為我們希望公司中的每個(gè)人、每個(gè)組織都非常積極地使用AI。我想把NVIDIA變成一個(gè)巨大的人工智能,那該有多好?然后我會(huì)平衡工作和生活。
Patrick:
你聽說過哪些企業(yè)的例子,也許是在某個(gè)意想不到的行業(yè),某個(gè)意想不到的用例,你覺得它們可以作為你所描述的某些動(dòng)態(tài)的典型代表,它們真的意識到了其中的一些機(jī)會(huì)?
黃:
好吧,人工智能最大的驚喜,對很多人來說不應(yīng)該是一個(gè)驚喜,那就是當(dāng)我們說它是一個(gè)大型語言模型時(shí),語言這個(gè)詞并不意味著只有人類語言。它并不意味著只有英語或法語,或者只有愛爾蘭語,或者那是完全不同的語言。但是有沒有愛爾蘭語的大型語言模型?
Patrick:
我試過了,效果很好。約翰和我大部分的教育都是在愛爾蘭接受愛爾蘭語教育的。因此,我有幸與這些模型進(jìn)行了首次對話,就像與蓋爾格一樣,這讓我感到非常驚訝。這已經(jīng)持續(xù)了很多年。實(shí)際上,我非常享受這個(gè)過程。你有沒有試過和Suno一起玩?Suno是一款用于創(chuàng)作和合成音樂的應(yīng)用程序。我一直非常喜歡愛爾蘭音樂。我當(dāng)然試過這款應(yīng)用,它可以演奏凱爾特風(fēng)格的Dubstep,這真是太棒了。
黃:
如果它能做到這一點(diǎn),那么它當(dāng)然可以學(xué)習(xí)生命語言。如果語言模型可以理解聲音,這是一個(gè)序列,一個(gè)時(shí)間序列,那么為什么它不能學(xué)習(xí)機(jī)器人的發(fā)音,這也是一個(gè)序列?你只需要弄清楚如何對其進(jìn)行標(biāo)記。因此,突然之間,我意識到,我可以學(xué)習(xí)SQL,我可以學(xué)習(xí)ABAP,我可以學(xué)習(xí)Lightning,我可以學(xué)習(xí)所有這些專有語言,我可以學(xué)習(xí)Verilog。所以,你會(huì)突然意識到,你可以在地球上的每一個(gè)工具上放置一個(gè)Copilot。
Patrick:
到目前為止,NVIDIA是一個(gè)大型人工智能公司,未來可能有100,000個(gè)模型,或者1億個(gè)模型,或者只有一個(gè)模型,這個(gè)模型可以做所有的事情。
黃:
我認(rèn)為擁有一個(gè)超級模型會(huì)很棒,它可以幫助你推理一般事物。但對于我們這些擁有非常特定領(lǐng)域?qū)I(yè)知識的公司來說,我們將不得不訓(xùn)練自己的模型。因?yàn)槲覀儞碛袑S姓Z言,99%和99.3%之間的差異對我們來說就是生與死的區(qū)別。這對我們來說太有價(jià)值了。對你來說,這和欺詐檢測沒什么不同,它對你來說太重要了。我要說的是,這正是我們的經(jīng)驗(yàn)。無論通用模型有多好,你都會(huì)想要對其進(jìn)行微調(diào),將其改進(jìn)到完美,因?yàn)樗鼘δ銇碚f太重要了。
Patrick:
我們的時(shí)間快到了,還有很多問題我還沒來得及回答。我在時(shí)間管理方面表現(xiàn)不佳。所以有很多問題我認(rèn)為是,我被告知我一定要問你,但有幾個(gè)問題我真的很想問,而且只有我們在場。
所以,Lisa Su是你的遠(yuǎn)房表親。
黃:她真的很棒,她很了不起。順便說一句,她是AMD的首席執(zhí)行官。、
Patrick:AMD現(xiàn)在是你在GPU領(lǐng)域的競爭對手之一。
黃:不,我們是一家人。我們都在這個(gè)行業(yè)。她是這個(gè)行業(yè)的合作伙伴之一。我們從AMD那里購買產(chǎn)品。
Patrick:那么,為什么我們最終會(huì)有兩家可以說是最重要的GPU公司,它們由近親經(jīng)營呢?發(fā)生了什么事情?
黃:你必須保守這個(gè)秘密。不,我并不清楚具體是怎么發(fā)生的。我們并非一起長大的。這個(gè)故事變得更有趣了,是的,直到她加入IBM,我們才相識。她的職業(yè)生涯令人贊嘆,她真的非常優(yōu)秀。
Patrick:
我認(rèn)為這個(gè)問題需要進(jìn)一步研究。
所以,你從90年代初就開始在硅谷運(yùn)營了。是的。那么,在那段時(shí)間里,硅谷的文化發(fā)生了怎樣的變化?
黃:
哦,這個(gè)問題我已經(jīng)很久沒有思考過了。我想在很多方面,可能……這是一個(gè)例子。當(dāng)我第一次創(chuàng)辦NVIDIA時(shí),我只有29歲,那時(shí)我還有痤瘡。你去和招聘人員、律師事務(wù)所和風(fēng)險(xiǎn)投資公司交談,而我額頭上長了一個(gè)大痘痘。而今天我沒有痘痘,所以我可以放心地談?wù)撨@個(gè)問題。但這是有可能發(fā)生的。
所以,無論如何,你會(huì)感到相當(dāng)不安全,因?yàn)楫?dāng)時(shí)大多數(shù)CEO都穿著西裝,他們很有成就,聽起來像成年人,他們使用大詞,他們談?wù)撋虡I(yè)之類的事情。所以,當(dāng)你年輕的時(shí)候,你會(huì)感到相當(dāng)害怕。你被一群成年人包圍著。現(xiàn)在,如果你沒有痤瘡,我認(rèn)為你不配創(chuàng)辦一家公司。這是一個(gè)很大的區(qū)別。
Patrick:痤瘡。這是詹森演講的要點(diǎn)。
黃:
這意味著,我們真的讓年輕人變得非凡。我認(rèn)為年輕一代的CEO,你們在如此年輕的時(shí)候就知道的事情真的非常非凡。我花了幾十年才學(xué)會(huì)它。
Patrick:
最后一個(gè)問題。
因此,NVIDIA的市值約為2萬億美元,現(xiàn)在與Apple和Microsoft相差無幾,我剛剛查了一下,他們分別有220,000名和160,000名員工。NVIDIA有28,000名員工,所以,還不到這兩家公司中規(guī)模較小的那家的五分之一。然后,你剛才說,當(dāng)我們在后臺聊天時(shí),我記下了這一點(diǎn),你可以通過流程實(shí)現(xiàn)卓越運(yùn)營,但只有任職才能實(shí)現(xiàn)工藝。因此,NVIDIA比其他任何巨頭都小得多,你似乎認(rèn)為任職真的很重要,我想工藝真的很重要。你想再說一點(diǎn)嗎?
黃:
我認(rèn)為可以做出很多好東西,好東西是通過卓越運(yùn)營做出的,但你不能僅通過卓越運(yùn)營做出非凡的東西。原因在于,您工作中的許多偉大成就、您制造的產(chǎn)品、您創(chuàng)建的公司、您培育的組織都需要精心呵護(hù)。你甚至無法用語言表達(dá)。如何在電子郵件中表達(dá)關(guān)愛?
有人可能會(huì)說,他們知道如何做到這一點(diǎn)。然而,有些人可能認(rèn)為在業(yè)務(wù)流程中無法表達(dá)關(guān)愛。
Patrick:愛和關(guān)懷是否是NVIDIA的口號?
黃:
我可以告訴你,我在工作中頻繁地使用“愛”,并大量使用“關(guān)懷”。這就是我們經(jīng)常討論工藝和美的原因。
是的,你必須使用這些詞,因?yàn)樵诤芏喾矫妫瑳]有其他詞可以描述它。你不能用數(shù)字來表達(dá),你不能把它寫在產(chǎn)品規(guī)格中。產(chǎn)品規(guī)格只能告訴你,我希望你能創(chuàng)造出一些非常美麗的偉大作品,并創(chuàng)造出偉大的工藝。但你無法指定這些東西。
Patrick:
可能有人會(huì)認(rèn)為,Stripe的帕特里克總是喋喋不休地談?wù)摴に嚭兔溃@種...我從不喋喋不休。我只是想讓你知道這一點(diǎn)。我甚至不知道那聽起來像什么。你比我清醒。我只是胡言亂語。
但是,我總是在談?wù)摴に嚭兔栏校M挛锞哂羞@種特殊的不可言喻的特性,但它并不直接滿足某些客戶的需求等等。客戶不會(huì)來找我們說,我希望產(chǎn)品更漂亮。他們說,我希望它具有X或Y功能。然而,我們相信工藝和美感真的很重要。
聽起來你的意思很相似。你為什么認(rèn)為這很重要?
黃:
實(shí)際上,你的客戶,即使他們沒有說出來,他們可能也不知道該怎么說,但當(dāng)他們體驗(yàn)到它時(shí),他們就知道了。毫無疑問。
看,Stripe的作品有美感、優(yōu)雅和簡約。你們知道,簡約并不簡單。簡約和簡單不是一回事。它有優(yōu)雅,它解決了問題,但剛剛好。它給你帶來負(fù)擔(dān),但不會(huì)太多。所以很難找到這種平衡。你無法具體說明。你只能靠自己的感覺去實(shí)現(xiàn)它。
當(dāng)你擁有一支與你同在、能一起找到方向的團(tuán)隊(duì)時(shí),在很多方面,我們已經(jīng)編纂、編碼了公司的魔力,這是無法用語言描述的。你不想失去它。你想在下次將它提升到一個(gè)新的水平。所以我不想重新開始。出于這個(gè)原因,我不喜歡和新人一起工作。因?yàn)槲乙呀?jīng)編碼、體現(xiàn),我儲(chǔ)存了那么多的痛苦、苦難、歡樂和知識,所有這些經(jīng)驗(yàn)、生活經(jīng)驗(yàn),你都已經(jīng)編碼在了所有與你共事的人身上。你想繼續(xù)下去。你想將它提升到一個(gè)新的水平。這就是我真正深信終身任職的原因。
正因?yàn)槿绱耍F(tuán)隊(duì)才能成就大事。NVIDIA的團(tuán)隊(duì)規(guī)模很小,只有28,000名員工。因此,人們認(rèn)為我們的實(shí)力超出了我們的能力范圍。你們的成就令人驚嘆,你們的規(guī)模如此之小,只有7,000人,卻支撐著價(jià)值一萬億美元的生態(tài)系統(tǒng)、產(chǎn)業(yè)和經(jīng)濟(jì)。誰能預(yù)知你們將會(huì)走到何處?
因此,我為你們感到無比驕傲。
Patrick:謝謝!
黃:感謝你們。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.