Andrej Karpathy：AI本質(zhì)是「軟件2.0」，并非電力或者工業(yè)革命

剛剛Andrej Karpathy分享了他關(guān)于AI如何影響經(jīng)濟(jì)的最新思考。

他認(rèn)為，人們習(xí)慣于將AI與電力、工業(yè)革命等歷史先例進(jìn)行類比，但最恰當(dāng)?shù)念惐龋菍I視為一種全新的計算范式——即他之前提出的“軟件2.0”。因為無論是傳統(tǒng)計算還是AI，其本質(zhì)都是關(guān)于數(shù)字信息處理的自動化

基于此，Karpathy提出了一個預(yù)測AI自動化能力的核心指標(biāo)：「可驗證性」（Verifiability）。

回望1980年代：軟件1.0自動化的是「可指定」任務(wù)

Karpathy首先回顧了傳統(tǒng)計算對就業(yè)市場的影響。

如果回到1980年代來預(yù)測計算機(jī)的影響，最關(guān)鍵的預(yù)測指標(biāo)是看一項任務(wù)或工作的算法在多大程度上是“固定的”。也就是說，執(zhí)行者是否只是在根據(jù)一套可以輕松指定的、死記硬背的規(guī)則，機(jī)械地轉(zhuǎn)換信息。

例如打字、簿記、人力計算器等工作，都屬于這一類。在那個時代，當(dāng)時的計算能力只允許我們（通過手動編碼）編寫出這類程序。這就是軟件1.0的時代。

AI新范式：軟件2.0自動化的是「可驗證」任務(wù)

現(xiàn)在，AI讓我們能夠編寫出過去完全無法手動編寫的新程序。

我們實現(xiàn)這一點的方式，不再是編寫固定的規(guī)則，而是通過指定一個目標(biāo)（例如，分類準(zhǔn)確率、獎勵函數(shù)），然后通過梯度下降等方法在巨大的程序空間中進(jìn)行搜索，最終找到一個能夠很好地達(dá)成該目標(biāo)的神經(jīng)網(wǎng)絡(luò)。這就是軟件2.0的核心思想。

在這個新的編程范式下，最具預(yù)測性的新指標(biāo)變成了「可驗證性」。

如果一項任務(wù)或工作是可驗證的，那么它就可以通過直接優(yōu)化或強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，讓神經(jīng)網(wǎng)絡(luò)在該任務(wù)上表現(xiàn)得極其出色。這里的關(guān)鍵在于，AI在多大程度上可以“練習(xí)”某件事。

一個可供AI練習(xí)的環(huán)境，必須滿足三個條件：

1. 1. 可重置（Resettable）： 可以開始一次新的嘗試。

2. 2. 高效率（Efficient）： 可以在短時間內(nèi)進(jìn)行大量嘗試。

3. 3. 可獎勵（Rewardable）： 有一個自動化的流程來評估并獎勵任何一次具體的嘗試。

一項任務(wù)或工作的可驗證性越高，它就越容易被新的AI編程范式所自動化。

如果一項任務(wù)不具備可驗證性，那么對它的自動化就只能依賴于神經(jīng)網(wǎng)絡(luò)“泛化能力的魔法”，或者通過模仿學(xué)習(xí)等效果較弱的方式來實現(xiàn)。

Karpathy指出，這正是導(dǎo)致大語言模型（LLM）進(jìn)展呈現(xiàn)出“鋸齒狀”前沿的根本原因

那些可驗證性強(qiáng)的任務(wù)，正在取得飛速進(jìn)展，其能力甚至可能超越頂尖的人類專家。例如：

1.數(shù)學(xué)

2.編程

3.任何看起來像有標(biāo)準(zhǔn)答案的謎題

與此同時，許多其他任務(wù)的進(jìn)展則相對滯后，例如：

1.創(chuàng)造性工作

2.戰(zhàn)略性任務(wù)

3.需要結(jié)合真實世界知識、狀態(tài)、背景和常識的復(fù)雜任務(wù)

最后，用一個精煉的總結(jié)就是：

軟件1.0輕松自動化了那些「可指定」的任務(wù)

軟件2.0則將輕松自動化那些「可驗證」的任務(wù)