字節(jié)要被取代了,取代它的是token。
Karpathy昨天在推上回了Python之父Guido一句話:LLM = CPU,Agent = 操作系統(tǒng)內(nèi)核。
但他補了一個很關(guān)鍵的細節(jié):
LLM處理的數(shù)據(jù)單位不是字節(jié),是token。
這個操作系統(tǒng)的運行方式不是確定性的,而是統(tǒng)計性的。
這是一種底層計算的范式轉(zhuǎn)移。
![]()
過去六十年,計算機的世界建立在字節(jié)上。
一個字符8個bit,精確,確定,不會出錯。你寫一個1,存進去就是1,讀出來還是1。
整個互聯(lián)網(wǎng)、所有軟件、所有數(shù)據(jù)庫,都建立在這種確定性上。
現(xiàn)在LLM來了。它的基本單位是token,不是字節(jié)。
token是模糊的,一個詞可能是一個token,也可能被拆成兩個。
它的輸出是概率性的,同一個輸入跑兩遍可能得到不同的結(jié)果。
這就像從牛頓力學(xué)進入量子力學(xué)。
精確讓位于概率,確定讓位于統(tǒng)計。
Karpathy把LLM比作CPU,Agent比作操作系統(tǒng)內(nèi)核。
如果順著這個類比往下推:
傳統(tǒng)計算機:CPU處理字節(jié) → 內(nèi)核調(diào)度進程 → 操作系統(tǒng)服務(wù)用戶
AI時代:LLM處理token → Agent編排任務(wù) → AI OS服務(wù)用戶
底層的數(shù)據(jù)單位變了,上面的一切都得跟著變。
操作系統(tǒng)要重寫,軟件要重做,人和計算機的交互方式要重新設(shè)計。
與其說是對上一代的升級,不如說是徹底換了軌道。
BYTE ERA ? TOKEN ERA
字節(jié)的世界里,誰掌握更多的數(shù)據(jù)(字節(jié))誰就贏。
token的世界里,誰掌握更多的token誰就贏。
字節(jié)的時代屬于互聯(lián)網(wǎng),token的時代屬于Agent。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.