Karpathy再放大招：8000行代碼復(fù)現(xiàn)ChatGPT全棧，最低成本僅100美元，4小時(shí)跑完

剛剛，Andrej Karpathy發(fā)布了一個(gè)新的項(xiàng)目：nanochat。

與之前只覆蓋預(yù)訓(xùn)練的nanoGPT不同，nanochat是一個(gè)從頭開始、代碼極簡的全棧式ChatGPT克隆體訓(xùn)練/推理流水線。它被集成在一個(gè)單一、依賴極少的代碼庫中

Karpathy表示，用戶只需啟動(dòng)一個(gè)云端GPU機(jī)器，運(yùn)行一個(gè)腳本，最快4小時(shí)后，就能在類似ChatGPT的網(wǎng)頁界面中與自己訓(xùn)練的LLM對話

整個(gè)項(xiàng)目代碼量約8000行，覆蓋了以下完整流程：

訓(xùn)練分詞器：使用新的Rust實(shí)現(xiàn)

預(yù)訓(xùn)練：在FineWeb上預(yù)訓(xùn)練一個(gè)Transformer LLM，并根據(jù)多項(xiàng)指標(biāo)評(píng)估CORE分?jǐn)?shù)

中間訓(xùn)練：在來自SmolTalk的用戶-助手對話、多項(xiàng)選擇題和工具使用數(shù)據(jù)上進(jìn)行訓(xùn)練

SFT（監(jiān)督微調(diào)）：在世界知識(shí)選擇題（ARC-E/C, MMLU）、數(shù)學(xué)（GSM8K）和代碼（HumanEval）上對聊天模型進(jìn)行微調(diào)和評(píng)估

RL（強(qiáng)化學(xué)習(xí)）：可選地使用“GRPO”在GSM8K上對模型進(jìn)行強(qiáng)化學(xué)習(xí)

高效推理：在帶有KV緩存的引擎中進(jìn)行高效推理，支持簡單的prefill/decode和工具使用（在輕量級(jí)沙箱中調(diào)用Python解釋器），并可通過命令行或類似ChatGPT的WebUI進(jìn)行交互

生成報(bào)告卡：撰寫一份markdown格式的報(bào)告卡，對整個(gè)過程進(jìn)行總結(jié)和游戲化呈現(xiàn)

成本與性能

Karpathy詳細(xì)介紹了不同投入下的模型表現(xiàn)：

約100美元成本（在8xH100節(jié)點(diǎn)上訓(xùn)練約4小時(shí)）：可以訓(xùn)練出一個(gè)能進(jìn)行簡單對話、寫故事/詩歌、回答簡單問題的小ChatGPT克隆體

約12小時(shí)訓(xùn)練：CORE指標(biāo)超過GPT-2

更高投入，約1000美元成本（約41.6小時(shí)訓(xùn)練）：模型會(huì)變得更加連貫，能夠解決簡單的數(shù)學(xué)和代碼問題，并參加多項(xiàng)選擇題測試

例如，一個(gè)深度為30、訓(xùn)練24小時(shí)的模型（其FLOPs約等于GPT-3 Small 125M，是GPT-3的1/1000），在MMLU測試上得分40多分，ARC-Easy上70多分，GSM8K上20多分

Karpathy的目標(biāo)是將完整的強(qiáng)基線技術(shù)棧整合到一個(gè)有凝聚力、最小化、可讀、可破解、最大程度可fork的倉庫中。nanochat也將成為他仍在開發(fā)的LLM101n課程的頂點(diǎn)項(xiàng)目。他認(rèn)為，這個(gè)項(xiàng)目有潛力發(fā)展成為一個(gè)研究工具或基準(zhǔn)，就像之前的nanoGPT一樣

他也坦言，項(xiàng)目遠(yuǎn)未完成、調(diào)優(yōu)或優(yōu)化，可能還有很多容易優(yōu)化的部分，但目前的整體框架已經(jīng)足夠好，可以發(fā)布到GitHub上，讓社區(qū)共同改進(jìn)。

GitHub倉庫地址：

https://github.com/karpathy/nanochat

更詳細(xì)的技術(shù)介紹：

https://github.com/karpathy/nanochat/discussions/1

技術(shù)細(xì)節(jié)與問答

在發(fā)布后，Karpathy也回答了網(wǎng)友們關(guān)心的一些問題。

問：這個(gè)模型訓(xùn)練的架構(gòu)是什么？

Karpathy：基本上類似Llama，但更簡單一些，也受到一些修改版nanoGPT的影響。我試圖為這個(gè)規(guī)模找到一個(gè)堅(jiān)實(shí)的基線：

密集Transformer

旋轉(zhuǎn)嵌入（RoPE），無位置嵌入

QK Norm

Embedding和Unembedding權(quán)重不綁定

Token embedding后接Norm

MLP中使用relu^2激活函數(shù)

RMSNorm中無可學(xué)習(xí)參數(shù)

線性層中無偏置項(xiàng)

多查詢注意力（MQA）

Logit softcap

優(yōu)化器是Muon+AdamW，深受修改版nanoGPT的影響。我有一個(gè)TODO是嘗試很好地調(diào)整Adam的學(xué)習(xí)率（例如按模塊調(diào)整）以移除Muon，但我還沒有足夠努力地去嘗試。

問：我可以用它來訓(xùn)練我自己的數(shù)據(jù)嗎？比如我所有的Notion筆記、健康數(shù)據(jù)和其他LLM聊天記錄，來做一個(gè)理解我的個(gè)人聊天機(jī)器人？

Karpathy：好問題。我認(rèn)為這個(gè)倉庫不適合做這件事。你應(yīng)該把這些微型模型更多地看作是非常年幼的孩子（比如幼兒園水平），它們不具備那些更大模型的原始智能。如果你用自己的數(shù)據(jù)對它進(jìn)行微調(diào)/訓(xùn)練，你可能會(huì)得到一些有趣的模仿，風(fēng)格上感覺像你的寫作，但內(nèi)容會(huì)很糟糕。

要實(shí)現(xiàn)你想要的效果，你需要更復(fù)雜的流程：

1.獲取你的原始數(shù)據(jù)。
2.在其之上進(jìn)行大量的合成數(shù)據(jù)生成和重寫（這很棘手，不簡單，屬于研究范疇）。
3.在一個(gè)最先進(jìn)的開源LLM上進(jìn)行微調(diào)。
4.你可能還需要混合大量的預(yù)訓(xùn)練數(shù)據(jù)，以避免在微調(diào)過程中損失過多的原始智能。

基本上，要讓這個(gè)工作得很好，仍然是研究領(lǐng)域的范疇，并不簡單。你最好的非研究選擇是，把你的所有寫作內(nèi)容交給像NotebookLM這樣的工具，它會(huì)通過RAG（檢索增強(qiáng)生成）來處理你的數(shù)據(jù)。你的數(shù)據(jù)通過RAG進(jìn)入上下文窗口，但不會(huì)影響模型權(quán)重。所以模型并不真正“了解你”，但這可能是你最容易接近的效果。

問：這些代碼有多少是你手寫的？

Karpathy：好問題，基本上完全是手寫的（配合Tab自動(dòng)補(bǔ)全）。我試過幾次使用Claude/Codex的AI智能體，但它們的效果根本不夠好，最終沒什么幫助，可能是因?yàn)檫@個(gè)倉庫偏離了它們的數(shù)據(jù)分布太遠(yuǎn)