DeepSeek OCR論文引爆網絡！Andrej Karpathy：，我很喜歡；馬斯克：未來99%都是光子

剛剛，AI大神Andrej Karpathy表示非常喜歡DeepSeek OCR 論文，原話：

我相當喜歡新的DeepSeek-OCR論文。它是一個很好的OCR模型（可能比dots稍微差一點），是的，數據收集等等，但無論如何都不重要。對我來說更有趣的部分（尤其是作為一個以計算機視覺為核心，暫時偽裝成自然語言的人）是像素是否比文本更適合作為LLM的輸入。文本標記是否浪費且糟糕，作為輸入。

還不知什么情況的看我這篇文章

Karpathy認為，拋開模型本身不談，deepseek這篇論文引出了一個更值得深思的問題：對于LLM來說，像素是否是比文本更優越的輸入形式？文本Token是否既浪費又糟糕？

他進一步設想，或許所有LLM的輸入都只應該是圖像。即便是純文本內容，也應該先渲染成圖片再輸入給模型

Karpathy給出了支持這一構想的四大核心理由：

1. 更高的信息壓縮效率

將文本渲染成圖像，可以實現更高的信息壓縮，這意味著更短的上下文窗口和更高的運行效率

2. 更通用的信息流

像素是一種遠比文本更通用的信息流。它不僅能表示純文本，還能輕松捕捉粗體、彩色文本，甚至是任意的圖表和照片

3. 默認實現強大的雙向注意力

像素化的輸入可以很自然、很輕松地默認使用雙向注意力進行處理，這種處理方式比自回歸注意力更為強大

4. 徹底淘汰Tokenizer

Karpathy毫不掩飾自己對Tokenizer的嫌棄。他認為Tokenizer是一個丑陋、獨立、非端到端的階段。它引入了Unicode和字節編碼的所有丑陋之處，繼承了大量歷史包袱，并帶來了安全和越獄風險（例如連續字節問題）

他舉例說，Tokenizer會導致兩個在人眼看來完全相同的字符，在網絡內部被表示為兩個完全不同的Token。一個笑臉emoji，在模型看來只是一個奇怪的Token，而不是一個由像素構成的、真實的笑臉，這導致模型無法利用其視覺信息帶來的遷移學習優勢。Tokenizer必須消失，他強調

Karpathy總結道，OCR只是眾多視覺到文本（vision -> text）任務中的一種。而傳統的文本到文本（text -> text）任務，完全可以被重構成視覺到文本任務，反之則不行

他設想的未來交互模式可能是：用戶的輸入（Message）是圖像，而解碼器（Assistant的響應）的輸出仍然是文本。因為如何真實地輸出像素，或者是否有必要這樣做，目前還不明確

核心爭議：雙向注意力與圖像分塊

對于Karpathy的觀點，AI學者Yoav Goldberg提出了兩個疑問：

1.為什么說圖像能輕松獲得雙向注意力，而文本不能？

2.雖然沒有了Tokenization，但將輸入圖像切分成圖塊（Patches），難道不是一種類似且可能更丑陋的處理方式嗎？

Karpathy對此進行了解釋。

他回應說，原則上沒有任何東西阻止文本使用雙向注意力。但為了效率，文本通常都是以自回歸的方式進行訓練的。他設想，可以在訓練中期加入一個微調階段，用雙向注意力來處理作為條件的信息（比如用戶的輸入消息，因為這些Token不需要模型去生成）。但他不確定在實踐中是否有人這樣做。理論上，為了預測下一個Token，甚至可以對整個上下文窗口進行雙向編碼，但這將導致訓練無法并行化

最后他補充道，或許這個方面（雙向注意力）嚴格來說并非像素與Token的本質區別，更多是像素通常被編碼（encoded），而Token通常被解碼（decoded）（借用原始Transformer論文的術語）

馬斯克：未來99%是光子

在這場討論的最后，Elon Musk也現身評論區，并給出了一個更具未來感的判斷：

從長遠來看，AI模型超過99%的輸入和輸出都將是光子。沒有其他任何東西可以規模化

馬斯克的這條評論并非隨口一說。他進一步補充了一段堪稱硬核的宇宙學科普，來解釋為什么他認為“光子”是終極的規模化方案

簡單來說，宇宙中絕大多數的粒子都是光子

而這些光子最主要的來源，是宇宙微波背景（CMB）。根據測算，CMB的光子密度約為每立方厘米410個。將這個密度乘以可觀測宇宙的巨大體積（半徑約465億光年），可以得出僅CMB貢獻的光子數量就達到了一個驚人的數字：約1.5 x 10??個

相比之下，所有恒星發出的光子（星光）以及其他來源（如中微子背景、黑洞輻射等）貢獻的數量，則完全可以忽略不計

這背后揭示的物理事實是：光子在數量級上擁有無與倫比的優勢。這或許就是馬斯克認為AI的未來輸入輸出將由光子主宰的底層邏輯