RAG 已死？

大家好，我是Ai學習的老章

經常在外沖浪，看到很多優秀的技術文章，獨享不如分享

我會使用DeepSeek-R1+科技類翻譯大師prompt翻譯出來，大家一起學習

如有翻譯偏差，請大家指教。原文[1]

演講調皮的標題。

本自我介紹，提到他的基地在日本 Musashino 市，那里有吉卜力博物館。他目前在 Answer.AI 從事機器學習研發。他開腔回到自己廣為流傳的個人照片，稱其為“單圖”，一張五年前的照片如今已經獨立成章。他還提到了自己最近在 ModernBERT 上的工作以及與 ColBERT 相關的細節，承諾稍后會詳細討論。

本討論了關于“RAG 已死”的爭議性觀點。本解釋說，這一說法僅適用于一種非常狹窄且經常被誤解的 RAG 定義，這種定義是由營銷活動普及開來的。

2023 年很多人了解的“RAG”：這種簡單的單向量語義搜索方法可能已經過時。然而，檢索這一基本概念仍然 relevant。

Ben 拆解了這個縮寫：RetrievalAugmentedGeneration。他指出，最初的 RAG 論文實際上描述的過程與今天常見的理解大不相同，但名稱卻保留了下來。其核心流程很簡單：你以某種方式檢索文檔并將其傳遞給生成模型以增強其輸出。他認為，總是需要向模型提供它們未經過訓練的外部信息。

這張幻燈片展示了一個標準的簡化 LLM 調用：輸入一個提示，LLM 生成響應，然后輸出結果。這是理解 RAG 如何改變流程的基礎。

使用 RAG 時，會插入一個新的步驟：“上下文文檔”。本強調，獲取這些文檔的“方法”并不影響定義。如果你在上下文窗口中添加了外部文檔以增強生成內容，你就是在進行 RAG。即使手動復制粘貼文本到提示中，從技術上講，這也是一種形式的 RAG。

本指出，人們常用“RAG”來指代一種簡單的暴力搜索，即基于單一向量的語義搜索。這種定義在 2023-2024 年由營銷大力推動，因為它易于銷售。他認為，因為現在使用了更好的檢索工具就宣稱 RAG 已經死亡，這就像說因為現在使用了 CSS，HTML 就已經死亡一樣。

本解釋了單向量搜索的局限性。它必須將整個文檔或片段的意義壓縮成一個相對較小的向量（例如，約1000維）。這種壓縮不可避免地會導致信息丟失。模型是根據其訓練數據（如必應搜索數據）訓練的，優先處理它認為在將查詢與文檔匹配時有用的信 息，而這些信息很可能與你的特定領域數據（例如，一個獨特的代碼庫）不一致。正是這種不匹配使得通用嵌入模型在代碼檢索等專門領域中常常難以應對。

本解決了一個論點，即巨大的上下文窗口（例如，Gemini 的 1M 或假設的 10M 令牌窗口）使 RAG 變得過時。他用了一個類比：就像 1999 年有人聲稱硬盤已經死亡，因為很快就會有 512MB 的 RAM 條。

實際情況是，即使是 10M 令牌對于許多企業的知識庫或大型數據集來說也是一小部分空間。此外，將所有內容都塞進每次查詢的上下文中的成本和低效率使其不切實際。

檢索永遠不會消失。LLM 的權重在某個時間點被凍結。它們不知道你的新內部項目、更新后的公司政策，或者你想要嘗試的“真的很酷的新 fasthtml[2] 庫”。對每一條新信息進行訓練是復雜且低效的。

Ben 認為我們也不想讓模型永久存儲所有這些一次性信息；我們希望它們的有限權重空間用于智能，而不僅僅是知識存儲。檢索是注入這些外部、最新信息的必要手段。

本總結到目前為止的要點：

• RAG 并不會消失。

• 簡單的方法（如基本的余弦相似度）已經顯示出其局限性，推動我們向更好的、更復雜的檢索技術發展。

• RAG 是向模型提供最新信息的最佳方式。

• 長的上下文窗口不能替代檢索。文氏圖說明了“死亡”的是那種用單一向量 brute-force 強制一切的簡單想法，而不是 RAG 本身。

經典本 - 更多驚喜即將來臨！

關于更好的檢索方法，還有更多可以討論的。

本又回到了他的類比。雖然更多的 RAM 沒有殺死硬盤，但 SSD 確實做到了（對于消費者而言）。SSD 只不過是一種“更好的硬盤”。同樣地，“2023 年的 RAG”被殺死的原因僅僅是更好的 RAG（具體來說，是更好的檢索形式）。

為了展示檢索的廣度，Ben 列出了各種工具：grep、wget、代理搜索、BM25、ColBERT、網絡搜索，甚至推理。這些都是有效的檢索方法。最好的方法通常是將它們結合起來使用。

Ben 承認檢索技術的復雜景觀已經不再像過去那樣簡單。

制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！

參考資料

原文: https://hamel.dev/notes/llm/rag/p1-intro.html

fasthtml: https://www.fastht.ml/