MinerU 再次改變 OCR，5 倍提升

關(guān)于 OCR 這個話題，我之前寫過不少：

今天這篇要聊的東西可能是 OCR 領(lǐng)域近年來最大的范式轉(zhuǎn)換，MinerU 團(tuán)隊用擴(kuò)散模型重新定義了文檔 OCR 的解碼方式

MinerU：OCR 領(lǐng)域的扛把子

先說說 MinerU 這個項目在 OCR 圈子的地位

MinerU 由上海人工智能實驗室的 OpenDataLab 團(tuán)隊開發(fā)，最初誕生于 InternLM 大模型的預(yù)訓(xùn)練數(shù)據(jù)處理過程中

做過 RAG 的朋友應(yīng)該都知道，文檔解析是 RAG 流水線上最關(guān)鍵的一環(huán)——你的知識庫質(zhì)量上限，就取決于你的文檔解析能力

而 MinerU 幾乎是開源文檔解析工具的事實標(biāo)準(zhǔn)：

• 全格式覆蓋：支持 PDF、圖片、DOCX 輸入，輸出 Markdown 和 JSON

• 109 種語言的 OCR 支持

• 全平臺兼容：Windows、Linux、Mac，CPU/GPU/NPU/MPS 都能跑

• 功能全面：自動去除頁眉頁腳頁碼、保留文檔結(jié)構(gòu)、提取表格公式、處理復(fù)雜多欄布局

剛剛，MinerU 發(fā)布了3.0.0 大版本更新——新增了原生 DOCX 解析、pipeline 后端在 OmniDocBench v1.5 上得分達(dá)到 86.2，上線了多 GPU 部署路由

更關(guān)鍵的是，MinerU 的 VLM 版本 MinerU2.5 在 OmniDocBench 等權(quán)威 Benchmark 上一直是各路 OCR 模型的對標(biāo)基準(zhǔn)。

新范式：用 Diffusion 重新思考 OCR

好了，鋪墊完背景，來說今天的主角——MinerU-Diffusion

這是 MinerU 團(tuán)隊在 3 月 24 日放出的全新框架，論文標(biāo)題非常到位：

Rethinking Document OCR as Inverse Rendering via Diffusion Decoding（將文檔 OCR 重新定義為通過擴(kuò)散解碼的逆渲染問題）

一句話總結(jié)：把傳統(tǒng)的自回歸（從左到右一個字一個字吐）解碼，換成了并行的擴(kuò)散去噪解碼

這個思路非常有意思

為什么自回歸解碼不適合 OCR？

現(xiàn)在主流的 OCR 方案，本質(zhì)上都是一個路子：視覺編碼器把圖片變成特征，然后語言模型一個 token 一個 token 地從左到右生成文字

這個架構(gòu)有三個致命問題：

1. 速度瓶頸

自回歸解碼是串行的——生成第 100 個 token 必須等前 99 個都完成。

文檔越長，越慢，延遲線性增長。

2. 錯誤累積

前面錯了一個，后面大概率跟著錯。

就像多米諾骨牌，一倒一片。

對于長文檔、復(fù)雜表格和公式這種動輒幾千 token 的場景，這個問題尤為致命。

3. 依賴語言先驗而非視覺證據(jù)

這是論文中最犀利的觀察

自回歸模型在解碼時會不自覺地依賴"語義補(bǔ)全"——它更多是靠上下文猜接下來的字是什么，而非認(rèn)真看圖片上寫的是什么

論文專門設(shè)計了一個Semantic Shuffle測試來證明這個問題：把文檔中的單詞打亂順序，重新排版成圖片，讓模型去識別。

結(jié)果自回歸模型的準(zhǔn)確率隨著打亂程度直線下跌，而擴(kuò)散模型基本紋絲不動。

下圖就是 Semantic Shuffle 測試的結(jié)果，可以清楚看到 AR（自回歸）和 Diffusion（擴(kuò)散）兩種解碼方式面對語義打亂時的表現(xiàn)差異：

Semantic Shuffle 測試結(jié)果

這說明什么？自回歸模型做 OCR 時有很大程度上是在"理解"文本然后"猜"出來的。而 OCR 的本質(zhì)應(yīng)該是忠實地"看"圖片上寫了什么，跟文字有沒有語義無關(guān)。

MinerU-Diffusion 如何解題？

MinerU-Diffusion 的核心思想是：把 OCR 看作"逆渲染"

什么意思？文檔渲染是：結(jié)構(gòu)化文本 → 2D 圖片

OCR 就是反過來：2D 圖片 → 結(jié)構(gòu)化文本

既然渲染過程不需要從左到右逐字生成，OCR 解碼憑什么必須從左到右？

下圖展示了自回歸解碼和擴(kuò)散解碼兩種方式的對比：

自回歸 vs 擴(kuò)散解碼

基于這個洞察，MinerU-Diffusion 設(shè)計了三大核心技術(shù)：

1. Block-wise 分塊擴(kuò)散解碼器

不搞全局的擴(kuò)散（那樣計算量太大），把輸出序列分成若干個 Block。Block 內(nèi)部用擴(kuò)散并行生成，Block 之間保留粗粒度的自回歸結(jié)構(gòu)，兼顧了效率和全局一致性。

擴(kuò)散解碼的過程如下——黑色 token 是已確認(rèn)的，紅色 token 正在更新，黃色 token 是未處理的 mask，整個過程是并行推進(jìn)的：

擴(kuò)散解碼過程

2. 不確定性驅(qū)動的兩階段課程學(xué)習(xí)

訓(xùn)練分兩步走：

• 第一階段：用大規(guī)模多樣化數(shù)據(jù)建立基礎(chǔ)能力（約 750 萬樣本）

• 第二階段：通過多次推理找出模型"不確定"的硬骨頭樣本，人工精標(biāo)后重點訓(xùn)練

這個策略非常聰明。擴(kuò)散模型的訓(xùn)練比自回歸更不穩(wěn)定，數(shù)據(jù)利用效率也更低，分階段先建立基本功、再專攻難點，是一個務(wù)實的工程選擇。

下圖展示了 MinerU-Diffusion 的訓(xùn)練架構(gòu)——左側(cè)是 mask 訓(xùn)練過程，右側(cè)是 Block 注意力機(jī)制的結(jié)構(gòu)：

訓(xùn)練架構(gòu)

3. 動態(tài)置信度調(diào)度

解碼時，模型會根據(jù)每個 token 的置信度動態(tài)決定是否"落筆確認(rèn)"。高置信的直接定了，低置信的繼續(xù)去噪。這個閾值就像一個"旋鈕"，可以在速度和精度之間靈活調(diào)節(jié)。

跑分：快 3 倍，準(zhǔn)確率不掉

直接看數(shù)據(jù)：

在 OmniDocBench v1.5 評測中（帶 GT Layout），以 τ=0.97 動態(tài)解碼對比：

指標(biāo)

MinerU2.5 (自回歸)

MinerU-Diffusion (擴(kuò)散, τ=0.97)

Overall ↑

Text Edit ↓

Formula CDM ↑

Table TEDS ↑

吞吐量 TPS

Overall 分?jǐn)?shù)幾乎一模一樣，但吞吐量接近 2 倍！

而且這還只是置信度閾值 0.97 的結(jié)果

調(diào)到 0.95（Overall 93.37，精度與 MinerU2.5 幾乎無差），吞吐量達(dá)到 108.9 TPS，2.1 倍加速

再放到 0.6，164.8 TPS，3.26 倍加速，準(zhǔn)確率仍然超過 90%

下面這張圖非常直觀地展示了精度-吞吐量的權(quán)衡曲線：

精度-吞吐量權(quán)衡

在公式識別和表格識別上，MinerU-Diffusion 也表現(xiàn)出色：

• 公式識別（UniMER-Test）：CPE 91.6 / HWE 91.6 / SCE 92.0 / SPE 96.8，全面碾壓 GPT-4o（CPE 82.7 / HWE 85.9 / SCE 87.8），每個指標(biāo)都領(lǐng)先 4~9 分

• 表格識別（OCRBench v2）：TEDS 81.18 / TEDS-S 88.66，跟一眾 AR 模型不相上下

光看數(shù)字不過癮，論文里給了大量的定性示例，非常直觀

端到端文檔解析效果

下面展示幾種典型文檔頁面的完整識別結(jié)果，每組從左到右分別是：原始頁面、布局檢測結(jié)果、最終解析渲染輸出。

學(xué)術(shù)論文頁面——包含表格、圖片、標(biāo)題、公式等復(fù)雜元素，布局檢測精確，解析結(jié)果完整保留了文檔結(jié)構(gòu)：

學(xué)術(shù)論文解析 - 原始輸入學(xué)術(shù)論文解析 - 布局檢測學(xué)術(shù)論文解析 - 渲染輸出

報紙版面——密集的多欄排版，閱讀順序正確恢復(fù)：

報紙解析 - 原始輸入報紙解析 - 布局檢測

公式密集的試卷——大量數(shù)學(xué)公式精準(zhǔn)識別為 LaTeX：

試卷解析 - 原始輸入試卷解析 - 布局檢測試卷解析 - 渲染輸出

擴(kuò)散解碼的漸進(jìn)生成過程

這組圖更有意思——展示了擴(kuò)散解碼器在不同任務(wù)上是怎么"一步步去噪"的

上面是原始輸入，下面是解碼過程的可視化，可以看到 token 從 mask 狀態(tài)逐步被確認(rèn)的全過程。

布局檢測的擴(kuò)散解碼——模型逐步確認(rèn)頁面各區(qū)域的位置和類別：

布局解碼示例1-輸入布局解碼示例1-過程

文本識別的擴(kuò)散解碼——文字從 mask 中并行"浮現(xiàn)"出來：

文本解碼示例-輸入文本解碼示例-過程

表格識別的擴(kuò)散解碼——表格結(jié)構(gòu)和內(nèi)容同步恢復(fù)：

表格解碼示例-輸入表格解碼示例-過程

公式識別的擴(kuò)散解碼——LaTeX 符號從噪聲中逐步精確還原：

公式解碼示例-輸入公式解碼示例-過程

可以看到，擴(kuò)散解碼是全局并行推進(jìn)的——不像自回歸那樣從左上角一路寫到右下角，而是整個頁面同時"顯影"。這種解碼模式天然適合文檔這種二維空間結(jié)構(gòu)。

模型規(guī)格與使用

MinerU-Diffusion-V1 是一個2.5B 參數(shù)的模型，支持四種任務(wù)：

Prompt 類型

功能

輸出格式

Layout Detection

頁面級布局解析

邊界框 + 標(biāo)簽

Text Recognition

純文本 OCR

原始 OCR 文本

Formula Recognition

公式提取

LaTeX

Table Recognition

表格提取

OTSL 結(jié)構(gòu)化表格

支持三種推理引擎：HuggingFace Transformers、Nano-DVLM（單 GPU 推理）、SGLang（高性能服務(wù)化部署）。

快速上手

安裝環(huán)境：

conda create -n dmineru python=3.12 -y
conda activate dmineru


 pip install torch==2.8.0 torchvision==0.23.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu128
pip install "transformers>=4.52.1"
# flash-attn 需要單獨安裝預(yù)編譯 wheel（需匹配 CUDA/PyTorch 版本）
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.8.3/flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
pip install flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
pip install -r requirements.txt

用 Transformers 跑一下：

import torch
from transformers import AutoModel, AutoProcessor, AutoTokenizer

 model_id = "opendatalab/MinerU-Diffusion-V1-0320-2.5B"
image_path = "path/to/page.png"

 tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True, use_fast=False)
model = AutoModel.from_pretrained(
    model_id, trust_remote_code=True,
    torch_dtype=torch.bfloat16, low_cpu_mem_usage=True
).eval().to("cuda")

 messages = [
    {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]},
    {"role": "user", "content": [
        {"type": "image", "image": image_path},
        {"type": "text", "text": "\nText Recognition:"},
    ]},
]

 prompt_text = processor.apply_chat_template(messages, add_generation_prompt=True)
if isinstance(prompt_text, tuple):
    prompt_text = prompt_text[0]

 inputs = processor(images=[image_path], text=prompt_text, truncation=True, max_length=4096, return_tensors="pt")
input_ids = inputs["input_ids"].to(torch.long).to("cuda")
pixel_values = inputs["pixel_values"].to(torch.bfloat16).to("cuda")
image_grid_thw = inputs.get("image_grid_thw")
if image_grid_thw isnotNone:
    image_grid_thw = image_grid_thw.to(torch.long).to("cuda")

 with torch.no_grad():
    outputs = model.generate(
        pixel_values=pixel_values,
        image_grid_thw=image_grid_thw,
        input_ids=input_ids,
        mask_token_id=tokenizer.convert_tokens_to_ids("<|MASK|>"),
        denoising_steps=32,
        gen_length=1024,
        block_length=32,
        temperature=1.0,
        remasking_strategy="low_confidence_dynamic",
        dynamic_threshold=0.95,
        tokenizer=tokenizer,
        stopping_criteria=["<|endoftext|>", "<|im_end|>"],
    )

 output_ids = outputs[0] if isinstance(outputs, tuple) else outputs
text = tokenizer.decode(output_ids[0], skip_special_tokens=False)
for stop in ("<|endoftext|>", "<|im_end|>"):
    text = text.split(stop, 1)[0]
print(text.strip())

端到端頁面解析也支持：

cd /path/to/MinerU-Diffusion
MODEL_PATH=/path/to/model \
IMAGE_PATH=/path/to/input-page.png \
OUTPUT_PATH=/path/to/output.md \
bash scripts/run_end2end.sh

HuggingFace 上也有 Gradio Demo 可以直接體驗：MinerU-Diffusion Demo

這個項目的意義，在我看來不只是"一個更快的 OCR 模型"。它驗證了一個根本性的觀點——OCR 的本質(zhì)是視覺任務(wù)，解碼方式應(yīng)該與任務(wù)本質(zhì)對齊。自回歸解碼是語言模型的標(biāo)配，但 OCR 不是語言生成——你是在讀圖片，不是在寫文章。

MinerU 團(tuán)隊從 MinerU 到 MinerU2.5 再到今天的 MinerU-Diffusion，一路走來持續(xù)在 OCR 領(lǐng)域推動技術(shù)前沿。這次用 Diffusion 思路來解 OCR，確實是一步好棋。

制作不易，如果這篇文章覺得對你有用，可否點個關(guān)注。給我個三連擊：點贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！