生成式分位數(shù)貝葉斯預(yù)測(cè)

Generative Quantile Bayesian Prediction

生成式分位數(shù)貝葉斯預(yù)測(cè)

https://arxiv.org/pdf/2510.21784

摘要

預(yù)測(cè)是機(jī)器學(xué)習(xí)的核心任務(wù)。我們的目標(biāo)是利用生成式貝葉斯預(yù)測(cè)（GBP）解決大規(guī)模預(yù)測(cè)問題。通過直接學(xué)習(xí)預(yù)測(cè)分位數(shù)而非概率密度，我們?cè)诶碚摵蛯?shí)踐上獲得了諸多優(yōu)勢(shì)。我們將該方法與包括共形預(yù)測(cè)、基準(zhǔn)預(yù)測(cè)以及邊際似然在內(nèi)的前沿方法進(jìn)行了對(duì)比。我們方法的突出特點(diǎn)是利用生成式方法來構(gòu)建預(yù)測(cè)分位數(shù)圖。我們通過正態(tài)-正態(tài)學(xué)習(xí)和因果推斷的案例來展示該方法。最后，我們對(duì)未來的研究方向進(jìn)行了總結(jié)。

關(guān)鍵詞：生成式方法，貝葉斯預(yù)測(cè)，深度學(xué)習(xí)，共形預(yù)測(cè)，分位數(shù)神經(jīng)網(wǎng)絡(luò)，不確定性量化

1 引言

預(yù)測(cè)是現(xiàn)代機(jī)器學(xué)習(xí)的核心任務(wù)。我們的目標(biāo)是提供一個(gè)大規(guī)模預(yù)測(cè)框架。Efron [2020] 闡述了這對(duì)現(xiàn)代統(tǒng)計(jì)方法如何構(gòu)成挑戰(zhàn)，以及深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林等純粹的“黑箱”方法 [Breiman, 2001] 如何可能超越傳統(tǒng)的統(tǒng)計(jì)回歸方法。Hill [1968] 提出了一種無需指定先驗(yàn)分布的貝葉斯推斷方法，隨后 Lei 和 Wasserman [2014] 將其推廣至回歸情形。我們專注于直接對(duì)預(yù)測(cè)分位數(shù)函數(shù)進(jìn)行建模的生成式貝葉斯方法，因而無需涉及似然函數(shù)和先驗(yàn)分布。正如 Ritov [2025] 近期所指出的，這一特性在高維問題中尤為重要。我們的方法建立在 Parzen (2004, 2009) 發(fā)展的分位數(shù)推斷框架之上，我們將對(duì)此進(jìn)行詳細(xì)闡述。

我們的方法為機(jī)器學(xué)習(xí)中廣泛使用的共形預(yù)測(cè)方法提供了一種替代方案。條件生成建模的基本洞見在于，它可以借助非參數(shù)分位數(shù)回歸 [White, 1992] 來實(shí)現(xiàn)。具體而言，我們希望找到一個(gè)分位數(shù)函數(shù)族，用以描述在給定 X 的條件下，輸出變量 Y 的預(yù)測(cè)分布，其表達(dá)式為：

我們的研究也建立在隱含分位數(shù)神經(jīng)網(wǎng)絡(luò)文獻(xiàn) Dabney 等人 [2018] 以及 Polson 和 Sokolov [2023] 的生成式貝葉斯建?？蚣苤?。

我們旨在直接找到 Breiman [2001] 所提出的預(yù)測(cè)規(guī)則。我們將規(guī)避對(duì)參數(shù)的使用。存在三種方式來表述條件預(yù)測(cè)期望：
(1) 使用密度函數(shù)，
(2) 使用生存函數(shù)，以及
(3) 使用分位數(shù)。

在貝葉斯框架中，預(yù)測(cè)密度的計(jì)算需要通過積分來求取邊際密度。

在貝葉斯框架中，預(yù)測(cè)密度的計(jì)算需要通過積分來求取邊際密度。這可以通過馬爾可夫鏈蒙特卡洛（MCMC）方法實(shí)現(xiàn)。而在生成式人工智能（Polson 和 Sokolov [2023]）中，我們直接將逆條件累積分布函數(shù)
建模為一個(gè)神經(jīng)網(wǎng)絡(luò)映射。

盡管我們的方法在某種意義上“免先驗(yàn)”且“免似然”——因?yàn)槲覀儧]有明確指定這些量——但必須認(rèn)識(shí)到，該方法隱含著特定的假設(shè)。神經(jīng)網(wǎng)絡(luò)架構(gòu)、損失函數(shù)和正則化的選擇，共同定義了我們所能表示的一類條件分布。理解這一隱含類的性質(zhì)，仍然是一個(gè)重要的理論研究方向。在我們所舉的正態(tài)-正態(tài)學(xué)習(xí)例子中，其與王（Wang）扭曲函數(shù)的聯(lián)系提供了有價(jià)值的理論見解。這表明，我們的分位數(shù)更新過程可以被解釋為運(yùn)用一個(gè)扭曲函數(shù)，將先驗(yàn)分布轉(zhuǎn)換為后驗(yàn)分布。對(duì)神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)的扭曲函數(shù)類進(jìn)行刻畫，將為架構(gòu)設(shè)計(jì)提供理論指導(dǎo)。

考慮一個(gè)純粹的預(yù)測(cè)問題。“純粹”這一形容詞的合理性在于，算法專注于預(yù)測(cè)而忽略估計(jì)與歸因（Efron [2020]）。其基本策略很簡(jiǎn)單：直接追求高預(yù)測(cè)精度，而無需擔(dān)憂“信號(hào)加噪聲”這類模型。這種做法具有一些顯著的優(yōu)點(diǎn)，但也存在一些缺點(diǎn)。具體而言，假設(shè)我們擁有輸入-輸出數(shù)據(jù)對(duì)
。不同的純粹預(yù)測(cè)算法彼此之間可能差異很大。其中結(jié)構(gòu)最不復(fù)雜且最易于描述的是隨機(jī)森林（Breiman [2001]）。近期的研究則集中于共形預(yù)測(cè)和預(yù)測(cè)驅(qū)動(dòng)的推斷。

貝葉斯推斷的一個(gè)核心原則是一致性：要求所有的概率陳述和預(yù)測(cè)在內(nèi)部保持一致，并從一個(gè)單一的聯(lián)合概率模型中推導(dǎo)出來。這種一致性是通過為參數(shù)指定一個(gè)先驗(yàn)分布來實(shí)現(xiàn)的，然后根據(jù)觀測(cè)數(shù)據(jù)，通過貝葉斯定理對(duì)該分布進(jìn)行更新。

我們的研究建立在Parzen [2004, 2009]的統(tǒng)計(jì)框架之上，他證明了貝葉斯規(guī)則對(duì)于分位數(shù)而言是函數(shù)的復(fù)合（疊加）。因此，我們可以利用分位數(shù)神經(jīng)網(wǎng)絡(luò)（Polson等人 [2024], Polson和Sokolov [2023]），將預(yù)測(cè)問題替換為一個(gè)基于非參數(shù)分布匹配（Lu和Wong [2025]）的問題。

分位數(shù)貝葉斯預(yù)測(cè)
此方法已廣泛應(yīng)用于分布決策領(lǐng)域 [Dabney 等人 [2017], Polson 等人 [2024]] 和計(jì)量經(jīng)濟(jì)學(xué) [Chernozhukov 等人 [2010, 2021]]。雖然經(jīng)典的分位數(shù)方法是為單變量開發(fā)的 [Koenker [2005]]，但最近已有多種針對(duì)多變量情況提出的方法 [Carlier 等人 [2016], Kim 等人 [2025]]。這些方法需要使用神經(jīng)網(wǎng)絡(luò)來訓(xùn)練從估計(jì)中獲得的傳輸映射。

共形預(yù)測(cè) 這是一種統(tǒng)計(jì)技術(shù)，它提供了一個(gè)靈活的框架，用以構(gòu)建具有指定置信水平的預(yù)測(cè)區(qū)間或集合，且不依賴于基礎(chǔ)數(shù)據(jù)分布。其工作原理是通過一個(gè)非合群度量，評(píng)估新數(shù)據(jù)點(diǎn)與一組先前觀測(cè)數(shù)據(jù)的符合程度，以此量化新觀測(cè)相對(duì)于現(xiàn)有數(shù)據(jù)的異?；虻湫统潭?。借助可交換性的概念，共形預(yù)測(cè)確保所構(gòu)建的預(yù)測(cè)區(qū)間或集合具有有效的覆蓋概率，這意味著即使在有限樣本下，它們也能以預(yù)先設(shè)定的概率包含響應(yīng)變量的真實(shí)值。這使得共形預(yù)測(cè)成為機(jī)器學(xué)習(xí)和統(tǒng)計(jì)推斷中不確定性量化的有力工具，因?yàn)樗峁┝伺c分布無關(guān)、模型無關(guān)的預(yù)測(cè)可靠性保證。Angelopoulos 等人 [2022] 和 Angelopoulos 等人 [2023] 描述了共形預(yù)測(cè)方法的使用。我們將證明，生成式分位數(shù)貝葉斯方法是進(jìn)行預(yù)測(cè)推斷的一種自然方法。Polson 和 Sokolov [2023] 為推斷開發(fā)了這些方法，Polson 等人 [2024] 則將其用于強(qiáng)化學(xué)習(xí)。然而，盡管共形映射提供了不確定性量化，它們并不必然導(dǎo)致一致的推斷，并且可能隱含了一個(gè)具有不存在先驗(yàn)的模型。

預(yù)測(cè)與基準(zhǔn)推斷 從基準(zhǔn)預(yù)測(cè)分布導(dǎo)出的預(yù)測(cè)區(qū)間，并不自動(dòng)具備共形預(yù)測(cè)區(qū)間所特有的、強(qiáng)大的、有限樣本的、與分布無關(guān)的邊際覆蓋保證?；鶞?zhǔn)預(yù)測(cè)區(qū)間的頻率覆蓋性質(zhì)可能很復(fù)雜，并且可能依賴于所使用的特定模型和基準(zhǔn)論證的性質(zhì) [Liu 和 Martin, 2024]。相比之下，共形預(yù)測(cè)通過構(gòu)造，利用可交換數(shù)據(jù)上的非合群分?jǐn)?shù)進(jìn)行校準(zhǔn)步驟，來實(shí)現(xiàn)其保證。

分位數(shù)回歸在給定某些預(yù)測(cè)變量的條件下，對(duì)響應(yīng)變量的條件分位數(shù)（或百分位數(shù)）進(jìn)行建模，而經(jīng)典回歸則是對(duì)條件均值進(jìn)行建模。這使得我們能夠更全面地理解變量之間的關(guān)系，特別是當(dāng)響應(yīng)變量的條件分布非正態(tài)，或關(guān)注分布的不同部分（例如，第10百分位數(shù)、中位數(shù)、第90百分位數(shù)）時(shí)。它對(duì)于具有異方差性的數(shù)據(jù)尤其有用，因?yàn)樗梢越７植嫉碾x散程度如何隨預(yù)測(cè)變量變化。廣義基準(zhǔn)推斷 [Hannig 等人, 2016]。后驗(yàn)預(yù)測(cè)檢驗(yàn) [Box, 1980] 和 [Sinharay 和 Stern, 2003]。

Hannig 等人 [2016] 將這一思想推廣到生成式方法，例如深度基準(zhǔn)預(yù)測(cè)。盡管該方法無需指定似然函數(shù)和先驗(yàn)分布，但其中無疑隱含了一個(gè)先驗(yàn)。具體而言，Hannig 指出，該先驗(yàn)是“經(jīng)驗(yàn)”杰弗里斯先驗(yàn)。它涉及觀測(cè)信息與期望信息的比較，以及三明治估計(jì)量。這為這類默認(rèn)貝葉斯程序提供了一個(gè)很好的解釋。

本質(zhì)上， ∣ d u / d θ ∣ 即是該隱含先驗(yàn)。經(jīng)驗(yàn)杰弗里斯先驗(yàn)源于拉普拉斯近似。對(duì)于預(yù)測(cè)問題，其思想是相同的。

一種由Leonard [1976]提出的替代方法被稱為逆向預(yù)測(cè)貝葉斯，它反向應(yīng)用了貝葉斯定理。對(duì)于未來數(shù)據(jù) z z和當(dāng)前數(shù)據(jù) x x，反向應(yīng)用貝葉斯定理可得：

1.1 估計(jì)方法

核方法得到了眾多泛化界的支持，這些泛化界通常表現(xiàn)為描述基于核的估計(jì)器性能極限的不等式。一個(gè)特別重要的例子是k-近鄰（k-NN）的貝葉斯風(fēng)險(xiǎn)，它可以在核框架下表達(dá)為：

Schmidt-Hieber 和 Zamolodtchikov [2024] 展示了如何將核方法用于生成式方法。

1.2 分位數(shù)神經(jīng)網(wǎng)絡(luò)

分位數(shù)神經(jīng)網(wǎng)絡(luò)擴(kuò)展了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，使其能夠估計(jì)條件分位數(shù)，而不僅僅是條件均值，這使得它們對(duì)于在特征空間中方差發(fā)生變化的異方差數(shù)據(jù)尤其有價(jià)值。該方法結(jié)合了神經(jīng)網(wǎng)絡(luò)架構(gòu)的靈活性與分位數(shù)回歸的統(tǒng)計(jì)特性 [Koenker, 2005]。

分位數(shù)損失函數(shù)是凸函數(shù)，并提供不對(duì)稱的懲罰，這促使網(wǎng)絡(luò)學(xué)習(xí)第 τ 分位的條件分位數(shù)。當(dāng) τ = 0.5 時(shí)，該函數(shù)簡(jiǎn)化為平均絕對(duì)誤差，對(duì)應(yīng)于中位數(shù)回歸。

我們使用條件分位數(shù)神經(jīng)網(wǎng)絡(luò)（亦稱為隱式分位數(shù)神經(jīng)網(wǎng)絡(luò) IQN）[Dabney et al., 2018]。我們希望估計(jì)一個(gè)函數(shù)：

2 生成貝葉斯預(yù)測(cè)

預(yù)測(cè)貝葉斯充分性存在許多預(yù)測(cè)充分統(tǒng)計(jì)量，包括針對(duì)指數(shù)族和降維方法的統(tǒng)計(jì)量 [Ressel, 1985]。

神經(jīng)網(wǎng)絡(luò)估計(jì)有多種方法可用于條件分位數(shù)函數(shù)的神經(jīng)網(wǎng)絡(luò)估計(jì)。White [1992] 為非參數(shù)條件分位數(shù)估計(jì)提供了理論基礎(chǔ)，并在計(jì)量經(jīng)濟(jì)學(xué)文獻(xiàn)中確立了一致性結(jié)果。在此基礎(chǔ)之上，Polson 和 Sokolov [2023] 遵循 Schmidt-Hieber 的理論框架，開發(fā)了使用 ReLU 網(wǎng)絡(luò)的方法 [Schmidt-Hieber, 2020]。這些方法也融入了基于核的技術(shù)，類似于近似貝葉斯計(jì)算（ABC）中使用的局部加窗技術(shù)。

Kim 等人 [2025] 提出了用于多元分位數(shù)回歸的深度學(xué)習(xí)方法，將經(jīng)典的單變量方法擴(kuò)展到處理復(fù)雜的多元依賴關(guān)系。他們的框架使用神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)條件分位數(shù)函數(shù)，避免了對(duì)顯式分布假設(shè)的需求。

Lu 和 Wong [2025] 的方法側(cè)重于非參數(shù)分布匹配，這與 ABC 方法有相似之處。其核心見解在于，通過以形如 I ( D ( ? , ? ) < ? )
的指示函數(shù)為條件（其中 D D表示預(yù)測(cè)密度之間的距離度量），可以將無限維問題降維。

一個(gè)關(guān)鍵的考慮因素是預(yù)測(cè)密度之間距離度量 D D的選擇。推土機(jī)距離（EMD）為比較分布提供了一個(gè)自然的度量標(biāo)準(zhǔn)。當(dāng)處理來自分布的樣本時(shí)，問題轉(zhuǎn)變?yōu)槿绾斡行У販y(cè)量距離，從而引出了非參數(shù)密度估計(jì)問題。盡管 Bishop [1994] 在密度估計(jì)方面應(yīng)對(duì)了這一挑戰(zhàn)，但直接處理分位數(shù)在計(jì)算和理論上具有優(yōu)勢(shì)。

3 應(yīng)用
Efron 示例一個(gè)具有未知期望 θ 的正態(tài)分布作為動(dòng)機(jī)示例，

正態(tài)學(xué)習(xí)考慮正態(tài)分布混合的預(yù)測(cè)分位數(shù)函數(shù)。我們發(fā)現(xiàn)，相較于處理密度混合，直接處理分位數(shù)混合更具優(yōu)勢(shì)。這種方法利用了Wang扭曲映射框架進(jìn)行分位數(shù)更新。

對(duì)于兩成分正態(tài)分布混合，我們可以展示分位數(shù)是如何通過學(xué)習(xí)過程更新的。依據(jù) Shen 等人 [2002] 的研究，預(yù)測(cè)分位數(shù)函數(shù)的形式如下：

該公式與 Wang [2000] 的扭曲深度學(xué)習(xí)框架自然銜接，該框架為貝葉斯預(yù)測(cè)問題中的分位數(shù)更新提供了一種神經(jīng)網(wǎng)絡(luò)方法。

4 討論

我們提出了一種直接操作預(yù)測(cè)分位數(shù)而非概率密度的生成式貝葉斯預(yù)測(cè)框架，為大規(guī)模預(yù)測(cè)問題提供了一種新方法。我們方法的根本理論依據(jù)是Parzen的復(fù)合分位數(shù)恒等式，該等式表明條件分位數(shù)通過函數(shù)復(fù)合而非積分進(jìn)行更新。這一數(shù)學(xué)性質(zhì)直接轉(zhuǎn)化為計(jì)算優(yōu)勢(shì)：神經(jīng)網(wǎng)絡(luò)憑借其層級(jí)架構(gòu)擅長學(xué)習(xí)復(fù)合函數(shù)，這使我們能夠在保持概率一致性的同時(shí)，規(guī)避傳統(tǒng)貝葉斯預(yù)測(cè)密度所需的昂貴計(jì)算積分。我們的方法為共形預(yù)測(cè)方法提供了一個(gè)引人注目的替代方案，同時(shí)兼具其免似然和免先驗(yàn)的理想特性。然而，共形預(yù)測(cè)通過校準(zhǔn)來實(shí)現(xiàn)與分布無關(guān)的覆蓋，同時(shí)將預(yù)測(cè)模型視為黑箱；與之不同，我們的生成式分位數(shù)方法直接對(duì)條件預(yù)測(cè)分布進(jìn)行建模，并產(chǎn)生與一個(gè)隱含生成模型相一致的預(yù)測(cè)。這種一致性特性在需要概率推理的應(yīng)用中可能具有重要價(jià)值。

與競(jìng)爭(zhēng)框架相比，我們的方法具有顯著優(yōu)勢(shì)。傳統(tǒng)的貝葉斯預(yù)測(cè)推斷需要在后驗(yàn)分布上進(jìn)行積分，這要求指定似然函數(shù)和設(shè)定先驗(yàn)分布，在高維場(chǎng)景下面臨巨大挑戰(zhàn)。基準(zhǔn)推斷雖然也避免了顯式先驗(yàn)，但通常需要對(duì)數(shù)據(jù)生成過程做出很強(qiáng)的結(jié)構(gòu)性假設(shè)。我們基于分位數(shù)的方法僅要求具備通過神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)條件分位數(shù)函數(shù)的能力。從計(jì)算角度看，一旦訓(xùn)練完成，預(yù)測(cè)只需要通過網(wǎng)絡(luò)進(jìn)行一次前向傳播——這是一個(gè)常數(shù)時(shí)間操作，與核方法或基于MCMC的推斷形成鮮明對(duì)比。該方法天然地處理異方差數(shù)據(jù)和分布不對(duì)稱性，可擴(kuò)展到現(xiàn)代深度學(xué)習(xí)架構(gòu)，并通過直接對(duì)條件分位數(shù)建模來適應(yīng)局部數(shù)據(jù)特征。

盡管有其優(yōu)勢(shì)，我們的方法也面臨若干局限。與所有神經(jīng)網(wǎng)絡(luò)方法一樣，分位數(shù)神經(jīng)網(wǎng)絡(luò)需要仔細(xì)的超參數(shù)調(diào)優(yōu)，并且在小樣本情況下可能過擬合。確保分位數(shù)單調(diào)性需要架構(gòu)約束或懲罰項(xiàng)，且其可解釋性可能不如參數(shù)化模型透明。未來的研究有幾個(gè)充滿希望的方向：建立有限樣本或漸近保證、擴(kuò)展到多元輸出空間、通過分位數(shù)處理效應(yīng)發(fā)展與因果推斷的聯(lián)系，以及通過結(jié)構(gòu)化架構(gòu)融入領(lǐng)域知識(shí)。分位數(shù)通過復(fù)合進(jìn)行更新的基本見解，為未來結(jié)合不確定性量化的預(yù)測(cè)研究奠定了堅(jiān)實(shí)基礎(chǔ)。

原文鏈接：https://arxiv.org/pdf/2510.21784