從大語言模型到幻覺現(xiàn)象，一文讀懂常見AI術(shù)語

人工智能是一個(gè)龐雜而深?yuàn)W的領(lǐng)域，從事這一領(lǐng)域研究的科學(xué)家們通常依賴專業(yè)術(shù)語來描述自己的工作。因此，在報(bào)道人工智能行業(yè)時(shí)，我們也不可避免地需要頻繁使用這些技術(shù)詞匯。為此，我們整理了一份常見術(shù)語詞匯表，希望幫助讀者更好地理解相關(guān)文章中出現(xiàn)的重要概念。隨著研究人員不斷探索人工智能的新邊界、發(fā)現(xiàn)新興安全風(fēng)險(xiǎn)，我們也將持續(xù)更新這份詞匯表，補(bǔ)充更多新詞條。

AGI（通用人工智能）

通用人工智能（AGI）是一個(gè)定義相對(duì)模糊的概念，但通常指在大多數(shù)任務(wù)上超越普通人類水平的人工智能。OpenAI首席執(zhí)行官Sam Altman曾將AGI描述為"相當(dāng)于你可以雇用的一名普通水平同事"。OpenAI的章程則將AGI定義為"在大多數(shù)具有經(jīng)濟(jì)價(jià)值的工作中超越人類的高度自主系統(tǒng)"。谷歌DeepMind的理解略有不同，該機(jī)構(gòu)認(rèn)為AGI是"在大多數(shù)認(rèn)知任務(wù)上至少與人類同等能力的AI"。對(duì)于這些不同的定義感到困惑？不必?fù)?dān)心——就連人工智能研究前沿的專家們也同樣存在分歧。

AI智能體

AI智能體是指利用人工智能技術(shù)代替用戶執(zhí)行一系列任務(wù)的工具，其能力遠(yuǎn)超普通AI聊天機(jī)器人，例如可以幫你報(bào)銷費(fèi)用、預(yù)訂機(jī)票或餐廳座位，甚至編寫和維護(hù)代碼。不過，這一領(lǐng)域仍處于發(fā)展初期，各方對(duì)"AI智能體"的理解可能不盡相同，相關(guān)基礎(chǔ)設(shè)施也在持續(xù)建設(shè)中。但其核心理念在于：這是一種自主系統(tǒng)，能夠調(diào)用多個(gè)AI系統(tǒng)來完成多步驟任務(wù)。

思維鏈

面對(duì)簡單問題，人類大腦無需過多思考便能作出回答，比如"長頸鹿和貓哪個(gè)更高？"但遇到復(fù)雜問題時(shí)，往往需要借助紙筆來梳理中間步驟。例如，一個(gè)農(nóng)場主養(yǎng)了雞和牛，共有40個(gè)頭、120條腿，要算出雞和牛各有多少只，就需要列方程來求解（答案是各20只）。

在人工智能領(lǐng)域，大語言模型的思維鏈推理是指將問題拆解為若干較小的中間步驟，以提升最終答案的質(zhì)量。這種方式通常需要更長的處理時(shí)間，但得出的答案更為準(zhǔn)確，尤其在邏輯推理和代碼編寫方面表現(xiàn)突出。推理模型是在傳統(tǒng)大語言模型基礎(chǔ)上，通過強(qiáng)化學(xué)習(xí)對(duì)思維鏈思維方式進(jìn)行優(yōu)化后得到的。

算力

算力通常指支撐AI模型運(yùn)行所需的關(guān)鍵計(jì)算能力，是驅(qū)動(dòng)整個(gè)人工智能行業(yè)進(jìn)行模型訓(xùn)練與部署的核心資源。這一術(shù)語有時(shí)也作為提供計(jì)算能力的硬件設(shè)備的簡稱，涵蓋GPU、CPU、TPU等各類構(gòu)成現(xiàn)代AI行業(yè)基礎(chǔ)設(shè)施的硬件形式。

深度學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，其算法采用多層人工神經(jīng)網(wǎng)絡(luò)（ANN）結(jié)構(gòu)設(shè)計(jì)，能夠建立比線性模型或決策樹等簡單機(jī)器學(xué)習(xí)系統(tǒng)更為復(fù)雜的關(guān)聯(lián)關(guān)系。深度學(xué)習(xí)算法的結(jié)構(gòu)設(shè)計(jì)靈感來源于人腦神經(jīng)元之間相互連接的傳導(dǎo)路徑。

深度學(xué)習(xí)AI模型能夠自主識(shí)別數(shù)據(jù)中的重要特征，無需人工工程師手動(dòng)定義這些特征。這種結(jié)構(gòu)還支持算法從錯(cuò)誤中學(xué)習(xí)，并通過反復(fù)迭代和調(diào)整來優(yōu)化自身輸出。然而，深度學(xué)習(xí)系統(tǒng)需要海量數(shù)據(jù)（通常達(dá)到數(shù)百萬條以上）才能取得良好效果，且與簡單機(jī)器學(xué)習(xí)算法相比，訓(xùn)練時(shí)間更長，開發(fā)成本也相對(duì)更高。

擴(kuò)散模型

擴(kuò)散模型是許多圖像、音樂和文本生成類AI模型的核心技術(shù)。受物理學(xué)啟發(fā)，擴(kuò)散系統(tǒng)通過持續(xù)向數(shù)據(jù)（如圖片、音頻等）中添加噪聲，逐步"破壞"數(shù)據(jù)結(jié)構(gòu)，直至數(shù)據(jù)完全消失。在物理學(xué)中，擴(kuò)散過程是自發(fā)且不可逆的——溶入咖啡中的糖無法還原為方糖。而AI中的擴(kuò)散系統(tǒng)則致力于學(xué)習(xí)一種"逆向擴(kuò)散"過程，從噪聲中還原被破壞的數(shù)據(jù)，從而具備從噪聲生成內(nèi)容的能力。

蒸餾

蒸餾是一種從大型AI模型中提取知識(shí)的技術(shù)，采用"教師-學(xué)生"模型的方式實(shí)現(xiàn)。開發(fā)者向教師模型發(fā)送請求并記錄其輸出結(jié)果，有時(shí)會(huì)將這些答案與數(shù)據(jù)集進(jìn)行比對(duì)以評(píng)估準(zhǔn)確性，隨后將這些輸出用于訓(xùn)練學(xué)生模型，使其學(xué)會(huì)近似模擬教師模型的行為。

蒸餾技術(shù)可以在蒸餾損失極小的情況下，基于大型模型創(chuàng)建出更小、更高效的模型。OpenAI的GPT-4 Turbo（GPT-4的加速版本）很可能就是通過這一方式開發(fā)的。

雖然所有AI公司都會(huì)在內(nèi)部使用蒸餾技術(shù)，但也有一些公司可能借助蒸餾對(duì)手的模型來追趕前沿水平。對(duì)競爭對(duì)手的模型進(jìn)行蒸餾通常違反AI API及聊天助手的服務(wù)條款。

微調(diào)

微調(diào)是指對(duì)已有AI模型進(jìn)行進(jìn)一步訓(xùn)練，以優(yōu)化其在特定任務(wù)或領(lǐng)域上的表現(xiàn)——通常通過輸入新的專業(yè)化（即面向特定任務(wù)的）數(shù)據(jù)來實(shí)現(xiàn)。

許多AI初創(chuàng)公司以大語言模型為基礎(chǔ)開發(fā)商業(yè)產(chǎn)品，并通過基于自身領(lǐng)域知識(shí)和專業(yè)經(jīng)驗(yàn)的微調(diào)來提升產(chǎn)品在目標(biāo)行業(yè)或任務(wù)上的實(shí)用價(jià)值。

GAN（生成對(duì)抗網(wǎng)絡(luò)）

GAN，即生成對(duì)抗網(wǎng)絡(luò)，是一種機(jī)器學(xué)習(xí)框架，是生成式AI在生成逼真數(shù)據(jù)（包括但不限于深度偽造工具）方面的重要技術(shù)基礎(chǔ)。GAN由一對(duì)神經(jīng)網(wǎng)絡(luò)組成：一個(gè)網(wǎng)絡(luò)根據(jù)訓(xùn)練數(shù)據(jù)生成輸出，并將結(jié)果傳遞給另一個(gè)網(wǎng)絡(luò)進(jìn)行評(píng)估；后者作為判別器，對(duì)生成器的輸出進(jìn)行分類判斷，從而推動(dòng)其不斷改進(jìn)。

GAN的結(jié)構(gòu)建立在"對(duì)抗"競爭機(jī)制之上——兩個(gè)模型相互博弈：生成器努力讓自己的輸出通過判別器的審查，而判別器則持續(xù)識(shí)別人工生成的數(shù)據(jù)。這種競爭機(jī)制無需額外人工干預(yù)，就能優(yōu)化AI輸出，使其更加逼真。不過，GAN更適合較為垂直的應(yīng)用場景（如生成逼真的圖片或視頻），而非通用型AI任務(wù)。

幻覺

幻覺是AI行業(yè)對(duì)模型"憑空捏造"信息這一現(xiàn)象的專業(yè)術(shù)語，即模型生成了錯(cuò)誤的信息內(nèi)容，這顯然是影響AI質(zhì)量的重大問題。

幻覺現(xiàn)象會(huì)導(dǎo)致生成式AI輸出具有誤導(dǎo)性的內(nèi)容，甚至可能引發(fā)現(xiàn)實(shí)風(fēng)險(xiǎn)——例如，對(duì)健康問題的查詢返回了有害的醫(yī)療建議。正因如此，大多數(shù)生成式AI工具的使用條款中都會(huì)提示用戶核實(shí)AI生成的答案，盡管這類免責(zé)聲明往往遠(yuǎn)不如AI輸出內(nèi)容本身顯眼。

AI憑空捏造信息的問題，被認(rèn)為是訓(xùn)練數(shù)據(jù)存在缺口所導(dǎo)致的。對(duì)于通用型生成式AI（也稱為基礎(chǔ)模型）而言，這一問題尤為難以解決——現(xiàn)有數(shù)據(jù)量根本不足以訓(xùn)練AI模型來全面應(yīng)對(duì)人類可能提出的所有問題。簡言之，我們尚未創(chuàng)造出"全知全能"的系統(tǒng)。

幻覺現(xiàn)象正在推動(dòng)越來越多的垂直化、專業(yè)化AI模型的涌現(xiàn)——即聚焦于特定領(lǐng)域的AI，以減少知識(shí)盲區(qū)、降低錯(cuò)誤信息風(fēng)險(xiǎn)。

推理（Inference）

推理是運(yùn)行AI模型的過程，即讓模型基于已學(xué)習(xí)的數(shù)據(jù)做出預(yù)測或得出結(jié)論。需要注意的是，推理必須建立在訓(xùn)練的基礎(chǔ)之上——模型必須先從數(shù)據(jù)中學(xué)習(xí)規(guī)律，才能有效地進(jìn)行推斷。

許多類型的硬件都可以執(zhí)行推理任務(wù)，從智能手機(jī)處理器到高性能GPU，再到專為AI設(shè)計(jì)的加速芯片，不一而足。但不同硬件的推理能力差異顯著——在筆記本電腦上運(yùn)行超大模型可能極為緩慢，而在配備高端AI芯片的云服務(wù)器上則能流暢運(yùn)行。

大語言模型（LLM）

大語言模型是ChatGPT、Claude、谷歌Gemini、Meta的Llama、微軟Copilot、Mistral的Le Chat等主流AI助手所采用的核心AI模型。當(dāng)你與AI助手對(duì)話時(shí)，實(shí)際上是在與一個(gè)大語言模型交互，它會(huì)直接處理你的請求，或借助網(wǎng)頁瀏覽、代碼解釋器等工具來響應(yīng)。

AI助手與大語言模型可能有不同的名稱，例如GPT是OpenAI的大語言模型，而ChatGPT則是面向用戶的AI助手產(chǎn)品。

大語言模型是由數(shù)十億數(shù)值參數(shù)（即權(quán)重）構(gòu)成的深度神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習(xí)詞匯和短語之間的關(guān)系，構(gòu)建出一種語言的多維度表征——類似于詞語的多維地圖。

這些模型通過對(duì)數(shù)十億本書籍、文章和文字記錄中的規(guī)律進(jìn)行編碼來構(gòu)建而成。當(dāng)你向大語言模型發(fā)出提示時(shí)，模型會(huì)生成最符合該提示的模式，并基于上下文不斷預(yù)測下一個(gè)最可能出現(xiàn)的詞語，如此循環(huán)往復(fù)。

內(nèi)存緩存

內(nèi)存緩存是一種重要的優(yōu)化機(jī)制，用于提升推理效率（即AI生成用戶查詢響應(yīng)的過程）。AI運(yùn)算本質(zhì)上依賴大量數(shù)學(xué)計(jì)算，每次計(jì)算都會(huì)消耗計(jì)算資源。緩存技術(shù)通過保存特定計(jì)算結(jié)果以供后續(xù)查詢復(fù)用，減少模型重復(fù)運(yùn)算的次數(shù)。常見的緩存方式之一是KV緩存（鍵值緩存），它適用于基于Transformer的模型，通過減少生成答案所需的計(jì)算量和時(shí)間，顯著提升推理效率。

神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的多層算法結(jié)構(gòu)基礎(chǔ)，也是大語言模型興起后整個(gè)生成式AI浪潮的技術(shù)根基。

受人腦密集互聯(lián)神經(jīng)通路的啟發(fā)，將其作為數(shù)據(jù)處理算法設(shè)計(jì)結(jié)構(gòu)的構(gòu)想最早可追溯至20世紀(jì)40年代。然而，真正釋放這一理論潛力的，是通過游戲產(chǎn)業(yè)發(fā)展成熟的圖形處理單元（GPU）的興起。這類芯片非常適合訓(xùn)練層數(shù)遠(yuǎn)超以往的算法，使基于神經(jīng)網(wǎng)絡(luò)的AI系統(tǒng)在語音識(shí)別、自動(dòng)駕駛、藥物研發(fā)等眾多領(lǐng)域取得了顯著的性能提升。

RAMageddon（內(nèi)存危機(jī)）

RAMageddon是業(yè)界為一個(gè)嚴(yán)峻趨勢新創(chuàng)的詞匯——隨機(jī)存取存儲(chǔ)器（RAM）芯片的持續(xù)短缺正席卷整個(gè)科技行業(yè)。隨著人工智能產(chǎn)業(yè)的蓬勃發(fā)展，各大科技公司和AI實(shí)驗(yàn)室為了打造更強(qiáng)大、更高效的AI，爭相大量采購RAM用于數(shù)據(jù)中心建設(shè)，導(dǎo)致市場上剩余供應(yīng)嚴(yán)重不足，價(jià)格也隨之節(jié)節(jié)攀升。

這一短缺波及多個(gè)行業(yè)：游戲領(lǐng)域的主要廠商不得不提高游戲主機(jī)售價(jià)；消費(fèi)電子領(lǐng)域的內(nèi)存短缺可能引發(fā)十余年來最大規(guī)模的智能手機(jī)出貨量下滑；企業(yè)計(jì)算領(lǐng)域的公司也因無法獲得足夠的RAM而面臨數(shù)據(jù)中心擴(kuò)容難題。預(yù)計(jì)只有當(dāng)短缺問題得到緩解，價(jià)格上漲才會(huì)停止——但目前來看，這一局面短期內(nèi)難以改變。

訓(xùn)練

開發(fā)機(jī)器學(xué)習(xí)AI涉及一個(gè)稱為"訓(xùn)練"的過程——簡單來說，就是向模型輸入數(shù)據(jù)，讓它從中學(xué)習(xí)規(guī)律并生成有用的輸出。

在這一階段，事情往往變得有些耐人尋味：訓(xùn)練之前，用于構(gòu)建學(xué)習(xí)系統(tǒng)的數(shù)學(xué)結(jié)構(gòu)不過是一堆層次和隨機(jī)數(shù)字，真正賦予AI模型形態(tài)和能力的，正是訓(xùn)練過程本身。本質(zhì)上，這是一個(gè)系統(tǒng)響應(yīng)數(shù)據(jù)特征、不斷調(diào)整輸出以趨近目標(biāo)的過程——無論目標(biāo)是識(shí)別貓的圖片，還是按需生成一首俳句。

需要注意的是，并非所有AI都需要訓(xùn)練。基于規(guī)則、依照人工預(yù)定義指令運(yùn)行的AI系統(tǒng)（如線性聊天機(jī)器人）無需訓(xùn)練，但這類系統(tǒng)的能力通常不及經(jīng)過充分訓(xùn)練的自學(xué)習(xí)系統(tǒng)。

訓(xùn)練的成本往往較高，因?yàn)樾枰罅枯斎霐?shù)據(jù)，且模型所需的數(shù)據(jù)量總體呈上升趨勢。有時(shí)可以采用混合方法來加速模型開發(fā)并控制成本，例如對(duì)基于規(guī)則的AI進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的微調(diào)——與從零開始構(gòu)建相比，這種方式所需的數(shù)據(jù)量、算力、能耗和算法復(fù)雜度都更低。

Token

在人機(jī)交流中，存在一些顯而易見的挑戰(zhàn)：人類使用自然語言溝通，而AI程序則通過由數(shù)據(jù)驅(qū)動(dòng)的復(fù)雜算法流程來執(zhí)行任務(wù)和響應(yīng)查詢。簡而言之，Token是人機(jī)交互的基本構(gòu)建單元，代表大語言模型已處理或生成的離散數(shù)據(jù)片段。

Token通過"分詞"（tokenization）過程生成——該過程將原始數(shù)據(jù)拆分并細(xì)化為大語言模型可消化的獨(dú)立單元。這與軟件編譯器將人類語言轉(zhuǎn)換為計(jì)算機(jī)可讀二進(jìn)制代碼的原理類似，分詞過程將用戶查詢中的自然語言轉(zhuǎn)化為AI程序可理解的形式，以便生成響應(yīng)。

Token主要分為幾種類型：輸入Token（響應(yīng)用戶查詢時(shí)生成的Token）、輸出Token（大語言模型回復(fù)用戶請求時(shí)生成的Token）以及推理Token（涉及用戶請求中更復(fù)雜、更耗時(shí)任務(wù)和流程的Token）。

在企業(yè)AI應(yīng)用中，Token用量直接決定使用成本。由于Token等同于模型處理的數(shù)據(jù)量，它已成為AI行業(yè)服務(wù)變現(xiàn)的計(jì)量單位——大多數(shù)AI公司按Token數(shù)量收取大語言模型的使用費(fèi)用。因此，企業(yè)使用AI程序（如ChatGPT）消耗的Token越多，需要向AI服務(wù)提供商（如OpenAI）支付的費(fèi)用也就越高。

遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種以已訓(xùn)練好的AI模型為起點(diǎn)，針對(duì)不同但通常相關(guān)的任務(wù)開發(fā)新模型的技術(shù)，使此前訓(xùn)練周期中積累的知識(shí)得以復(fù)用。

遷移學(xué)習(xí)能夠通過縮短模型開發(fā)流程來提升效率，在目標(biāo)任務(wù)的可用數(shù)據(jù)較為有限時(shí)尤為實(shí)用。但需要注意的是，這一方法也存在局限性——依賴遷移學(xué)習(xí)獲取通用能力的模型，通常還需要針對(duì)其專注領(lǐng)域進(jìn)行額外的數(shù)據(jù)訓(xùn)練，才能在該領(lǐng)域取得良好表現(xiàn)。

權(quán)重

權(quán)重是AI訓(xùn)練的核心要素，決定了訓(xùn)練數(shù)據(jù)中不同特征（輸入變量）所被賦予的重要程度，從而影響AI模型的輸出結(jié)果。

換句話說，權(quán)重是一組數(shù)值參數(shù)，定義了數(shù)據(jù)集中哪些內(nèi)容對(duì)于給定訓(xùn)練任務(wù)最為關(guān)鍵，并通過與輸入值相乘來實(shí)現(xiàn)其功能。模型訓(xùn)練通常從隨機(jī)分配的權(quán)重開始，隨著訓(xùn)練過程的推進(jìn)，權(quán)重會(huì)不斷調(diào)整，引導(dǎo)模型輸出越來越接近目標(biāo)結(jié)果。

以預(yù)測房價(jià)的AI模型為例：基于目標(biāo)地區(qū)歷史房地產(chǎn)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，模型會(huì)為臥室數(shù)量、衛(wèi)生間數(shù)量、是否為獨(dú)立住宅、是否有停車位和車庫等特征賦予相應(yīng)權(quán)重——這些權(quán)重反映了各項(xiàng)因素對(duì)房產(chǎn)價(jià)值的影響程度。

本文將持續(xù)更新，不斷補(bǔ)充新內(nèi)容。

Q&A

Q1：什么是AI幻覺？為什么會(huì)出現(xiàn)這個(gè)問題？

A：AI幻覺是指AI模型生成錯(cuò)誤或虛假信息的現(xiàn)象。這一問題被認(rèn)為源于訓(xùn)練數(shù)據(jù)的缺口——現(xiàn)有數(shù)據(jù)量不足以覆蓋人類可能提出的所有問題。幻覺現(xiàn)象可能導(dǎo)致生成式AI輸出具有誤導(dǎo)性的內(nèi)容，甚至帶來現(xiàn)實(shí)風(fēng)險(xiǎn)，例如對(duì)健康查詢返回有害的醫(yī)療建議。目前大多數(shù)生成式AI工具都會(huì)在使用條款中提示用戶核實(shí)AI生成的內(nèi)容。

Q2：大語言模型的Token是怎么計(jì)費(fèi)的？

A：Token是大語言模型處理和生成內(nèi)容的基本單位，相當(dāng)于模型處理的數(shù)據(jù)量。大多數(shù)AI公司按Token數(shù)量收取服務(wù)費(fèi)用，分為輸入Token（用戶發(fā)送的查詢內(nèi)容）和輸出Token（模型生成的回復(fù)內(nèi)容）兩類。企業(yè)使用AI程序消耗的Token越多，需要支付的費(fèi)用也就越高，因此Token用量是企業(yè)控制AI使用成本的重要指標(biāo)。

Q3：AGI和普通AI有什么區(qū)別？

A：普通AI通常只能在特定任務(wù)上表現(xiàn)出色，而AGI（通用人工智能）則指在大多數(shù)任務(wù)上達(dá)到或超越人類水平的AI系統(tǒng)。目前各方對(duì)AGI的定義不盡相同：OpenAI將其描述為"相當(dāng)于可雇用的普通水平同事"，谷歌DeepMind則認(rèn)為AGI是"在大多數(shù)認(rèn)知任務(wù)上至少與人類同等能力的AI"。目前AGI尚未真正實(shí)現(xiàn)，連AI研究前沿的專家們對(duì)其定義也存在分歧。