奧斯陸大學團隊發布全球最大多語言歷史語料庫

這項由挪威奧斯陸大學聯合美國康奈爾大學的研究發表于2026年2月的arXiv預印本平臺（論文編號：arXiv:2602.11968v1），感興趣的讀者可以通過該編號查找完整論文。這次研究發布了一個叫作DHPLT的全新語料庫，就像為全球41種語言建立了一個超級歷史檔案館，專門記錄詞匯在不同時代的含義變化軌跡。

想象你翻閱祖父的老日記，會發現他年輕時寫的"網絡"指的是漁網，而現在說"網絡"通常指互聯網。詞匯的含義會隨著時間推移而發生微妙或劇烈的變化，這就像語言的進化過程。過去，研究這種語言進化現象就像考古學家挖掘文物一樣困難，因為缺乏足夠規模和質量的歷史文本資料。特別是除了英語、德語等少數語言之外，絕大多數世界語言都缺乏系統的歷史語料庫。

研究團隊巧妙地利用了互聯網這個巨大的文本寶庫。他們從HPLT項目收集的網絡爬蟲數據中提取了三個時間段的文檔：2011-2015年（早期互聯網時代）、2020-2021年（新冠疫情時代）、2024年至今（最新時代）。每個語言在每個時間段都包含100萬份文檔，總計約590億個詞匯。這就像為每種語言建立了三個時代的語言快照，讓研究者能夠觀察詞匯含義的歷史演變軌跡。

更有趣的是，研究團隊還為每種語言挑選了大約18600個"目標詞匯"，就像選擇了一批語言變化的"觀察對象"。他們不僅提供了原始文本，還預先計算了這些詞匯的各種語義表示，包括詞向量嵌入、上下文嵌入和詞匯替換等。這就像不僅提供了歷史照片，還配備了放大鏡、顯微鏡等各種觀察工具，讓研究者能夠立即開始分析工作，而無需花費大量計算資源重新處理數據。

一、網絡爬蟲時間戳的巧妙運用

傳統的歷史語料庫建設就像修建一座大教堂，需要語言學家花費數十年時間精心收集和整理各個歷史時期的文獻資料。然而，對于世界上絕大多數語言來說，這樣的歷史語料庫幾乎不存在。研究團隊采用了一種創新的"時間考古"方法，將網絡爬蟲的時間戳作為文檔年代的判斷依據。

這種方法的原理就像考古學中的地層學。當考古學家在某個地層發現文物時，可以確定這件文物的年代不會晚于該地層形成的時間。同樣，如果網絡爬蟲在2015年抓取到某個網頁，那么這個網頁的內容創建時間肯定不會晚于2015年。雖然這種方法不如傳統歷史語料庫那樣精確（網頁可能包含更早期創建的內容），但它為大規模多語言歷史研究提供了一個可行的解決方案。

研究團隊分析了HPLT v3.0數據集中不同年份的文檔分布情況，發現2011年是最早的爬取年份，文檔數量在2017年之前相對較少，而2020年之后文檔數量大幅增加，在2020年和2024年達到峰值。基于這些觀察，他們選擇了三個相互間隔至少兩年的時間段，這樣的時間間隔就像給語言變化留出了足夠的"反應時間"，讓詞匯含義的變化更容易被檢測到。

選擇這三個特定時間段還有著特殊的社會歷史背景意義。2011-2015年代表了早期互聯網時代，社交媒體剛剛興起；2020-2021年是全球新冠疫情期間，遠程工作、在線教育等概念迅速普及；而2024年至今則見證了大型語言模型和生成式AI的爆發式發展。這三個時間段就像三個重要的歷史節點，恰好捕捉到了近十年來最重要的社會和技術變革。

二、精心挑選的41種多元化語言

從HPLT v3.0數據集包含的198種語言中篩選出41種語言，這個過程就像從浩瀚的語言海洋中精選出最有代表性的樣本。研究團隊設立了兩個主要篩選標準：每種語言在每個時間段至少要有50萬份文檔，確保有足夠的數據量進行可靠分析；同時要求存在對應的HPLT v3.0 T5單語編碼器-解碼器語言模型，這些模型將用于生成詞匯的上下文嵌入表示。

最終入選的41種語言展現了令人印象深刻的多樣性，覆蓋了12個不同的語系。除了英語、德語、法語等傳統研究熱門語言外，還包括了阿拉伯語、中文、日語、泰米爾語、泰語等非印歐語系的語言。這種語言多樣性就像組建了一個"聯合國語言觀察團"，能夠從不同文化和語言背景下觀察詞匯含義變化的共性和差異。

每種語言的數據量也相當可觀。研究團隊為每個語言的每個時間段隨機采樣了100萬份文檔，如果某個時間段的文檔數量不足100萬，則采樣50萬份。這樣的數據規模相當于為每種語言建立了一個包含數千萬到上億詞匯的歷史文本庫。整個DHPLT語料庫壓縮后約170GB，雖然相比原始HPLT v3.0數據集的50TB來說是大幅精簡，但仍然為研究者提供了豐富的研究材料。

三、目標詞匯的智能篩選策略

為了讓研究更加聚焦和高效，研究團隊為每種語言都精心挑選了一批"目標詞匯"，這個過程就像從詞典中挑選最有可能發生含義變化的候選詞。他們從每種語言對應的T5模型詞匯表開始，這些詞匯表包含32768個詞條，但并非所有詞條都適合作為語義變化研究的對象。

篩選過程采用了多重過濾標準，就像用不同網眼的篩子逐層過濾。首先排除詞匯片段和非完整詞匯，只保留在文本中作為獨立單詞出現的詞條。接著統計這些詞匯在三個時間段中的出現頻率，只保留每個時間段至少出現10次的詞匯，這樣確保有足夠的樣本進行可靠的語義分析。

更進一步，研究團隊只保留名詞、動詞和形容詞這三類最容易發生語義變化的詞性，因為這些詞匯往往承載著更豐富的語義內容。他們還確保所選詞匯都使用該語言的主要文字系統書寫，比如英語必須使用拉丁字母，日語必須包含平假名、片假名或漢字等。

這套精心設計的篩選流程最終為每種語言產生了平均約18600個目標詞匯。這些詞匯就像語言變化的"哨兵"，能夠敏感地反映社會、文化和技術變革對語言的影響。研究團隊還對這些目標詞匯進行了詞形還原處理，將不同詞形（如"thread"、"Thread"、"threads"）歸并到同一個詞根（"thread"）下，這樣能夠更準確地追蹤詞匯語義的變化軌跡。

四、多維度語義表示的預計算

僅僅提供原始文本數據還不夠，就像給研究者一堆礦石卻不提供冶煉工具。研究團隊貼心地預先計算了多種類型的語義表示，讓研究者能夠立即開始分析工作，而無需耗費大量計算資源進行數據預處理。

上下文化詞嵌入是現代語義變化研究的主力工具，就像給每個詞匯配備了一個能夠感知上下文環境的"語義傳感器"。研究團隊利用HPLT v3.0 T5模型為每個目標詞匯的1000個隨機樣本生成了編碼器嵌入表示。這些嵌入向量不僅能夠捕捉詞匯的基本語義，還能反映其在不同上下文中的細微含義差別。

除了T5模型，他們還使用XLM-R多語言模型和HPLT v3.0 GPT-BERT模型生成了額外的上下文嵌入。這種多模型方法就像從不同角度拍攝同一個物體，能夠提供更全面和可靠的語義表示。每種表示方法都有其獨特優勢：T5模型在序列到序列任務上表現出色，XLM-R擅長跨語言理解，而GPT-BERT則在文本生成和理解方面具有優勢。

詞匯替換是另一種重要的語義表示方法，就像為每個詞匯找到一群"同義詞朋友"。研究團隊使用HPLT v3.0 GPT-BERT模型為每個目標詞匯的100個隨機樣本生成了前15個最佳替換詞。這種方法的妙處在于，通過觀察不同時期同一個詞匯的替換詞變化，可以直觀地理解其語義演變過程。比如，"AI"這個詞在早期可能被"游戲角色"等詞匯替換，而現在更多被"ChatGPT"、"機器學習"等詞匯替換。

五、靜態詞向量模型的訓練

盡管上下文化嵌入是當前語義變化研究的主流，但傳統的靜態詞向量仍然具有獨特價值，就像雖然有了彩色照片，黑白照片仍然有其藝術價值。靜態詞向量為每個詞匯提供單一的向量表示，雖然不如上下文嵌入那樣細致入微，但在計算簡單性和結果解釋性方面具有優勢。

研究團隊為每個語言和時間段組合訓練了基于SGNS（Skip-gram with Negative Sampling）架構的word2vec模型。這些模型就像為每個時代的詞匯建立了一張"語義地圖"，相似含義的詞匯在這張地圖上會聚集在一起。訓練參數經過精心調整：窗口大小設為10，訓練5個輪次，采用5個負樣本，嵌入維度為300，詞匯表限制為5萬個最頻繁詞匯。

為了讓不同時期的詞向量模型能夠進行直接比較，研究團隊采用了標準的Procrustes對齊技術。這種對齊方法就像將不同時期的"語義地圖"疊加在一起，讓研究者能夠直觀地觀察詞匯在語義空間中的移動軌跡。具體來說，他們將2011-2015年和2020-2021年的模型對齊到2024年的模型，這樣就能夠計算同一個詞匯在不同時期之間的語義相似度變化。

六、頻率統計的補充作用

除了復雜的語義表示，研究團隊還提供了每個目標詞匯在三個時間段的頻率統計信息。這些頻率數據就像詞匯使用的"體溫計"，能夠反映社會關注度的變化。某個詞匯使用頻率的突然增加往往預示著相關概念的流行或重要事件的發生。

頻率變化與語義變化往往相互關聯。當一個詞匯獲得新含義時，其使用頻率通常會發生顯著變化。比如"病毒"這個詞在2020年疫情期間的使用頻率大幅增加，同時其語義重心也從計算機病毒向生物病毒轉移。研究團隊提供的頻率數據能夠幫助研究者控制頻率效應的影響，更準確地識別純粹的語義變化。

這些頻率統計還有助于研究規劃和計算資源分配。根據Zipf定律，語言中的詞匯頻率分布極不均勻，少數高頻詞占據了大部分使用，而大量低頻詞只偶爾出現。在進行詞匯替換生成等計算密集型任務時，為最不常見的100個目標詞匯尋找樣本往往需要花費一半的時間，頻率信息能夠幫助研究者更好地規劃計算資源。

七、英語"AI"詞匯的語義演變實證

為了驗證DHPLT語料庫的有效性，研究團隊展示了一個極具說服力的案例分析：英語詞匯"AI"（人工智能）在過去十幾年中的語義演變軌跡。這個案例就像一部微縮的科技發展史，生動地展現了技術進步如何在語言中留下印記。

通過靜態詞向量模型分析，研究團隊發現"AI"的語義發生了戲劇性的變化。在2011-2015年的早期時代，"AI"主要與電子游戲相關，其最相似的詞匯包括"multiplayer"（多人游戲）、"NPCs"（非玩家角色）、"RPG"（角色扮演游戲）、"animations"（動畫）和"FPS"（第一人稱射擊）。這反映了當時人工智能概念主要局限在游戲領域，普通大眾對AI的理解還停留在游戲角色的智能行為上。

到了2020-2021年的疫情時代，"AI"的語義開始向更廣泛的技術領域擴展。其相似詞匯轉變為"chatbots"（聊天機器人）、"IoT"（物聯網）、"robotics"（機器人技術）、"RPA"（機器人流程自動化）和"intelligence"（智能）。這個時期正值機器學習和深度學習技術的快速發展，AI開始從游戲娛樂向實際應用場景滲透，但仍然保持著相對技術化的特征。

而到了2024年至今的最新時期，"AI"的語義徹底轉向了生成式人工智能。其相似詞匯變成了"generative"（生成式）、"AI's"、"GenAI"（生成式AI）、"ChatGPT"和"LLMs"（大型語言模型）。這種變化清晰地反映了ChatGPT和其他大型語言模型對公眾AI認知的革命性影響。

八、多語言驗證的一致性發現

令人驚訝的是，這種語義演變模式并非英語獨有，而是在多種語言中都觀察到了相似的趨勢。研究團隊分析了西班牙語中的對應詞匯"IA"（inteligencia artificial），發現了幾乎完全平行的演變軌跡。

在2011-2015年期間，西班牙語的"IA"同樣與游戲相關，其相似詞匯包括"BETA"、"PS"（PlayStation）、"AI"、"jugabilidad"（游戲性）和"artificial"（人工的）。這表明早期的AI概念在不同語言文化中都主要與游戲娛樂聯系在一起。

到了2020-2021年，西班牙語"IA"開始與更廣泛的技術概念關聯，包括"AI"、"artificial"、"algoritmos"（算法）、"learning"（學習）和"inteligencia"（智能）。有趣的是，這個時期的相似詞匯中出現了英語詞匯，反映了AI技術發展的國際化特征和英語在科技領域的主導地位。

到了2024年，西班牙語"IA"也轉向了生成式AI概念，其相似詞匯包括"generativa"（生成式）、"artificial"、"AI"、"inteligencia"和"ChatGPT"。這種跨語言的一致性變化模式強有力地證明了AI技術發展對全球語言的同步影響。

俄語中的對應分析進一步驗證了這一發現。俄語"ИИ"（искусственный интеллект，人工智能）在2020-2021年的相似詞匯包括"интеллект"（智能）、"AI"、"роботов"（機器人）、"блокчейн"（區塊鏈）和"алгоритмы"（算法）。到了2024年，則轉向"интеллект"、"нейросети"（神經網絡）、"ChatGPT"、"AI"和"искусственный"（人工的）。

九、上下文嵌入分析的深入洞察

除了靜態詞向量分析，研究團隊還利用T5編碼器嵌入進行了更精細的語義變化檢測。他們計算了不同時間段表示之間的平均成對距離（APD），這種方法就像測量詞匯在高維語義空間中的"移動距離"。

針對英語詞匯的分析顯示，"ai"確實表現出最大的語義變化，其在不同時期之間的平均距離分別為：2011-2015年到2020-2021年為0.5533，2011-2015年到2024年為0.5646，2020-2021年到2024年為0.48。這些數值清晰地量化了AI概念的語義演變程度。

作為對比，研究團隊還分析了"remote"（遠程）、"legislative"（立法的）和"jurisdiction"（管轄權）等詞匯。"remote"在疫情期間經歷了顯著變化，特別是從2011-2015年到2020-2021年的變化最大，反映了遠程工作概念的興起。而"legislative"和"jurisdiction"作為保守的法律領域術語，其語義變化相對較小，這符合法律用語穩定性的預期。

西班牙語的上下文嵌入分析也展現了相似的模式。對應的西班牙語詞匯"ia"、"remoto"、"legislativo"和"jurisdicción"的變化程度與英語詞匯高度一致，進一步驗證了跨語言語義變化的同步性。

十、詞匯替換分析的補充視角

通過HPLT v3.0 GPT-BERT模型生成的詞匯替換提供了另一個觀察語義變化的獨特視角。這種方法就像為每個詞匯尋找不同時期的"替身演員"，通過觀察這些替身的變化來理解詞匯語義的演變。

對于英語"ai"的詞匯替換分析揭示了更加細致入微的語義變化模式。在2011-2015年期間，"ai"的替換詞主要是非技術性的或與游戲、汽車相關的詞匯。到了2020-2021年，替換詞擴展到更廣泛的技術領域，包括"IoT"、"NLP"、"robotics"、"animation"等，同時出現了反映AI社會影響的詞匯如"cybersecurity"、"humanity"、"innovation"以及各種州名和公司名。

到了2024年，替換詞又發生了有趣的轉變，從技術樂觀主義轉向了更多社會關切，包括"elite"、"censorship"、"communism"、"scammers"、"capitalism"等詞匯。同時還出現了傳統上由人類主導但現在逐漸自動化的領域，如"art"、"healthcare"等。令人意外的是，替換詞中并沒有出現太多與大型語言模型直接相關的術語，而是更多反映了從AI樂觀主義向悲觀主義的轉變。

"remote"詞匯的替換分析也非常有啟發性。在2011-2015年期間，其替換詞主要與網絡和地理距離相關。2020-2021年期間，"virtual"頻繁出現作為替換詞。而到了2024年，替換詞呈現出技術樂觀的模式，類似于2020-2021年期間的"AI"，包括積極的工作相關形容詞如"skilled"、"flexible"、"professional"，以及更廣泛的技術和社會領域詞匯。

十一、數據資源的開放共享

DHPLT項目的一個重要特點是其完全開放的共享理念。所有資源都在Creative Commons CC0許可證下發布，這意味著任何研究者都可以自由使用、修改和分發這些數據，而無需擔心版權限制。這種開放態度就像在學術界建立了一個公共圖書館，讓全世界的研究者都能受益。

整個數據集按語言分類組織，方便研究者根據需要選擇特定語言的數據。每個文檔都包含詳細的元數據信息，包括唯一標識符、時間戳、實際文檔內容和質量評分。這些豐富的元數據就像給每份文檔配備了詳細的"身份證"，讓研究者能夠進行精確的篩選和分析。

研究團隊還開放了完整的處理代碼，任何人都可以使用這些代碼從原始HPLT數據重新生成DHPLT，或者根據不同需求調整時間段劃分和語言選擇。這種透明度確保了研究的可復現性，也為其他研究者提供了定制化的可能性。

除了預處理的語料庫，研究團隊還提供了各種預計算的語義表示，包括不同模型的詞嵌入、上下文嵌入和詞匯替換結果。這些預計算資源就像提供了現成的分析工具包，讓研究者能夠立即開始實驗，而不需要投入大量計算資源進行數據預處理。

十二、研究意義與未來展望

DHPLT項目填補了多語言歷史語義研究的一個重要空白。在此之前，語義變化檢測研究主要局限于少數幾種高資源語言，這就像只能觀察幾個樣本就要得出關于整個群體的結論。現在，研究者可以在41種不同語言上進行比較研究，這為理解語言變化的普遍規律和文化特異性提供了前所未有的機會。

這種大規模多語言資源的意義不僅在于數據規模，更在于它開啟了全新的研究可能性。研究者現在可以探索不同語言中相同概念的演變是否遵循相似模式，可以研究全球化和技術發展如何同步影響不同文化的語言表達，還可以發現某些語義變化是否具有跨文化的普遍性。

從技術角度來看，DHPLT為各種語義變化檢測方法提供了統一的測試平臺。研究者可以在相同的數據基礎上比較不同算法的效果，推動整個領域的技術進步。同時，多種預計算的語義表示也為新方法的開發提供了便利，研究者可以將更多精力投入到算法創新而非數據預處理。

當然，這項研究也有一些局限性需要注意。最主要的限制來自于時間信號的來源：網絡爬蟲時間戳只能提供文檔創建時間的上界，而非確切的創建時間。這就像考古學中的相對年代測定，只能確定"不晚于某個時間"而非"確切創建于某個時間"。不過，研究團隊的驗證實驗顯示，即使在這種限制下，仍然能夠檢測到清晰的語義變化模式。

另一個限制是預計算表示只覆蓋了選定的目標詞匯，而非所有詞匯。這是受計算資源和存儲空間限制的必然選擇。幸運的是，原始文本數據的完全開放為研究者提供了靈活性，他們可以根據自己的研究需求計算其他詞匯的表示。

展望未來，DHPLT項目可能會繼續擴展，包含更多語言和更長的時間跨度。隨著計算能力的提升和新的語言模型的出現，也可能會有更多類型的語義表示被加入到資源庫中。更重要的是，這個項目為語義變化研究建立了一個新的標準和范式，可能會激發更多類似的多語言歷史語料庫建設項目。

說到底，DHPLT項目就像為語言學研究打開了一扇新的大門。它不僅提供了豐富的數據資源，更重要的是展示了如何利用現代技術手段來研究傳統的語言學問題。在這個信息爆炸的時代，語言變化的速度前所未有地加快，新詞匯不斷涌現，舊詞匯不斷獲得新含義。DHPLT為我們理解這種快速變化提供了強有力的工具，讓我們能夠以前所未有的規模和精度來觀察語言這個人類最重要的交流工具是如何與時代同步演進的。

這項研究的價值不僅在于學術層面，還可能對實際應用產生深遠影響。從自然語言處理系統的改進到跨文化交流的理解，從歷史文獻的分析到社會變遷的研究，DHPLT都可能成為一個重要的基礎資源。它證明了開放科學的力量，也為未來的多語言人工智能研究奠定了堅實的基礎。

Q&A

Q1：DHPLT語料庫包含哪些語言和時間段？

A：DHPLT包含41種不同語系的語言，覆蓋三個時間段：2011-2015年（早期互聯網時代）、2020-2021年（疫情時代）和2024年至今。每個語言在每個時間段包含100萬份文檔，總計約590億詞匯。這些語言涵蓋了從英語、中文到阿拉伯語、泰米爾語等多種主要世界語言。

Q2：這個語料庫如何確定文檔的創建時間？

A：研究團隊使用網絡爬蟲的時間戳作為文檔年代判斷依據。雖然這種方法不能確定確切的創建時間，但能確保文檔內容不會晚于爬取時間。就像考古學的地層分析一樣，如果文檔在2015年被爬取，那么內容創建時間肯定不會晚于2015年。這為大規模多語言歷史研究提供了可行的時間標記方案。

Q3：普通研究者如何使用DHPLT進行語義變化研究？

A：DHPLT提供了完整的數據和工具包。研究者可以直接下載預處理的文本數據和預計算的詞向量、上下文嵌入等語義表示。每種語言還包含約18600個精選目標詞匯及其多種語義表示。所有資源在CC0許可下免費開放，研究者可以立即開始分析而無需大量預處理工作。