深度表示學習——預訓練+微調策略的基礎丨面向復雜系統的人工智能第五講

導語

集智俱樂部、集智學園創始人，北京師范大學張江教授開設了，致力于打破學科壁壘，將復雜系統與人工智能深度融合。從神經網絡到因果推斷，從世界模型到多尺度建模，甚至包含最前沿的“氛圍編程（Vibe Coding）”實戰，帶你親手落地AI項目。

作為系列課程的第四講，張江教授將以「表示學習」為主題，講解深度學習與表示學習的關系、詞向量技術原理、遷移學習原理，以及預訓練與微調范式。正式分享將于3月30日（周一）13:30-16:15騰訊會議線上直播，北師大海淀區線下授課（助教可協助入校）。

課程簡介

深度學習這個名字有些誤導——核心不在于層數有多深，而在于兩件事同時成立：自動微分讓任意可微結構都能端到端訓練，表示學習讓模型從數據中自動抽取有用特征，無需人工設計。正是這兩者的結合，使當下的 AI 系統能夠處理文字、圖結構、圖像等不同形態的數據。

本節課程沿三條主線展開。詞嵌入部分從 one-hot 編碼的缺陷出發，推導出用稠密向量表示語義的必要性，覆蓋 NPLM、Word2Vec（CBOW 與 Skip-gram）、GloVe 及其訓練技巧（層次 softmax、負采樣）。圖表示部分把同樣的思路延伸到結構化數據，從 DeepWalk、Node2Vec 到圖卷積網絡（GCN），再到知識圖譜嵌入，展示表示學習如何捕捉圖中的拓撲關系。遷移學習與預訓練微調部分則回答一個更根本的問題：一個領域學到的表示，能否遷移到另一個領域？從 CNN 特征復用到預訓練加微調的訓練范式，說明表示的可遷移性是現代大模型得以規模化的前提條件。學完這門課，能看清表示學習是一條貫穿不同數據模態和不同任務的主線。

課程大綱

1. 表示學習基礎

• Autoencoder的編碼器-解碼器結構與降維原理

• 自動微分與表示學習作為深度學習的兩大并列支柱

詞向量：文本的表征學習

• One-hot 編碼的局限：稀疏性與無法度量相似性

• NPLM：Bengio 2003 年的神經概率語言模型

• Word2Vec：CBOW（上下文預測中心詞）與 Skip-gram（中心詞預測上下文）

• 訓練加速：Hierarchical Softmax 與 Negative Sampling

• GloVe：基于全局共現統計的詞向量

圖表示學習

• 圖的表示方式：鄰接矩陣與節點特征

• DeepWalk：隨機游走 + Word2Vec，將圖節點映射為向量

• Node2Vec：BFS/DFS 可調的有偏隨機游走（同質性 vs 結構等價性）

• 圖卷積網絡（GCN）：鄰居消息聚合的矩陣形式

• 知識圖譜嵌入：TransE / TransH 的平移模型

遷移學習

• 遷移學習的定義：源任務知識遷移到目標任務

• CNN 中的遷移：預訓練特征層 + 新任務輸出層

• 應用案例：衛星遙感圖像 → 非洲貧困程度預測

預訓練與微調

• 預訓練（Stage I）：基礎模型 + 自監督學習

• 微調（Stage II）：下游任務適配 + 遷移學習

• 圖注意力網絡（GAT）用于鏈路預測與節點分類

關鍵術語

1. 表示學習（Representation Learning）：讓模型自動學習數據的低維稠密表示，而非人工設計特征

2. 自編碼器（Autoencoder）：通過重建輸入來學習壓縮表示的無監督神經網絡

3. 詞嵌入（Word Embedding）：將詞映射為稠密實數向量，使語義相近的詞在空間中距離相近

4. CBOW / Skip-gram：Word2Vec 的兩種訓練方式；CBOW 用上下文預測中心詞，Skip-gram 反之

5. 負采樣（Negative Sampling）：將 Softmax 分類問題轉化為二分類問題以加速訓練

6. DeepWalk：對圖做隨機游走生成節點序列，再用 Skip-gram 訓練節點向量

7. Node2Vec：通過 p/q 參數控制游走策略，在同質性與結構等價性之間平衡

8. 圖卷積網絡（GCN）：通過鄰居特征聚合在圖結構上做卷積運算的神經網絡

9. 知識圖譜嵌入（KG Embedding）：將實體和關系映射為向量，并進行約束訓練

10. 預訓練 + 微調（Pretrain + Fine-tune）：先在大規模數據上預訓練基礎模型，再在特定任務上微調

課程信息

課程主題：表示學習

課程時間：2026年3月30日（周一） 13:30-16:15

課程形式：騰訊會議（會議信息見群內通知）/北師大海淀區線下授課（助教可協助入校）；集智學園網站錄播（3個工作日內上線）

課程主講人

張江，北京師范大學系統科學學院教授，集智俱樂部、集智學園創始人，集智科學研究中心理事長，曾任騰訊研究院、華為戰略研究院等特聘顧問。主要研究領域包括因果涌現、復雜系統分析與建模、規模理論等。

個人主頁：https://jake.swarma.org/

課程適用對象

1. 理工科背景高年級本科生

2. 理工科背景碩士、博士研究生

報名須知

1. 課程形式：

1. 參與方式：付費學員可參與騰訊會議直播/北師大海淀區線下授課（助教可協助入校）

2. 授課形式：

1. 平時：課堂討論與內容共創

2. 結課：項目匯報

2. 課程周期：2026年3月2日-2026年6月22日，每周一 13:30-16:15進行。

3. 課程定價：399元

課程鏈接：https://campus.swarma.org/v3/course/5684?from=wechat

付費流程：

2. 課程頁面添加學員登記表，添加助教微信入群；

3. 課程可開發票。

課程共創任務：課程字幕

為鼓勵學員深度參與、積極探索，我們致力于形成系列化知識傳播成果，并構建課程知識共建社群。為此，我們特別設立激勵機制，讓您的學習之旅滿載收獲與成就感。

課程以老師講授為主，每期結束后，助教會于課程群內發布字幕共創任務。學員通過參與這些任務，不僅能加深對內容的理解，還可獲得積分獎勵。積分可兌換其他讀書會課程或實物獎品，助力您的持續成長。

推薦課程

參考課程

1. 吳恩達：Build with Andrew https://www.deeplearning.ai/courses/build-with-andrew/

2. Jure Leskovec: Machine Learning with Graphs, StanfordCS224W.https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn

3. Steve Brunton: Data Driven Science and Engineering, University of Washingtonhttps://www.youtube.com/playlist?list=PLMrJAkhIeNNRpsRhXTMt8uJdIGz9-X_1-

4. Karthik Duraisamy: DATA-DRIVEN ANALYSIS AND MODELING OF COMPLEX SYSTEMS, Michigen institute for computational discovery and engineering, Michigen University.https://micde.umich.edu/academic-programs-old/data-driven-course/

5. Sergey Levine: Deep Reinforcement Learning, CS 285 at UC Berkeley.http://rail.eecs.berkeley.edu/deeprlcourse/

【集智學園網站資源】

1. 對復雜系統連續變化自動建模——Neural Ordinary Differential Equations解讀https://campus.swarma.org/course/2046

2. 復雜網絡自動建模在大氣污染中的應用https://campus.swarma.org/course/1998

3. 兩套因果框架深度剖析：潛在結果模型與結構因果模型https://campus.swarma.org/course/2526

4. 穩定學習：發掘因果推理和機器學習的共同基礎https://campus.swarma.org/course/2323

5. 因果強化學習https://campus.swarma.org/course/2156

6. 張江：因果與機器學習能夠破解涌現之謎嗎https://campus.swarma.org/course/4540

7. 因果涌現理論提出者：Erik Hoel主題報告https://campus.swarma.org/course/4317

8. 如何從數據中發現因果涌現——神經信息壓縮器https://campus.swarma.org/course/4874

9. 標準化流技術簡介https://campus.swarma.org/course/1999

10. 帶隱狀態的強化學習世界模型https://campus.swarma.org/course/4848