《線性代數：一名合格科研人的筑基課》第三課丨Transformer如何計算注意力？

導語

為何AI領域的Transformer模型（如GPT、BERT），能實現文本生成、圖像識別、多模態對齊等復雜任務？其核心并非復雜的神經網絡結構，而是一連串矩陣乘法。以注意力機制為例，模型通過Query、Key矩陣計算不同單詞的關聯權重，再通過Value矩陣聚合信息——這一過程本質是用矩陣表示“信息關聯”，用矩陣乘法實現“信息編織”。矩陣已成為AI系統處理關系、傳遞信息的通用工具。

矩陣可以理解為線性映射的數值表示——當兩個線性空間的基確定后，每個線性映射都唯一對應一個矩陣，線性映射的的運算則對應的矩陣對應的運算。本講將從注意力機制出發，展示矩陣如何表示用戶偏好、多模態對齊乃至社交網絡，并深入探討坐標變換背后的哲學——同一系統在不同視角下呈現不同面貌，而矩陣正是連接這些視角的橋梁。理解這一點，你就掌握了現代數據科學的通用語法。

集智學園聯合清華大學數學博士諸葛昌靖老師推出「」，并邀請武漢大學數學與統計學院周進教授于1月20日、1月27日就特征值與特征向量在復雜網絡中的應用做特別加餐分享。課程已于12月20日開啟，歡迎加入課程群交流。

主題：線性映射的表示：矩陣與坐標變換

課程簡介

Transformer 模型如何實現多模態對齊？其背后的注意力機制（Attention Mechanism）其實是一個優雅的線性代數過程：模型通過 Query、Key 矩陣計算不同單詞的關聯權重，再通過 Value 矩陣聚合信息。在這里，矩陣不再僅僅是數字的方陣，而是承載“關注點”、“標簽”與“信息內容”的容器，矩陣乘法則是將這些分散信息“編織”在一起的算子。

如果說前兩講我們構建了“向量空間”這一舞臺，討論了線性映射這一連接兩個空間的橋梁，隨后又引入“內積”賦予了其幾何度量，那么本講將聚焦于舞臺上的具體表演——線性映射的矩陣表示。矩陣的本質是線性映射的具體表示——當兩個線性空間的基（坐標系）確定后，每個抽象的線性映射都唯一對應一個具體的矩陣。這意味著，矩陣是我們通過特定坐標系觀察世界的結果。

圍繞“矩陣運算與坐標變換”這一核心，課程將深入探討變換背后的哲學：同一系統在不同視角（基底）下會呈現不同的矩陣面貌，但其內在性質不變。矩陣乘法通過行與列的運作，在代數上實現了線性映射的復合；而逆矩陣、行列式等特殊運算，則分別對應著變換的可逆性與體積的縮放，構成了我們理解空間變形與刻畫的幾何直覺。

從 Transformer 的注意力計算到物理學中的參考系變換，本講將展示矩陣語言的普適性。通過學習，學習者將理解為何“坐標變換”是數據科學與物理學中描述不變性的核心手段，并掌握如何利用矩陣運算，在復雜系統中實現從局部視角到全局關系的精確轉換。

課程大綱

1. 線性映射的表示：矩陣

• 實際應用：網絡 (圖) 的表示、計算機圖形學中的世界坐標、局部坐標和觀察者坐標及其相互轉換

• 數學應用：線性方程組與矩陣的相等

• 向量組與矩陣的關系、用矩陣表示線性映射

• 線性變換與坐標變換：不同基下同一個線性映射的不同表示形式、物理中的坐標系

• 單位矩陣的幾何意義

2、矩陣運算

• 實際應用：生物信息學中的解卷積、圖的連通性分析

• 矩陣乘法的定義

• 核心邏輯：矩陣乘法即線性映射的復合

3、方陣的特殊運算

• 逆矩陣的存在性與意義

• 行列式與積分換元公式

• 三維空間中的叉乘與幾何解釋

課程關鍵詞

Transformer、注意力機制、矩陣乘法、線性映射、坐標變換、逆矩陣、行列式、基底變換

概念解析｜注意力機制（Attention Mechanism）

注意力機制的 Query–Key–Value 結構本質是一組線性映射：Query 表示“我在關注什么”Key 表示“每個信息點攜帶的標簽”，Value 表示“信息本身”。通過矩陣乘法QK?，模型計算Query與Key的相似度，得到注意力權重；再通過權重與 Value 線性組合達到“信息提取”的效果。這整個過程是嚴格的線性代數操作，不涉及復雜非線性。

課程信息

• 課程主題：Transformer如何計算注意力？——矩陣乘法如何編碼信息關聯與變換

• 課程時間：1月10日（周六）晚 18:30–21:30（??特別提示：為彌補元旦停更一周的遺憾，諸葛老師本周“加量不加價”，請大家提前一小時上線～下周恢復19:30開始）

• 課程形式：

• • 騰訊會議（會議信息見群內通知）

  • 集智學園網站錄播（3 個工作日內上線）

課程主講人

北京工業大學數學統計學與力學學院副研究員，清華大學數學博士，研究方向：計算系統生物學。致力于數學與生物醫學的交叉研究，聚焦癌癥的演化機制及放化療、血液病、網絡藥理學及傳染病等復雜生物醫學問題的多尺度動力學建模與分析。

特別加餐預告

課程簡介：

在復雜網絡的量化分析與結構解析中，矩陣是刻畫網絡拓撲特征的核心工具，而由矩陣衍生的特征值與特征向量，更是解鎖網絡內在規律的關鍵鑰匙。那么，究竟有哪些矩陣與特征值、特征向量與復雜網絡緊密相關？這些核心數學元素又如何為網絡節點與邊的重要性排序提供科學依據，進而幫助我們精準識別網絡中的關鍵核心與薄弱環節？特別加餐將圍繞上述問題展開探討，深入剖析復雜網絡語境下矩陣、特征值與特征向量的內涵，及其在網絡重要性排序中的核心作用。

加餐時間：1 月 20 日、1 月 27 日19:30-21:30（具體安排見群內通知）

形式：騰訊會議（會議信息見課程群內通知）

面向對象：本課程學員

主講人：周進

武漢大學數學與統計學院教授，博士生導師。二十年來，開展數學、復雜性科學、智能科學交叉研究，聚焦于復雜系統的集群控制和動力學分析。曾獲國家自然科學二等獎，教育部自然科學一等獎，湖北省自然科學一等獎，獲全國優秀博士論文提名及湖北省優秀博士論文。共發表學術論文71篇，其中第一作者/獨立通訊作者論文65篇，全部為SCI或EI收錄，包括物理學頂刊Physical Review Letters, 控制學三大頂刊IEEE Transactions on Automatic Control (長文和短文)、Automatica及SIAM Journal on Control and Optimization。所發表論文被國內國際引用總計近四千次。主持國家自然科學基金項目5項；參與專項研究項目1項，面上項目多項。指導的博士生獲得國家自然科學基金青年學生基礎研究項目 (博士研究生) 1項。作為骨干成員參與科技部國家重點研發計劃1項。受邀在2024年第二十屆全國復雜網絡大會、2021年第十七屆中國網絡科學論壇及2016年第十二屆全國復雜網絡大會上做大會特邀報告；2021年在“集智俱樂部”組織的第二期和第三期復雜網絡課程中，分別作了題為“復雜網絡的同步”和“多層網絡及其動力學”的專題講座。

• 加餐主題：透視復雜網絡的核心——特征值與特征向量初探

• 加餐大綱：

• • 復雜網絡與矩陣特征。從網絡的鄰接矩陣與Laplacian矩陣出發，理解網絡結構如何通過矩陣形式被刻畫。介紹特征值與特征向量在描述網絡整體結構、連通性與穩定性中的基本作用。

  • 復雜網絡動力學與矩陣特征。討論網絡動力學過程（如同步、擴散、穩定性）與矩陣特征之間的關系，重點說明關鍵特征值及特征向量如何影響系統演化行為，以及特征值譜在動力學分析中的解釋意義。

  • 透視復雜網絡“核心邊”：討論與網絡結構和動力學有關的邊中心性，展示如何利用矩陣特征刻畫網絡中對信息傳播與動力學過程起關鍵作用的邊，幫助理解網絡中“重要連接”的形成機制。

  • 透視復雜網絡“核心節點”：從點中心性的角度出發，介紹基于特征向量的中心性指標，如PageRank、LeaderRank等，說明這些方法如何揭示網絡中具有全局影響力的關鍵節點。

課程適用對象

• 數學基礎扎實，希望理解線性代數本質及系統應用的學生

• 對生物信息學、系統生物學、復雜網絡與復雜系統科學感興趣的跨學科學習者

• 希望在數據科學、機器學習、網絡分析、系統建模領域深入應用線性代數的人

• 對邏輯、抽象思維和系統性分析有長期興趣的公眾學習者

報名須知

• 課程形式：騰訊會議，前兩課線上同步直播；集智學園網站錄播；部分課程設置線下課

• 課程周期：2025年12月20日—2026年2月，每周六 19:30–21:30

• 課程定價：

• 全部課程原價 599 元(注：早鳥優惠已于第二講結束時截止)

可開發票

https://campus.swarma.org/course/5657

付費流程

1. 掃碼付費；

2. 課程頁面添加學員登記表，添加助教微信入群；

3. 課程可開發票。

線性代數：一名合格科研人的筑基課

在科研世界中，無論你研究的是人工智能、生物信息、網絡科學，還是物理與工程，幾乎所有復雜系統的建模與推理，最終都會指向同一種底層語言——線性代數。

它不僅是一組計算公式，更是一名科研人理解“結構”、刻畫“變換”、判斷“穩定性”、提取“有效信息”的基本思維框架。本課程以系統科學的視角重新解構線性代數，帶你越過技巧，直達本質，在跨學科的真實問題中建立起堅實而可遷移的數學基礎。

詳情請見：