從ChatGPT的誕生中，我們學到了什么？

沒有失敗就沒有ChatGPT，犯錯就是創新的一部分。李星教授這個總結值得教育科研工作者深思。

李星 CERNET網絡中心副主任、清華大學教授

對于人工智能領域來說，ChatGPT是一個嶄新的起點。雖然它給出的內容對錯參半，但是它可以幫助我們拓寬思路，給予我們新的靈感。ChatGPT的成功無疑是巨大的，那么它為什么成功，我們能從中學到點什么，理解出什么，都值得進一步分析。

01

ChatGPT的理論基礎

與“無限猴子定理”

ChatGPT是一個大語言模型（Large Language Model）。一般來說，語言模型有兩種，分別是next token prediction和masked language modeling。Next token prediction指單向推導，即知道最前面的話，一步步推導出后面的話，每次推導時都找最有道理的一個字，從而遞歸串出一整句話。另一種則是先確定開頭結尾的內容，據此去推測中間的內容。

有一個定理叫做“無限猴子定理”，而ChatGPT可以說就是一只升級版的、講邏輯、懂道理的猴子。

“無限猴子定理”認為，讓一只猴子在打字機上隨機地按鍵，當按鍵時間達到無窮時，猴子幾乎必然能夠打出任何給定的文字，比如莎士比亞的全套著作，也曾有人用電腦虛擬的猴子來模擬執行這一定理。2004年8月4日，電腦模擬的猴子在經過4.21625×10^28個猴年之后，打出了以下內容“VALENTINE.Ceasetoldor:eFLPOFRjWK78aXzVOw- m)-;8t......”而這胡亂敲打出的前十六個字母，正屬于莎士比亞的劇作《維洛那二紳士》的第一行：VALENTINE: Cease to persuade, my loving Proteus.

如果說猴子的選擇來自于純粹的巧合、運氣與概率，那么ChatGPT的選擇則是基于模型運算，把大概率有用的字詞留下，無用的字詞撇去，從而得到一句符合人類邏輯的話。

02

沒有試錯

就沒有ChatGPT

人工智能的發展歷程大概可分為三個階段。1950年圖靈最早提出了人工智能的概念，他在論文中直截了當地提問，“機器是否可能具有人類智能？”開創了人工智能領域的先河。

1997年，IBM的超級計算機“深藍”（Deep Blue）以2勝1負3平的成績戰勝了當時世界排名第一的國際象棋大師加里·卡斯帕羅夫，一時間轟動全球。但是，“深藍”還算不上足夠智能，因為它的算法核心是暴力搜索，換言之，它每走一步，都是在窮舉后續所有可能的情況下再做出決策。再后來，機器學習算法如雨后春筍般涌現，包括線性回歸法、邏輯回歸法、決策樹法、隨機森林法、最近鄰居法、貝葉斯法、支持向量機法、 k 平均法、強化學習法等，每一個新算法都是對舊算法的改進與提升。

艾倫·圖靈與其論文

深藍打敗象棋大師加里·卡斯帕羅夫

機器學習的常見方法

最簡單的方法是線性回歸，如果對數據進行線性回歸后發現依然有問題，那就在此基礎上做邏輯回歸；但選項也可能不止A、B兩種，此時我們就構造決策樹呈現出多種選擇；但決策樹是一門走過去，如果決策錯了怎么辦？于是就出現了隨機森林算法，用多棵隨機生成的決策樹來生成最后的輸出結果。

所以說每一個理論、算法都是研究人員在前人的基礎上探索、摸索而來，是一代代人不斷在已有的基礎上創新、更新，思考下一步如何做得更好，而非一開始就設計、錨定了最終結果。

機器學習中主要有三類學習的方式，分別是監督式學習、非監督式學習和強化學習。監督學習是從外部監督者提供的帶標注訓練集中進行學習（任務驅動型）。非監督學習則是一個典型的尋找未標注數據中隱含結構的過程（數據驅動型）。強化學習則會告訴模型自身好不好，給予模型更大的探索自由，從而突破監督學習的天花板。

三者之間也是漸進式前進的關系，為了應對更多問題，人們總是基于一個已有的方法，想方設法找出一個更一般性的方法進行超越，超越完成后自然進入下一個階段。

隨著數據量的增加，傳統的機器學習方法表現得不盡人意。在監督式學習下就出現了一個嶄新的分支——深度學習。深度學習的基礎是神經網絡，即通過模擬人的神經元系統做出判斷。神經網絡有輸入層、輸出層和隱藏層，輸入通過非線性函數的加權后得到了最終的輸出，而我們要做的就是根據誤差準則調整權重參數，不需要，也不可能完全知道這些參數選擇的具體原因。

神經網絡模型示意圖

什么叫深度學習？神經網絡的層數直接決定了它對現實的刻畫能力，但是原來隱含層只有一層，對稍微復雜一些的函數都無能為力。為此，就可以多加一些隱含層，深度學習由此誕生。早期的深度學習又有兩個常用的方法，即卷積神經網絡（CNN）與循環神經網絡（RNN），前者專門解決圖像問題，最大利用圖像的局部信息，將局部特征拼接起來，從而得到整幅圖的特征，類似于通過拼圖來還原圖像；后者則專門解決時間序列問題，用來提取時間序列信息，其最重要的特征是具有時間“記憶”的能力，就像人只有記住前面的對話內容，才能決定之后該說什么一樣。

此外，生成模型也是深度學習領域內較為重要的一類模型。生成對抗網絡（GAN）是一種讓兩個神經網絡相互博弈從而完成學習的生成模型，其由一個生成器和一個判別器組成。比如說，生成器生成了一只虛擬狗，判別器需要將其與真實世界中的狗作對比，并判斷虛擬狗是否“過關”，生成器和判別器相互對抗、不斷學習，最終目的是使虛擬狗無限接近于真實的狗，讓它通過判別器的檢驗。

自此，三大模型流派形成—— CNN，RNN和GAN，語言模型屬于RNN模型之流。但RNN模型依舊有其缺陷，對于相隔越久的信息，它的記憶力就越差，那么對于過去很久但有用的信息，它就很容易遺漏。為了提高RNN的記憶力，人們又開發了Self-attention自注意力模型，運用抓大放小的思想，不管重要的東西在哪，都更注重對它的加權，強化對它的注意力，讓模型牢牢將其印入“腦海”。

在上述各類模型的基礎上，ChatGPT的核心結構——Transformer模型橫空出世，中文翻譯也很恰切，譯為變形金剛。

那什么是變形金剛？簡單來說，它就像是一個黑盒子，在做文本翻譯任務時，我們輸入一個中文，經過這個黑盒子，就得到了翻譯后的英文。

如果我們探秘黑盒中的內容，可以看到黑盒由若干個編碼器（Encoder）和解碼器（Decoder）組成，同時盒子里還具備并行（Multi-headed）和自注意力（Self-attention）機制，自注意力機制負責挑選出重要的有用的信息，并行機制則負責對這些信息進行并發處理，有了這兩大特性，變形金剛也就可以同成千上萬人同時對話，奠定了商業化的基礎與可能。

回溯人工智能的歷史，可以發現模型的成功歸根結底來源于試錯。一開始是簡單的人工神經網絡，后來是卷積神經網絡、遞歸神經網絡，每一步都使我們對模型的理解愈發深入。而在用其解決問題的過程中，一旦發現現有方法的不足，研究人員就會想方設法在原有基礎上改進，從而開發出新的模型。

雖然我們看到了成功的CNN、RNN模型，但在我們的視野之外，可能還會有別的模型沉寂于歷史長河中。但是，看不到不意味著不重要。如果沒有那些失敗的嘗試幫助我們排除了錯誤的技術路線，就不會有CNN、RNN的成功，變形金剛的成功和ChatGPT的出現更無從談起。

所以創新、創造都是在不斷試錯、迭代中出現，不可能預先設計好路線，一蹴而就。因此，若想有創新，就必須有配套機制，允許科研人員大量試錯，盡快改進。只要有成熟的機制，能快速迭代、改進，科研人員就不怕犯錯，不怕冒險，不怕沒有成果，也就不怕再接再厲、不停嘗試。因此，要鼓勵大膽思考，大膽試驗，即便失敗了也要表揚、肯定。否則就會形成“喪事當喜事辦的壞習慣”，創新也就沒戲唱。

03

創新與機制密不可分

失敗也是創新成功的基礎

ChatGPT是初創公司的產物，不是大公司，更不是國企，這其中有一定的必然性。大公司激勵機制的依據是職工的KPI，但小公司是創業公司，一旦做出了大的成果，公司就可以上市或者收到巨大的市場效益，這種激勵舉足輕重。如果激勵機制不合適，比如所有人都是低工資，那么人們的積極性就會降低；所有人都是高工資，也無法激發進取心與積極性。只有科研人員的投入、興趣與其回報成正比才能激勵人們全力以赴。

德國、日本的工業很發達，但是德國、日本的創新程度依舊不及美國，這是因為它們的激勵機制不同。美國的產業是高度市場化的，資金籌集來自于風險投資，而德國、日本依舊依靠大銀行資助。

真正的顛覆性的創新，一定來自于市場驅動的機制。風險投資一百個公司，可能九十幾個都失敗了，成功的只有一兩個，但只要有一個成功了，回報就是成千上百倍的。雖然德國、日本也可以做一些輔助性的創新，但是它們的創造很難具有完全的革命性，因為在它們的激勵機制下，投資方對成果、回報有要求，創造者就要為錯誤負責，那么人們就會害怕犯錯，小心翼翼不敢輕舉妄動，只敢在“安全區”內做一些小成果。而這也再次證明，創新是一種可能，帶有必然的風險，如果要求資金投入一定有相應成果，那么一定會扼殺創新的空間。

此外，很多人沒有意識到的是，當我們發現一個東西錯了，錯誤本身就是一個非常大的成果，雖然投入的成本泡湯了，但是這個路子不用蹚了，錯誤選擇被排除了，那么我們離最終的成功一定是更近了。

我曾有個機會去美國國家科學基金會（NSF），那里的人給我看了他們之前資助過的項目，其中一些項目好像還有些道理，但是有的看上去就天馬行空，似乎是胡說八道。他們卻表示，美國NSF資助的項目只會成功不會失敗，這是為什么呢？

NSF的人給出了兩條解釋：第一，真正的創新項目可能看上去就是胡說八道，如果都是自圓其說、在我們理解范圍內的東西，那就說明還不夠新，所以我們必須要容忍看上去胡說八道或不靠譜的項目，說不定它們就是大成果的孵化器；第二，此類項目一般是由教授和他們指導的研究生去承擔。實際上，一個研究生完成了一個失敗項目，他本人的收獲和對于社會進步的貢獻一定比做一個成功的項目更大。而且在美國，即使項目沒有正向成果，對失敗原因進行有效總結后也可以拿到學位。

這兩條解釋可以說意味深長、引人深思，尤其是第二條。第二條正是在說明，我們必須要允許人失敗、犯錯，因為犯錯之后，就會收獲相應的教訓、經驗，將來就不會再犯相同的錯誤，后來者也不會再犯同樣的錯誤，因此犯錯也是一種貢獻，甚至可能比成功的貢獻更大。創新正是在千千萬萬次嘗試與犯錯后修正路線、逼近成功，這是個人成長和創新出現的必然且科學的過程，這也是為什么我們必須要有允許犯錯的體制機制。

04

ChatGPT后，教育何為？

ChatGPT可以把海量的信息和數據匯集起來，非常全面，在這一層面上，人類難以望其項背。既然ChatGPT能回答各式各樣稀奇古怪、刁鉆、偏僻的問題，那我們就要思考，人的價值是什么？如果我們的教育最終讓人回答出了與ChatGPT同樣的答案，那么教育還有何意義？如果要我回答，教育的價值就應當是培養學生想出不同于ChatGPT的答案的能力，未來教育的目標也應當如此。

因此，未來的教育，應當注意培養批判性思維、邏輯能力，并且允許年輕人暢所欲言、自由思想，再給予他們充分的試錯空間。

首先，要培養孩子的批判性思維。有些國家對孩子的教育是，誰說的話都可以被挑戰、質疑。而且孩子必須講不同于老師的話，而不是對老師的觀點全盤接受、信以為真。在這種教育理念下，孩子們更傾向于擁有自己的判斷，相信自己的判斷，勇于質疑。

其次，要培養孩子們的邏輯能力，ChatGPT的回答基本符合人類邏輯，一言一語都有因果關聯，都是由前推后、由此及彼，所以它的回答有意義，也能解決我們提出的問題。而我們培養孩子的思考能力、邏輯能力，就是培養他們真正解決現實問題的能力。

第三，要有探索的空間，否則無法創新。為什么 ChatGPT 由初創公司而非大公司創造而成？除激勵機制外，還因為社會對它們的容忍度更高，所以初創公司的自由度更高，即便發表了錯誤、出格的內容大家也并不在意。但對于微軟、谷歌等大公司來說，“小心駛得萬年船”才是值得恪守的原則，萬一出現錯誤，就難免對名譽造成巨大影響，公司效益也會因而受損。因此，做 AI、 前沿科技的一定是小公司，小公司的自由度更高，不怕犯錯，探索空間就更大，而這也證明只有言論自由、思想自由后，探索才能自由，探索自由后，創新才能生根發芽。

05

未來教育的目標

未來教育的目標是，年輕人會提出正確的問題，并且判斷答案是否合理，中間的過程就是人和機器的交互，讓機器、人工智能幫助我們去完成很多工作。但這并不代表人與人之間無需再有交流，相反，人和人的交互依然需要，而且更加重要。

知名組織理論家羅素·艾可夫曾提出由數據、信息、知識、智慧組成的知識金字塔。在知識金字塔中，每一層都比下一層多擁有一些特質。數據來源于我們的原始觀察與度量，信息來源于我們對數據的篩選、整理與分析，知識則來源于我們對信息的加工、提取與評價，而智慧作為我們獨有的能力，意味著我們可以收集、加工、應用、傳播知識，以及預測事物的發展與未來走向。

ChatGPT之后，甚至在其出現以前，計算機對于數據處理、信息處理以及知識處理都已經非常在行。雖然機器和人工智能并不“懂”知識，但是它可以存儲、調用知識，可以在特定的情境里與人交互，給出的答案也合乎情理。因此，未來的教育應當是教人擁有智慧，而不僅僅是擁有知識、信息與技能。智慧是設計體系結構的能力，而技能僅僅是依照設計搬磚添瓦的能力，智慧與思維是創新真正的來源，而知識與技能則相當次要。

知識金字塔

有些大學為防止學生作弊而禁止其使用ChatGPT，我覺得此舉值得商榷。ChatGPT是個工具，是種技術，而技術是道德中立的，關鍵在于老師應改變傳統的考核方式以適應它的出現。斯坦福大學曾統計，50% 的學生做學期論文時都用到了ChatGPT。因此在這種趨勢下，老師必須學會如何考核。

一個可用的考核方式是：學生用ChatGPT完成一道題后，必須能給別人講清楚答案中哪些是對的，又有哪些是錯的。可能學生又會把這個問題拋回給ChatGPT，再采用它的答案，但關鍵是，如果你問得太深入，ChatGPT自己就會“崩潰”，答案也會漏洞百出。在這種情況下，學生就必須要動腦子，要靠自己找到最初答案的漏洞。而老師正可以對這一點做考察，看學生能否找到ChatGPT的漏洞，能找到，就說明學生已將知識掌握透徹。

我們這一代人是“數字移民”，新一代的孩子是“數字原住民”，所以我們一定要為他們創造自由的空間，而不是讓他們因循守舊、依照傳統行事。

06

科研的層次與大學的包容

科研必須要區分層次。大型項目是國家發展、社會前進的根本，例如美國NASA牽頭的各類航天、物理項目，中國舉國體制支持的各種重大項目，這些目的明確、規模投入巨大的項目是不可或缺的。

但與此同時，小型的、看上去“沒用”的項目也必須存在。因為科研是一種探索未知的活動，未來哪個項目能開花結果，哪個能“冒泡”，我們當下都是霧里看花，看不真切。所以我們必須要包容一些人，去做一些可能毫無用處的東西，或者是有點出格、方向冷僻的東西，我們必須要讓這些人生存，讓一些可能存在。

如果大學的考核制度過于嚴苛，青年教師們只能為了保住自己的工作去做“短平快”、功利性的研究，那么優秀的人無法靜心思考真正的問題，只能為科研而科研，只做實用性強的科研，這對于科研是一種實質性的損害。

所以我也有個理論：大學，要培養精神境界高的、有教養的人，還要包容一些特立獨行的看似是在胡思亂想的“無用的人”的存在。有些研究當下看似沒有一點用處，但可能百年之后就有了大用，這都是我們預料之外的事。

有些全球頂尖大學就會保留不同類型的人才，把一些聰明、能干但怪異、另類的人養在大學里。未來，我們也可以嘗試包容各式各樣的人才，讓他們做些有意思的、胡思亂想的、短期內沒有結果甚至沒用的東西，或許現在的無心插柳，在未來就變成了夏日炎炎里茂密濃郁的柳蔭。

本文根據CERNET網絡中心副主任、清華大學電子工程系李星教授報告、訪談整理

整理：王雅靜

轉載自中國教育網絡（edu-info2004）