AI五大平臺華山論劍 2024看誰能練到Agent層級

01華山論劍最終比的是什么

在人工智能的世界里，我們以金庸先生的武俠小說《射雕英雄傳》來作比喻五大平臺的地位。OpenAI就像是小說里武功蓋世的中神通，暫時領先于其他四大頂級高手。我說這句話，你同意嗎？

縱觀人工智能平臺的競爭格局，谷歌的Gemini宛如小說中的南帝，展現出創新和智慧的實力。

南帝Gemini

亞馬遜的Claude則像是北丐，具有適應性強和資源豐富的特點，在不斷變化的云計算和AI服務市場中生存發展。

馬斯克的GROK可以比作東邪，他的方法顛覆傳統，通過在交通和太空探索等領域應用突破性的AI，革新了整個行業。

扎克伯格的LLaMA則像是西毒，采取戰略性和全面性的手段，將AI深入融合進社交網絡和虛擬現實。

在這場激烈的“軍備競賽”中，蘋果公司在扮演著什么角色呢？

02 AI Agent橫空出世

五個大語言模型擁有著各自的武功優勢，但它們總體上還是被動的練功方式，一招一式的效果還是取決于我們個體習武人本身的能力。

而被業界稱為智能體（AI Agent,個人覺得這個翻譯更妥帖一點）秘笈的出現，將改變我們的學武門道。

它具備自主規劃自主執行的能力，是打開通用人工智能（AGI)大門的敲門磚。

從人工智能發展路徑來看，需要練就五個層級，即語料庫，互聯網實時訪問的多模態內容輸出，我們現在就是在這個層級上，智能體在大語言模型匯聚的基礎上，將向感知、具身和社會屬性的方向進發，當我們練就了若干的智能體后，通過多個智能體之間的互動合作，具備了情感屬性，能夠處理更加復雜的任務，反映現實世界中的社會行為時，我們將進入第五級，是終極嗎？我們不知道！

那么什么是智能體呢？

我們想象這樣一個場景，黃蓉如何學習打狗棍法，首先黃姑娘想學習這個武藝，也找到了師傅洪七公，她要通過自己的感官系統捕捉師傅演練中的全部動作細節，然后在自己頭腦中形成一個個動作的分解過程，哪些是重點，哪些是難點，所有這些就是在做規劃和決策，然后開始借助打狗棒進行演練，一開始和師傅過招只能打上幾個回合，經過不斷的互動與反饋，挫折與失敗，最后打成平手，獲得了身體上和精神上的滿足。

如果我們把這個場景抽象成模型，就是由感知模塊、規劃模塊、行動模塊、反饋模塊組成了這個場景過程，而智能體就是這樣的框架組成。

其中最關鍵的是大腦部分，而這個大腦部分構成就是大語言模型，它增強了智能體的規劃與決策的能力。

03所謂的知識庫，到底指的什么？

我們拿OpenAI提出的智能體的模型圖為例，它被拆分成了規劃、記憶、工具和行動等模塊。其中記憶模塊分成了兩個子模塊，分別是短期記憶模塊和長期記憶模塊。

短期記憶指提示詞工程中的上下文連接，相當于我們人的感知系統，它是指外部信息的輸入，包括文本、圖片、語音、視頻等。短期記憶受到模型的上下文的限制，你比如最近OpenAI推出的GPT-4 Tuobo支持128k字節token，超過之后，LLM就忘記了之前輸入的信息，所以我們為什么總強調對話過程中的重點話題的反復強調。

長期記憶指的是支持向量搜索，支持在執行任務時調用類似人類圖書館中的知識，它包括客觀存在的事實、事件、概念等等，也包括機器主觀學習獲得的知識。

所以我們經常提到的，為垂直類行業搭建知識庫，就是在建立長期記憶模塊，在長期記憶模塊中，我們投喂的數據越多，機器主觀學習獲得的知識也就越多，經驗值的準確率也會越來越好。

04占據核心位置的規劃模塊

規劃模塊講起來有點拗口，它的核心作用就是將復雜的目標進行拆分，如同黃姑娘站在七公面前耍鬼主意，她要找到最優的學習方法。這里涉及到的思維鏈(CoT)和子目標分解模塊（Subgoal Decomposition)就不再詳細解釋了。當然這里面還有反思(Reflection)和自我批判模塊（Self-critics），它的目的就是引入強化學習機制，通過環境的反饋狀態，能從錯誤中吸取教訓，修成正果。

05工具調用模塊和行動模塊應該是合二為一

智能體的行動方式可以分為三類，基于大語言模型基礎能力上的文本輸出，通過LLM調用外部的程序工具，包括調用其他的專家模塊來協同處理任務，調用API或者插件處理特定任務，利用現實世界的機器人，接收指定任務后與周圍物體進行交互，完成任務目標。

最后總結一句話，智能體等于LLM大腦構成+記憶+感知&反思+規劃+工具使用，這個才是真正的人工智能體該有的樣子。

07智能體有哪些應用場景呢

seerboldor的哲學觀

目前國內已經有了許多的頭部機構在教育領域推出了AI應用，像Seerboldor北京團隊推出的針對職業院校專業教師微課設計方面的痛點（相關知識點的視頻素材向量搜索、二次編輯工作、直播機器人生成與場景設計等），專門生成的二次創作的剪輯工具RFM(Recompose Fragmented Media)。它能夠處理和整合大量具備版權的視頻素材，它支持基于腳本化描述和純故事性描述的搜索，使用戶能夠根據自己的需求快速找到所需視頻片段。

此外，該工具特別適合素材豐富的公司和團體，提供便捷的授權機制，使下級用戶可以方便地使用這些素材。

它的應用場景也很廣泛，即視頻二次創作，為創作者提供必要的工具，以實現他們的創意和故事講述；廣告制作，幫助營銷團隊快速找到和整合視頻素材，創作有影響力的廣告內容；組織素材管理，為擁有大量視頻素材的組織提供一個高效的管理和使用平臺；個性化項目，幫助職業院校老師或者小型教學團隊進行精品微課視頻項目的策劃與制作工作。