云棲通道看AI產業應用，打開大模型的無限可能

9月19日-21日，2024云棲大會在杭州西湖區云棲小鎮舉行。20日，云棲通道如約開放。

這是一個為廣大AI產業從業者、創業者以及大模型開發者提供的專屬交流平臺。來自教育、智能體應用、智能駕駛、人形機器人等多個AI應用領域的科學家、開發者、技術代表等現場分享最新行業動態，與現場嘉賓進行深入交流，共同見證AI技術的發展與應用。

超擬人一對一AI老師，幫助教育更智能

輔導孩子作業太心累？請家教不僅費用高、效果也難以保證？別擔心，這些都不是問題。

云棲通道剛開啟，精準學AI科學家張寧就為家長、老師群體帶來了“減負神器”——超擬人一對一AI老師。

（圖說：精準學AI科學家張寧）

這位“老師”不僅能像GPT一樣講題目，更關鍵的是，TA就像你花2、300元一個小時請的一對一私人老師一樣，能有規劃、有體系地對孩子進行一對一學習輔導，還能運用不同的教學技巧，實時調整教學內容。

那么，靠譜嗎？究竟是何原理？

張寧介紹，超擬人一對一AI老師是在通義千問的基礎大模型上，利用私有數據，訓練出了精準學自己的教育垂直大模型——心流大模型。同時面向學科知識教學優化了語音識別與語音合成技術。“為了做到更好的情緒識別，我們還在通義千問開源大模型上重新訓練了語音-語音端到端的大模型，不經過語音-文字的互轉，這將成為未來我們的主要模型。”

推向市場方面，目前，超擬人一對一AI老師主要是以學習機為載體，在各大電商平臺銷售，并且與釘釘教育有深度合作。

為何會想到研究這樣一款產品呢？

張寧表示，不論是成人還是兒童，都會遇到被授課、被指導、被答疑的過程，這一過程過去是由真人來完成，而技術沒有能力做到。“但是從2023年之后，隨著通義千問等大模型的發展，技術逐漸有能力做到這一點，所以我們研發了這一產品，是對市場上教育產品的有益的補充。”

全新智能座艙AI技術，讓車生活更聰明

今年的云棲大會，“自動駕駛”無疑是最熱門的話題之一，特斯拉、小鵬、零跑等國內外頭部車企“組團”參展。而在云棲通道開放現場，斑馬智行首席產品官蔡明，則帶來了車生活的相關分享。

（圖說：斑馬智行首席產品官蔡明）

蔡明介紹，此前斑馬智行聯合通義發布了全新智能座艙AI技術品牌：元神AI，同時展示了基于英偉達OrinX平臺、通義端側多模態大模型的智艙AI技術能力。

元神AI旨在推動解決觸控交互/命令式語音交互和APP服務帶來的座艙體驗不佳、服務使用低頻問題，通過交互變革和服務重塑，加速智能座艙“iPhone時刻”到來。元神AI核心建構是“1+3”技術體系，同時以AliOS和廣泛的芯片生態為基礎設施底座。1是自然交流，人與車交互如同人與人交流一樣自然；3包含，感知場景（Echo AI），實現車內全艙位、車外多視角、時空世界感知，全工況可用；組織服務（Eco AI）：打破APP限制，以用戶為中心組織原子化服務，結合場景提供給用戶。認知成長（Evo AI）：基于用戶畫像圖譜不斷學習實現認知成長，并確保用戶隱私安全。

“有人說未來會‘ALL IN大模型’，我反過來希望是‘AI IN ALL’。”蔡明表示，希望在整個座艙的每一個環節，AI都能更好地提升用戶體驗，并且增加產品競爭力，“在未來，斑馬智行會推出全自研自然語言交互方案，來代替Touch交互。同時，我們聯合生態伙伴一起，推動智能座艙應用AI化，打造更多端到端的智艙生活服務Agent，來替代APP生態，我們一起期待。 ”

開源大模型靈活運用，給AI機器人注入靈魂

一個指令，人形機器人就能完成唱跳RAP、搬運貨物、巡線避障、花式足球等高難度動作。在云棲大會計算館的通義靈碼展位，“素人”都能掌控的小型機器人，吸引了眾多觀眾的眼球。這項技術是由個人開發者、知名技術博主張子豪研發，他也在云棲通道上展示了這一成果。

（圖說：個人開發者、知名技術博主張子豪）

“這款用Qwen2開發的人形機器人，基于幻爾TonyPi人形機器人，通過開源AI推理框架OpenVINO，在輕薄筆記本上本地部署端側AI開源大模型通義千問Qwen2-7B-Instruct，使用AI編程助手‘通義靈碼’輔助編程開發和文檔撰寫。”張子豪介紹，人類輸入模糊語音指令，智能體Agent就能自主思考，調用23種原子動作Function Call，編排生成依次執行的動作列表及函數參數。

神奇之處在哪？

“其實機器人已經是一個非常成熟的行業，為什么最近幾年這么火？因為大模型出現了，能夠真正給機器人注入靈活。”張子豪向現場嘉賓解釋道，之前的機器人，不管它多么復雜，能打乒乓球也好，能搬東西也好，都是根據固定的指令去完成固定的動作，沒法實現泛化性、多樣性、通用性操作和對指令的理解。

“而大模型的最大好處就是AGI通用人工智能，它可以把任意指令翻譯成機器人的動作，能夠讓機器人真正理解海量世界的知識。”張子豪說，比如他之前做過一個機器人，讓其機械臂把綠色方塊搬到印有小豬佩奇照片的指定處。之前，要讓機器人認識李小豬佩奇，得專門訓練一個模型，讓它先認識小豬佩奇。但是現在借助多模態大模型，機器人天生就具備這個能力，它天生就知道小豬佩奇是誰。如此一來，人類可以跟機器人說任意的指令，它都可以理解，所以泛化性能是當前具身智能大模型之后引爆的一個熱點。

AI提示詞打開大模型無限可能，主流平臺廣泛采用

（圖說：云中江樹 LangGPT 社區創始人）

多位分享者現場提到了給AI下指令，那么這個指令究竟該怎么下？其實也是有講究的。AI 提示詞——打開大模型的無限可能，云中江樹 LangGPT 社區創始人就分享了他和AI提示詞的故事：“在過去一年多的時間里，我們一直在研究提示詞能夠給大模型帶來怎樣的一些可能性，也做了很多探索。”

據了解，LangGPT 提示詞社區成立于2023年，是國內首個專注于提示工程的開源社區，也是目前最大最活躍的提示詞工程師交流平臺。自主研發了提示詞自動化生成優化、模板庫、在線編輯器、漢語新解等工具，并構建了系統的學習、分享、沉淀高質量提示詞知識庫, 在 GitHub 社區獲得數萬星標，全網數百萬瀏覽量，已成為國內最流行的提示詞方法論。

該創始人介紹，LangGPT已與多家頭部AI公司合作，如為阿里通義開發官方提示詞模板，與月之暗面 kimi 共同推出提示詞專家助手，為百度文心一言、書生浦語大模型等分享提示工程進階知識，為華為大模型落地應用提供咨詢，為清華北大等985高校學子授課，為多家上市公司開展AI培訓，聯合發起中國提示詞工程師大會等。

截至2024年9月，LangGPT已服務數十萬開發者和AI愛好者，其方法論被百度、字節、華為、智譜等主流大模型平臺廣泛采用。

“提示詞門檻不高、沒有壁壘的問題，對我來說這不是劣勢，恰恰是優勢。”該創始人誠懇地向在場嘉賓發出了邀請：“這意味著在座各位只要有意愿、有能力，都可以參與進來，更好地感受到AI的魅力。這也是我們過去一直在做的事情，希望讓更多的人用好AI。”

代表中國站上世界舞臺，高中生用AI打國際比賽

更多人參與AI、用好AI，正在成為現實。本場云棲通道最后一位分享者——復旦大學附屬中學通用技術教師、復旦附中FRC機器人戰隊的劉燁老師，現場講述了他和孩子們到美國參加機器人大賽的故事，鼓舞了現場一眾家長培養孩子學習AI的熱情。

（圖說：復旦大學附屬中學通用技術教師劉燁）

劉燁介紹，復旦附中FRC機器人戰隊成立于2017年，隊號6907，意思是世界上第6907支FRC戰隊。FIRST Robotics Competition（FRC）由美國著名非營利性機構FIRST主辦，是目前全球青少年機器人賽事中水平最高且最具觀賞性與挑戰性的賽事，復旦附中FRC機器人戰隊是一支具有良好建設基礎的學生創新團隊。

“我們今年機器人視覺用的就是阿里云服務器的平臺，通過這個訓練之后，我們可以做到在攝像頭掃到二維碼標識之后，它可以實現自動化的動作，輔助我們比賽的時候得到更好的效果。”劉燁表示。

依托復旦大學和上海交通大學豐富的資源，致力于機器人學習與建造，基于每年的賽事，在三維建模、機械加工、工程搭建、程序控制、人工智能、力學原理、基本運動學、工程材料基礎等領域，為學生提供了綜合創新素質培育的實踐平臺。團隊多次獲得國內外區域賽冠軍、區域賽主席獎等獎項，多次代表中國站在世界總決賽舞臺上，培養了一大批富有創新潛力的優秀學生。

除了機器人比賽，學校在日常教學中，也已經廣泛應用了AI。“我們有一門課就叫‘AI+課程’，基于和通義實驗室的合作，比如我們老師出試卷，以前我們是在一個題庫里面找題，老師們去改一些數據、改一些題型、題干等。”劉燁說，但現在，老師們可以直接把知識點、考試范圍告訴通義大模型，題目就可以自動生成，更加智能和科學，“這就是AI的魅力，相信未來，AI還能帶給我們更多改變和驚喜。”