「論文看懂了，真機跑廢了」，PhyAgentOS，把開發者從“地獄”里撈出來

PhyAgentOS：零代碼跨本體遷移，從算法模型到真機部署只需幾小時。

論文讀了三遍，復現實驗環境配了一周，真機上小車終于動了一下，然后不動了……

做過具身智能或機器人項目的人，應該都碰上過這種情況，馬上心急火燎地開始上手檢查，把所有配置文件都看過了一遍，發現是某個驅動版本不兼容。

好不容易解決了這個問題，再來一遍，小車這次堅持得長一點，動了兩下。這次花了一小時，才找到是某段 ROS 節點沒對上話題。

一天過去了，進度幾乎為零。大家不得不連夜查 issue、反復重裝環境。第二天同一套流程換到另一臺機器人，又要從頭踩一次坑，心態是崩了再重建，重建了再崩。

現在，救星終于要來了，中山大學HCP實驗室這次重磅發布 PhyAgentOS，要把每一個開發者從可怕的“調參地獄”中拯救出來。

PyAgentOS已全面開源，歡迎算法貢獻、機器人適配、文檔完善和問題反饋。 GitHub倉庫：https://github.com/SYSU-HCP-EAI/PhyAgentOS

01

這一次，讓機器人開發回歸“智能”本身

端到端 VLA 模型在demo視頻里表現驚艷不？

太驚艷了！

我想把它部署到我的機子上，行不？

99%的情況就是，你就試吧，“試試就逝世”。論文一看就懂，真機一跑就廢，單機部署只是一場簡單的折磨，多個機器人在復雜場景中協同作業是“真正的地獄”。

所謂做具身智能，最后往往成了“具身調參”——調完模型調驅動，調完驅動調環境。每天不是在Debug工具鏈，就是在去Debug工具鏈的路上，活活把自己干成了“機器人接線員”：讓驅動對上版本、讓話題對上名字、讓仿真和真機對上脾氣。

為了解決這個問題，現在Physical Agent Operating System（PhyAgentOS）正式開源，幾小時就能讓機器人跑起來，從機械臂切到四足改個配置就行，多臺機器協作跟拉群聊一樣簡單，每一步決策都攤在桌面上給你看。

幾小時而非幾天，從代碼克隆到機器人動起來，全鏈路腳手架開箱即用； 零代碼而非重訓練，從四軸機械臂切換到四足機器人，只需切換配置而非重寫控制棧； 群體協同而非單機孤島：作為多智能體（Multi-Agent）的核心中樞，PhyAgentOS 賦予多機器人系統在實際場景任務中動態分工、無縫合作的能力，并在持續的物理交互中實現經驗共享與群體自進化； 白盒而非黑盒，每一行決策都可追溯、可調試、可教學，讓Agent 在想什么、為什么這么做變得肉眼可見。

看來，這不僅是一個具身智能體框架，更是一個“讓物理具身本體真正跑起來，并讓群體智能涌現”的開源操作系統。

Showcase！真機部署，開箱即用

PhyAgentOS 已在多種主流機器人平臺完成真機驗證，支持一鍵部署、零代碼遷移：

Demo 1: AgileX PIPER 一鍵部署

無需編寫底層驅動代碼，通過hal_watchdog.py自動識別并加載配置文件，從開箱到首次運行可在數小時內完成。

Demo 2: 基于SAM3的自然語言抓取

通過自然語言指令"抓取桌子上的蘋果"，Agent自動解析語義、定位目標、生成約束并執行抓取。

Demo 3: 基于ReKep的約束求解抓取（Dobot Nova 2）

使用ReKep（Relational Keypoint Consraints）進行幾何約束求解，實現精確的位姿控制，高效完成操縱任務。

02

核心革新：

從"端到端黑盒"到"協議化白盒"的范式轉移

傳統視覺語言動作模型（VLA）將感知、推理、控制壓縮進單一神經網絡，如同一個黑盒大腦——效果好但不可解釋，遷移難且調試痛苦。PhyAgentOS選擇了一條截然不同的路徑：用結構化協議取代隱式神經網絡。

"文檔即接口"（Docs as API）的六層協議

PhyAgentOS定義了六層結構化協議，云端Agent與邊緣硬件通過讀寫Markdown文件交互：

? TASK.md：全局任務黑板，用DAG編排多Agent協作

? ENVIRONMENT.md：場景圖化的環境表征，解決"符號落地"難題

? SKILL.md：與硬件無關的抽象工作流（如"抓取"的通用狀態機）

? ACTION.md：實例化的物理約束目標（而非具體軌跡）

? LESSONS.md： 過往任務執行的經驗，幫助Agent從歷史經驗學習

? EMBODIED.md：硬件本體的"自我說明書"，包含運動學極限

這種設計的革命性在于：云端LLM不再直接輸出關節角度，而是生成幾何約束與語義意圖（如"保持杯口在容器上方"）。邊緣側的約束求解器實時將這些意圖轉化為最優軌跡——這類似于自動駕駛領域的"決策-規劃"分離，但PhyAgentOS將其提升到了系統架構層面。

圖：PhyAgentOS架構圖 - 認知層（Track A）與物理執行層（Track B）通過文件系統協議空間解耦

四層架構：模塊化、可插拔、易教學

PhyAgentOS采用清晰的分層設計，每一層都可獨立替換、快速迭代：

?感知層（Perception）

從傳感器獲取環境信息，支持多模態輸入（圖像、文本、點云）。內置PerceptionService融合幾何與語義信息，構建場景圖寫入ENVIRONMENT.md。

?決策層（Decision）

統一接口接入OpenAI、Claude、Qwen-VL、Kimi等各大模型。Planner Agent理解指令并生成任務計劃，Critic Agent獨立校驗物理可行性。

?規劃層（Planning）

將自然語言指令分解為技能序列，支持動態重規劃。SKILL.md定義與硬件無關的抽象工作流，ACTION.md承載實例化的物理約束。

?執行層（Execution）

通過極輕量框架（可部署于單片機或工控機）調用硬件SDK。hal_watchdog看門狗進程作為認知與物理的唯一橋梁，通過異步文件輪詢實現時序解耦。

03

最重要的問題：PhyAgentOS適合誰？

答案其實很簡單：所有想讓機器人真正“跑起來”的人。

對高校教師而言，它是一套可以講透“感知-決策-控制”全鏈條的教學利器。

告別過去一門課東拼西湊多套工具鏈的窘境，PhyAgentOS提供開箱即用的教學套件：清晰的代碼結構、詳細的中文文檔、可視化調試工具——抽象的“Agent思維”變成了看得見的文檔流，ACTION.md實時變化，學生不再對著黑盒發呆。

更重要的是，從仿真到真機的無縫遷移，讓學生可以在幾小時內看到機器人完成“整理桌面”這樣的完整任務。一個平臺，從課程設計到畢業設計再到科研項目，學生無需頻繁切換環境，老師也不用再為“學生跑不通環境”而頭疼。

對于研究者來說，PhyAgentOS意味著告別重復造輪子，專注真正的創新。

標準化的接口與評估工具，讓新算法接入即可與現有方法公平對比；模塊化設計支持即插即用，想換規劃算法？改SKILL.md的生成邏輯就行。

約束求解范式帶來的可解釋性，讓失敗時可以精準定位“是哪條幾何約束沖突了”，而不是在參數海里盲目調參。

甚至還有沙盒演進管線，Agent可以在隔離環境中生成并驗證新工具，自動封裝為系統能力，支持長期自進化——這不僅僅是框架，更是研究創新的加速器。

再看工程團隊，PhyAgentOS扮演的是“具身智能中間層”的角色，上接多模態大模型，下接現有機器人與自動化平臺。

幾小時而非幾周完成技術預研，快速驗證“能理解任務、自主決策”的產品概念；真機部署無需昂貴的邊緣算力，普通工控機甚至單片機就能跑起來；Multi-Agent Critic校驗機制在物理執行前攔截幻覺動作，有效降低碰撞風險。

低成本、高效率、更安全，讓具身智能產品從概念到落地不再遙不可及。

而對于硬件廠商，PhyAgentOS提供的是“開箱即用”的智能注入能力。

通過標準化的BaseDriver接口，快速完成硬件適配，無需從零開發上層智能系統；為客戶提供統一開發框架和豐富示例，幫助他們基于你的硬件快速開發應用；加入PhyAgentOS社區，還能讓更多開發者基于你的硬件進行創新，共建生態。

目前已支持的硬件包括AgileX PIPER、Dobot Nova 2、Unitree Go2、XLeRobot雙臂系統等，Franka Research 3也在協議對接中——這個清單，還在持續擴展。

無論是教書育人、科研創新、產品落地，還是硬件賦能，PhyAgentOS都想做那個“讓事情變簡單”的角色。因為我們都清楚：機器人的未來，不該被配置環境、驅動兼容、工具鏈拼接這些瑣碎拖慢腳步。

快速開始：三步讓機器人動起來

代碼塊

# 1. 克隆倉庫并安裝依賴（一條命令自動配置）
git clone 

https://github.com/SYSU-HCP-EAI/PhyAgentOS.git
cd PhyAgentOS
pip install -e .

# 2. 初始化工作區（生成Markdown協議文件）
python scripts/init_workspace.py

# 3. 啟動系統
# 終端1：啟動硬件看門狗（Track B）
python hal/hal_watchdog.py --driver simulation  

# 或使用真實硬件驅動

# 終端2：啟動認知Agent（Track A）
python PhyAgentOS/agent/main.py

▎仿真VS真機，這次不再對立

仿真與真機無縫統一，是PhyAgentOS最讓人心動的一點。

你在PyBullet、Mujoco、Isaac Sim里反復調試、精心打磨的Agent，不再是只能活在虛擬世界里的“數字玩具”。現在只需輕輕切換一個--driver參數，智能就能立刻轉移到到真實的機械臂、四足機器人身上，所有業務邏輯一字不改。

這意味著什么？意味著開發者可以在仿真中大膽試錯、暴力迭代，把碰撞風險、硬件損耗都擋在世界之外，等到一切就緒，一鍵“下凡”到真機執行。

從此，“仿真只是仿真，真機還要重寫”的噩夢徹底成為過去，真正實現一次開發，兩處運行。

最后，展示一下PhyAgentOS處理復雜長程任務的demo吧

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。