机器人仿真工作台
NovaMeow 做的是家用陪伴具身人型——所以平台里有一块别处没有的东西:在你浏览器里跑真实物理的机器人仿真。不是视频、不是预渲染,是自托管的 MuJoCo 物理引擎(编译成 WASM)在浏览器里实时运算,机器人由强化学习策略驱动。
进控制台 → 切到具身模式 → 打开仿真工作台(#/robot-sim)即可。
能跑什么
| 机型 | 自由度 | 策略 | 来源 / 许可 |
|---|---|---|---|
| 高擎 Mini Pi | 12-DoF 双足 | 官方行走基线 | livelybot_pi_rl_baseline,MIT |
| 高擎 Mini Pi+ | 22-DoF 人形 | 我们自训的行走策略 | IsaacLab 自训;机型 MIT |
| 宇树 G1 | 29-DoF 人形 | NVIDIA SONIC 全身控制 | 网格 BSD-3 + 策略 NVIDIA OML |
怎么用
- 选机型 —— 顶部机型下拉。
- ▶ 加载仿真 —— 懒加载物理引擎 + 机型网格(首次几十 MB,之后走缓存)。
- 🚶 行走策略 / 🧠 SONIC 策略 —— 加载强化学习策略,机器人在物理里站起来。
- 驱动 ——
W/A/S/D或方向键,或视口右下角的方向盘 ▲◀■▶▼,驱动它行走。 - 拖拽抗扰 —— 鼠标拖机器人施加外力,策略会实时抗扰、自己稳回来。
跑策略推理需要支持 WebGPU 的浏览器(Chrome / Edge)。纯渲染与物理不需要。
底层是什么
全部同源加载、零外部 CDN——引擎、机型、策略都从本平台取件:
- 物理:DeepMind 官方 MuJoCo 编译成 WASM 单线程版(免 SharedArrayBuffer / COOP-COEP),浏览器内高频物理步进。
- 渲染:three.js(MIT),读 MuJoCo 几何实时绘制;鼠标拖拽转视角、滚轮缩放。
- 策略:行走策略导出为 ONNX,ONNX Runtime Web 浏览器内 50Hz 推理;与训练同款 MuJoCo 引擎,sim2sim 对齐(位置执行器 +
implicitfast隐式 PD,复现训练时的 PhysX 行为)。
Mini Pi+ 人形那支策略是我们在 IsaacLab 里自己训的:速度指令运动(velocity locomotion),4096 并行环境训 2000 代;导出后用浏览器同款 MuJoCo-WASM 完整复现验证(前进数米、站得稳),obs 构造对 Python ground truth 逐元素零差才上线。
许可与边界
- Mini Pi / Mini Pi+ 机型与行走策略:MIT,可商用。
- 宇树 G1 网格:BSD-3(须保留版权、不得背书);SONIC 策略权重:NVIDIA Open Model License(允许商用,须署名
Licensed by NVIDIA Corporation under the NVIDIA Open Model License.)。 - SONIC 附带的舞蹈动作片段源自 BONES-SEED(非商用),仅供评估,正式商用前会以可商用动作替换。
逐件署名见仓库 scripts/sim-assets/NOTICE.md;人形自训管线(训练配置 + sim2sim 验证)见 scripts/sim-assets/piplus-train/。