人形机器人运动智能知识库

出品：具身智能研究室

这个知识库围绕人形机器人运动智能的完整研发链组织内容，帮助读者把单篇论文、开源项目、公司动态和岗位要求放回同一张问题地图中。

🚀 使用方法

将仓库克隆到本地，并在支持读取本地文件的Agent中打开仓库目录：

git clone https://github.com/RealXiaoze/humanoid-motion-intelligence.git
cd humanoid-motion-intelligence

使用时向Agent说明你的背景、目标、机器人本体、开发环境、已有结果和当前问题，再让它按照Agent使用规则检索技术路线、论文、项目、数据集、产业和岗位信息。

这个知识库可以怎样使用

你的目标	主要入口	可以让Agent完成什么
从零学习人形机器人运动控制	技术路线总览与学习路径	根据专业基础、可用硬件和学习周期，在自主运动基座、参考跟踪基座和真机部署闭环中规划阶段任务、阅读材料与验收结果
查论文、比较方法或确定选题	论文总索引	围绕一个技术矛盾比较相邻论文的输入、输出、训练信号、控制接口、实机证据和失败边界，判断已有结论与可研究缺口
选择开源项目和复现基线	开源项目主表 · 小而美的运动控制项目	根据机器人本体、仿真器、算法方向、代码状态、许可证和真机支持筛选项目，并检查项目实际开放了训练、部署还是只有演示
按公司查官方开源项目	具身智能公司的开源项目	直接选择公司文件，查看官方训练、仿真、模型、运行时和部署项目，并核对许可证、维护状态、真机支持与归属证据
查找训练数据和数据采集方案	具身智能数据集	比较人体动作、人类视频、Ego数据、遥操作、真机示范、仿真轨迹和数字资产的模态、本体依赖、动作表示、许可与下游用途
建设动作恢复、重定向和数据管线	动作数据与重定向	梳理视频或MoCap恢复、坐标处理、跨本体重定向、接触约束、时间同步、质量筛选和下游训练接口
调试或优化运动控制算法	Locomotion与运动先验 · 动作跟踪与全身控制	根据观测、动作、奖励、参考轨迹、PD、控制频率、训练现象和失败日志定位问题，并提出可通过消融实验验证的修改
构建LocoManip、VLA、世界模型或Agent系统	LocoManip · 世界模型、VLA与Agent	明确感知、身体基座、接触控制、动作生成、任务规划和反馈模块的输入输出，判断上层模型怎样调用低层执行能力
完成Sim2Real和真机部署	工程与实机部署	检查模型导出、关节映射、归一化、PD/WBC、状态估计、控制时序、通信、安全状态机、日志和失败回归
建立评测和测试体系	工程与实机部署	根据Benchmark、标准、任务协议和失败场景建立固定测试矩阵，区分仿真结果、Sim2Sim、硬件在环和真机证据
补机器人学和强化学习基础	基础书籍与学习资料 · 强化学习开发者必备开源资料	根据当前故障补坐标、动力学、规划、状态估计、PPO和工程工具，而不是从头顺序读完整份书单
观察公司、产品与产业变化	公司与产业	查询公司成立、产品发布、融资和公开技术路线，并区分公司自述、论文证据、第三方报道与分析推断
准备实习、校招或社招	招聘与内推信息	对照目标岗位分析能力缺口、项目表达、面试准备和投递渠道；岗位状态、薪资和联系方式仍需回到原始页面确认

使用要求

要求Agent在结论中注明引用页面、论文或数据集的稳定编号和原始来源；引用开源项目时使用项目名称与官方链接，不向读者展示内部项目编号。同时区分论文结论、项目README声明、公司自述和分析推断。“有代码”“有演示”不等于完整可复现或稳定真机部署。

🗺️ 技术路线核心内容

六条路线是知识库的资料分类，不等于六个并列的个人研究方向。对人形机器人运动控制而言，核心是形成通用全身运动控制基座：一条主线根据任务命令、地形和行为提示自主产生运动，另一条主线根据参考动作或人体信号完成全身跟踪。动作数据位于上游，LocoManip与世界模型/VLA/Agent位于下游，工程与实机部署横向支撑所有环节。

1. 动作数据与重定向

动作数据与重定向回答人体、视频、MoCap或其他本体的运动怎样变成目标机器人可训练、可执行的数据。判断一项工作是否属于这里，要看它的核心产物是不是人体运动、机器人参考轨迹或批量数据，而不是最终控制策略。

内部路线	需要解决的问题	代表工作
视频人体运动恢复	从移动相机和野外视频中分离人体局部姿态、相机运动与世界坐标轨迹	GVHMR、TRAM、WHAM
目标本体动作重定向	处理人体与机器人之间的比例、零位、连杆坐标、关节限位、接触和动力学可行性	GMR、NMR、OmniRetarget、DDR、DynaRetarget
人形训练数据构建	把少量示范、三维资产、视频先验或无本体采集扩展成可规模化训练的数据	GRAIL、BifrostUMI、HumanoidMimicGen

代表项目包括GMR、GVHMR、OmniRetarget和HumanoidMimicGen。完整页面收录17篇论文/技术报告和47个项目。

2. Locomotion与运动先验

Locomotion与运动先验研究没有完整逐帧参考动作时，机器人怎样根据速度、方向、目标位置、地形或行为提示自主产生运动。视觉感知、复杂地形与AMP不是三个平级能力，而是同一自主运动主线中的不同问题。

内部路线	需要解决的问题	代表工作
基础Locomotion	速度跟踪、站立、行走、跑跳、抗扰、课程学习、域随机化和基础Sim2Real	Humanoid-Gym、Rapid Locomotion、Real-World Humanoid Locomotion
感知与复杂地形	让本体历史、深度图或高度图参与状态估计、落脚选择和全身地形反应	DreamWaQ、Humanoid Parkour、Hiking in the Wild
对抗先验与行为模型	用判别器、生成先验、潜变量或无监督技能表示约束动作分布并形成可提示行为	AMP、ASE、BFM-Zero、State-Dependent AMP

代表项目包括Humanoid-Gym、BFM-Zero、Project Instinct和Legged Lab DWAQ。完整页面收录39篇论文/技术报告和61个项目。

3. 动作跟踪与全身控制

动作跟踪与全身控制研究参考动作、关键点、目标姿态或人体实时信号怎样被稳定转换成机器人全身动作。与自主Locomotion的区别是，这条路线具有明确参考；真正的难点是参考是否可执行、Tracker是否能泛化，以及失配后能否恢复。

内部路线	需要解决的问题	代表工作
基础Tracker与通用运动基座	扩展动作库与模型容量，统一速度、关键点、姿态和motion token等控制接口	DeepMimic、HOVER、SONIC、HoloMotion-1
跟踪增强与失配恢复	修正不可达参考，处理动力学偏差、碰撞扰动、在线适应和偏离参考后的恢复	BeyondMimic、Heracles、Any2Track
人体驱动与遥操作	把人体信号、重定向、因果观测、通信延迟、真机反馈和安全约束组成实时闭环	H2O、OmniH2O、TWIST、TWIST2

代表项目包括BeyondMimic、HoloMotion、OmniH2O、MimicKit和engineai_rl_lab。完整页面收录40篇论文/技术报告和52个项目。

4. LocoManip与物理交互

LocoManip位于任务能力层。它不只是“边走边抓”，而是要求移动、平衡、视觉、接触、负载和物体动力学进入同一任务闭环，最终改变外部物体或场景状态。现有系统可以串联多个专项技能，也可以训练统一全身策略，或让VLA/WAM生成目标后由身体基座执行。

内部路线	需要解决的问题	代表工作
视觉闭环与交互状态	从RGB、深度、场景几何或物体状态判断接触阶段，并处理视觉误差对任务结果的影响	DoorMan、HumanX、HAIC
接触力控与负载适应	处理外力、柔顺响应、接触切换、未知负载和人体安全交互	FACET、Thor、GentleHumanoid
全身协同与技能接口	联合腿、腰、手和物体状态，并向遥操作、规划器或上层模型提供统一身体接口	OmniContact、CoorDex、OpenHLM

代表项目包括DoorMan、OmniContact、CoorDex和Thor。完整页面收录32篇论文/技术报告和38个项目。

5. 世界模型、VLA与Agent

世界模型、VLA与Agent关注上层模型怎样理解视觉语言、预测环境变化、生成动作或调度技能，并与身体控制器形成反馈闭环。阅读这类工作时必须先确认输出接口：模型给出的是关节动作、动作块、motion token、轨迹、末端目标还是技能调用。

内部路线	需要解决的问题	代表工作
动作生成与通用策略	从视觉、语言、本体状态和任务条件生成可供机器人执行的动作表示	GR00T N1、WholeBodyVLA、MotionWAM
物理世界建模与预测	预测动作条件下的未来视觉、潜在状态、物体变化或动力学，用于规划、训练和评测	DreamDojo、HAIC、WorldArena
记忆、规划与任务调度	维护空间和任务上下文，把长程目标拆成技能图，并依据执行反馈重新规划	HoloAgent-0、SceneBot、FALCON

代表项目包括Isaac-GR00T、HoloAgent、GE-2 / GE-Sim 2.0和GO-2。完整页面收录48篇论文/技术报告和103个项目。

6. 工程与实机部署

工程与实机部署不是杂项目录，而是算法进入真机必须经过的横向底座。这里覆盖机器人模型和接口、状态估计、动力学控制与优化、仿真器、Sim2Real、安全评测、数据集、Benchmark和标准。

工程层	需要解决的问题	代表论文或项目
状态、接触与控制	浮基状态怎样估计，任务空间目标怎样转成满足接触和动力学约束的控制量	Contact-Aided InEKF、Crocoddyl、Pinocchio、mc_rtc
仿真与训练基础设施	怎样统一机器人、环境、观测、动作、奖励、随机化和批量训练接口	Isaac Lab、MuJoCo、Genesis
Sim2Real、安全与部署	怎样处理动力学偏差、系统辨识、模型导出、控制时序、硬件通信、安全过滤和故障回退	PACE、ASAP、SafeWBC、ros2_control
数据集、Benchmark与标准	怎样定义数据来源、本体依赖、许可、任务协议、评价指标和回归测试	具身智能数据集 · 工程与实机部署完整索引

完整页面收录17篇论文/技术报告和286个项目。项目数量较多，是因为本体接口、仿真器、控制库、数据工具和部署工程都在这一层汇合。

新手学习顺序

完整学习要求和每阶段通过标准见技术路线总览与学习路径。下面保留最关键的顺序与最小产物，避免只读论文却没有形成可验证闭环。基础书籍与学习资料是遇到坐标、动力学、规划、状态估计或强化学习问题时的查阅入口，不要在开始项目前按书单从头读到尾。

阶段	核心任务	最小产物
1. 编程、数学与机器人表示	掌握Linux、Git、Python/C++、坐标变换、四元数、URDF/MJCF、关节与执行器顺序	解析一个机器人模型和一段关节日志，验证坐标、单位与索引
2. 机器人模型与反馈控制	理解FK/IK、雅可比、刚体动力学、接触、PD、阻抗/导纳和控制频率	在MuJoCo中完成单关节跟踪和静态姿态保持，并分析增益与时序失稳
3. 仿真训练闭环	追踪任务注册、观测、动作、奖励、Actor、Critic、保存和推理入口	跑通Humanoid-Gym或同类基线，保存配置、随机种子、曲线和评估视频
4. PPO与基础Locomotion	理解任务奖励、优势估计、PPO裁剪、课程学习、随机化和训练特权信息	固定测试条件，只改变一组观测、奖励或随机化并完成受控消融
5. 选择一条运动基座主线	自主运动主线继续研究地形感知、状态估计与AMP/行为先验；参考跟踪主线先完成动作数据与重定向，再进入Tracker、恢复和人体驱动	自主运动完成一项受控消融；参考跟踪完成一段动作从重定向到关节目标的闭环，并报告失败片段
6. 按目标扩展系统	根据目标建设规模化动作/交互数据管线，或把运动基座接入LocoManip、VLA/WAM/Agent；这些分别是上游数据、任务层和高层扩展，不是第三条运动基座	明确扩展模块的输入输出、上下游接口和独立收益，用端到端任务与失败案例验证
7. Sim2Real与测试闭环	核对关节映射、模型参数、PD、延迟、导出、通信、安全状态机和日志时钟	建立覆盖速度、地面、扰动、载荷、延迟与模型偏差的回归测试矩阵

最终作品不要求覆盖全部路线，但应包含问题边界、可复现环境、控制闭环、基线与改动、实验与消融、失败分析、部署证据和结果表达。完成标志不是“成功运行作者命令”，而是更换动作、本体、控制参数或测试场景以后，仍能判断应该修改哪一层以及如何验证。

📚 重点文件索引

文件	主要内容
技术路线总览与学习路径	系统能力栈、训练更新闭环、路线关系、七阶段学习顺序、最小作品和通过标准
强化学习开发者必备开源资料	通过开源项目页和书籍课程页，分别解决“开发用什么工具”和“基础怎样补齐”
具身智能数据集	按数据来源、本体依赖、动作表示和训练用途查找40个具身智能数据集
论文与技术报告总索引	193篇论文与技术报告按最终系统作用分类，可按稳定Pxxx编号进入独立解读
开源项目主表	587个项目的研发位置、关键实现、开源边界与开发价值
具身智能公司的开源项目	目录按公司拆成独立页面，展示官方归属可核验且具有代码托管入口的项目，并标注许可证与使用边界
公司与产品主表	按国家或地区整理的177家公司/机构及其公开产品与平台
公开信号时间线	只记录带日期的公司成立、产品发布与融资事实
运动控制面经、谈薪与薪资汇总	运动控制面试、项目表达、谈薪与匿名薪资样本入口
具身秋招运动控制问答	秋招阶段关于方向选择、项目准备和岗位判断的集中问答
招聘与内推信息	按Base地点整理的公司、岗位、职责、要求和公开投递方式

阅读与使用

• 技术方法按最终解决的问题分类，AMP、Mimic、Diffusion、Transformer和世界模型等保留为方法标签。
• 公司自述、论文结果和第三方证据不能相互替代；公司目录与事件时间线均不构成强弱排名或投资建议。
• 招聘、薪资和产品信息会变化，使用前请检查页面日期和原始来源。
• 发现错误时，请提供具体页面、稳定ID和原始来源；转载与图片使用请先阅读许可与版权边界。

📬 联系与纠错

• 微信：yzz010329
• GitHub：提交Issue

纠错时请附上页面名称、稳定ID、错误位置和可核验来源；论文、项目、公司与招聘信息均以原始来源为准。