Hy-Embodied-RxBrain-1.0

GitHub

Hugging Face

Arxiv

依托 Hy-Embodied-VLM 基座开发的一个具身世界认知基座模型，对世界理解、推理规划、行动后果预测等统一建模。基于 5w+ 小时高质量具身数据训练，在一个模型中实现文本、图像、视频以及图文交错形式的统一理解与生成，将具身认知推理、行动规划和目标状态想象转化为更清晰、更稠密的多模态 Condition，为下游动作模型提供高层指导。在同尺寸模型中形成差异化领先能力，为具身 Agency 的上层认知决策和下游动作生成都提供了新的基础模型支撑。

工作贡献

世界理解与具身推理

理解真实场景中的物体、空间关系、任务状态和行为约束，支持任务规划、动作推理、异常识别、完成度判断及多视角空间推理，为机器人提供面向物理世界的高层认知能力。

连续多帧世界状态预测

根据当前视觉观测和动作指令，连续预测动作执行后的多帧未来状态，建模物体变化、场景演化和行动后果，为机器人提供短时视觉前瞻和 world state prediction 能力。

交错式任务拆解与多模态想象

将长程任务拆解为连续子步骤，并交错生成文本计划与 subgoal image。每一步生成的目标状态会重新进入模型上下文，使后续规划持续基于此前的推理和想象结果展开。

评测结果

开源BenchMark

RxBrain-Bench

RxBrain 在约 6.2B 参数规模下，兼具开放域图像生成与具身空间理解能力。

在文生图评测 GenEval 上，RxBrain 得分 82.4，与生成专用模型 BAGEL 的 82 分相当，高于 Cosmos3-Nano 的 71.68 分。

在具身与空间理解方面，RxBrain 在 CV-Bench 上取得 88.59、EmbSpatial 取得 82.3、DA-2k 上取得 83.4；在 3DRS-Bench、MMSI-Bench、MindCube 和 SITE-Bench-Image 等多视角与三维理解评测中取得最优结果，并在机器人轨迹预测及空间配置理解任务中保持领先。

这表明，RxBrain 并未以牺牲语言理解和具身推理为代价换取视觉生成能力，而是在统一模型中同时保留两类能力。

将RxBrain扩展至动作生成

RxBrain 动作模型在 DOBOT X-Trainer 和方舟机械臂平台上完成摆放餐具、折叠并收纳眼镜等多阶段操作任务。视频同步展示机器人执行过程，以及模型生成的文本步骤和视觉目标状态，直观呈现从场景理解、任务规划、目标想象到动作执行的完整链路。

在 DOBOT X-Trainer 和方舟无限 A5 两类机械臂本体上，模型在 Set the Table 、Fold and Store Glasses 和 Pick Trash 上分别取得 97%、95% 和 68% 的成功率，平均成功率达到 87%；相比之下，π0 和 π0.5 的平均成功率分别为 68% 和 82%。结果表明，从视觉生成专家中复用世界状态预测和规划表征，能够有效提升动作分支在多阶段机器人操作中的执行可靠性。