批判性地读。

这篇文章的贡献主要在于基础设施构建，方法上没有创新性。并且它没有解决自己提出的一些痛点。

文章提出现有的 benchmark 的局限，其中之一是任务变化通常通过物体、布局来引入。然而它的 sim bench 的设计：

Compared with RoboTwin 2.0 (Chen et al., 2025a), RoboDojo introduces stronger scene randomization and denser tabletop clutter. While RoboTwin 2.0 includes at most 10 clutter objects, RoboDojo randomizes up to 25 clutter objects, substantially increasing visual distraction and scene complexity.

RoboDojo 的工作本质上还是搬砖，整合了前人的工作，并在每一维进行一个量的堆积，而不产生质的改变。

相关工作

机器人操作中的学习

机器人操作策略演进：模仿学习 -> 大规模通用型机器人。

文中提到，传统模仿学习方法通过从专家示范中学习，实现了强大的视觉-运动操作性能。近期的视觉-语言-动作模型和基础策略进一步提升了开放词表指令遵循、跨任务泛化以及跨具身迁移能力。近期的研究探索了特定诸如基于记忆增强的操作、动态操作、基于世界模型的控制之类的特定能力瓶颈。

这就是说，现有的策略擅长学习动作 -> 把动作做出来，而真实世界的要求是在做动作时确认环境是否还是假设的样子，以此进行纠正。

机器人操作评估

现有 bench 提供了多个能力专项测试，针对特定任务族、能力维度或评估环境。痛点更在于：模拟时无法完全复刻真实部署中的物理不确定性，现实世界 bench 则受限于硬件配置、场景充值流程、评估协议和部署接口在不同用户间的差异，复现困难。

RoboDojo 提供一个统一的 仿真与现实结合的基准，具备共享的策略接口和评估流水线，即 XPolicyLab，以此解决上述痛点。

Benchmark

RoboDojo 将能力分为五个维度：泛化性、记忆力、精准度、长程任务、开放性。

Simulation Benchmark

• 泛化。就是往桌子上放更多东西，让桌子更乱。
• 记忆。记住传送带上消失的物品的类别，之后挑出来；复刻东西放到篮子里面的顺序。
• 精准度。把管状物插进狭窄孔洞。
• 长程任务。“由于工作空间相对较大，该任务可能还需要双臂之间的交接行为，从而导致更长的执行时域和更高的时间复杂度。”
• 开放性。“例如，general_pickup 需要物体抓取，这一技能在训练过程中频繁出现，但具体的抓取目标并未直接包含在训练任务中。该维度考察策略是否能够重组学成的操纵技能，并将新的语言指令与之关联，以解决此前未见过的任务。”

设计上是纯粹的缝合，没有什么创新性。核心价值或许在：

• 异构并行仿真。“多个环境在共享的向量化接口下步进，同时每个环境维护独立采样的场景配置。不同的并行环境可以包含不同的物体类别、资产几何形状、干扰物数量、关节结构和任务布局。”
• 资产库与数据合成。构建了带语义和 affordance 标注的刚体、关节与可变形物体资产库，结合运动规划器自动合成轨迹。

Real-World Benchmark

核心价值在于真机 benchmark 的可复现性，但真实性其实不足，感觉是一种不可兼得的妥协。

real world 这块，主要还是作为工程基建的价值。并且还需要考量测试环境是否固定，有没有做受控的泛化测试。看后文 RoboDojo-RealEval 的设计：

During evaluation, predefined task layouts are replayed through a transparent overlay between the target layout image and the live observation stream, enabling evaluators to restore consistent initial conditions before each trial.

环境是固定的，也没有做 random 泛化测试。至于前面说的“仿真和现实结合”，其实两边任务根本没有一一对应：

Importantly, we do not construct one-to-one aligned task pairs between simulation and the real world. The real-world benchmark is not intended to measure direct sim-to-real transfer on matched tasks.

XpolicyLab

就是标准化接口，没有算法创新，依然是工程基建。环境做 client，策略做 server（暴露 reset、update_obs、get_action），通过 WebSocket + MessagePack 通信，以此实现前面说的“共享策略接口”。

反作弊协议

• 真机每 trial 由三名评估者双盲打分，取平均，允许申诉，公开评测视频；
• 公开发布 layouts 做主榜，但额外用 hidden randomized layouts 做验证集，两者 SR 差太多就判定无效、从榜单剔除（防 hand-tuning/过拟合公开布局）；
• 由非营利组织维护，无商业赞助参与；
• 上 verified 榜必须公开 checkpoint + 训练/部署代码 + 配置 + 复现说明。

to be done