京东探索研究院获世界顶级机械臂大赛两项前三

3月1日消息，据金融界资讯消息，日前，世界顶级机械臂大赛SAPIEN ManiSkill Challenge 2021公布了本届参赛队伍成绩以及最终排名，其中京东探索研究院视觉与多媒体实验室的参赛团队“Silver-Bullet-3D”在两个重要赛道中分别获得“第一”和“第二”的优秀成绩，充分证明了京东探索研究院在计算机视觉领域受到国际认可。

（图源金融界，下同）

据了解，SAPIEN ManiSkill Challenge机械臂大赛是由美国加州大学圣地亚哥分校、伯克利分校以及斯坦福大学联合在国际机器学习顶级会议ICLR 2022上举办的世界重磅赛事。本次比赛将控制机械臂完成的任务种类设计为四种，分别是开柜门、移动椅子、开抽屉以及搬水桶，吸引了来自全球知名机构以及高等院校的30多支队伍参与其中。

具体来说，“No Interaction Track”即“采用模仿学习方案”，旨在从预先收集的演示轨迹中有效学习。在满足该技术要求的前提下，京东参赛团队提出了基于模仿学习的解决方案，主要包括两个模块，分别是直接采用模仿行为的行为克隆以及离线增强学习，同时为了对机械臂和被操纵物体复杂的纹理、结构信息建模，提出了基于Transformer的关系建模网络。

在第一阶段和第二阶段官方测试中，该模型在所有四个单项任务中均位列第一。

“No Restriction Track”可以被释义为“采用规则方案”，组委会允许本次的参赛队伍基于与仿真环境的交互任意设计控制和规划方案。对此京东团队提出了基于启发式规则的方案（HRM），将复杂的操作任务分解为一系列子任务，根据在仿真环境中观察到的图像和点云，并基于规则的控制逻辑预测机械臂要完成的操作以实现当前子任务的目标。

在官方评测中，该方案以超过第二名23.8%的绝对优势获得第一名。

如今京东探索研究院计算机视觉技术方向专利已授权18项，其团队核心成员在AI顶会发表的论文总量180+篇，尤其在第29届ACM国际多媒体顶级会议上，京东探索研究院凭借多模态交互数字人技术、跨模态分析技术分别斩获最佳演示奖及最佳开源项目奖。