IT之家7月22日消息,SeedGR-3是字节跳动Seed团队提出的全新Vision-Language-ActionModel(VLA)模型,它具备泛化到新物体和新环境的能力,能理解包含抽象概念的语言指令,还能够精细地操作柔性物体。
据Seed介绍,与此前需要大量机器人轨迹训练的VLA模型不同,GR-3通过少量的人类数据即可实现高效微调,从而快速且低成本地迁移至新任务,以及认识新物体。
此外,得益于改进的模型结构,GR-3能有效处理长程任务并能进行高灵巧度的操作,包括双手协同操作、柔性物体操作,以及融合底盘移动的全身操作等。
具体而言,这些能力是通过一种多样的模型训练方法实现的:除遥操作机器人收集的高质量真机数据外,团队还经过用户授权,征集了基于VR设备的人类轨迹数据,以及公开、可用的大规模视觉语言数据进行联合训练——多样性数据的融合是GR-3区别于现有VLA模型的亮点之一。
同时,字节跳动Seed团队还开发了一款具备高灵活性、高可靠性的通用双臂移动机器人ByteMini,相当于是专为GR-3这颗“大脑”打造的“灵活躯体”。
ByteMini具备22个全身自由度以及独特的手腕球角设计,使它能够像人类一样灵活,在狭小空间中完成各种精细操作,携带GR-3模型这颗“机器人大脑”,可高效在真实环境中处理复杂任务。
GR-3在各类任务中展现的特点包括:
“心灵”:GR-3在超长序列(子任务数≥10)的餐桌整理任务中,可高鲁棒性、高成功率地完成任务,并在过程中严格跟随人类发出的分步指令;
“手巧”:GR-3在复杂灵巧的挂衣服任务中,能够控制双臂协同操作可形变的柔性物体,甚至可以鲁棒地识别并整理不同摆放方式的衣物;
泛化好:GR-3在各类物体的抓取放置任务中,可以泛化到抓取未见过的物体,同时可理解包含复杂抽象概念的指令。
经过团队上千次系统性实验测试,GR-3表现超过业界此前可测试具体性能的VLA头部模型π0。未来,团队希望GR-3可以成为迈向通用机器人“大脑”的重要一步。
在基础场景和新环境中,加入公开可用的图文数据进行训练不会带来能力损失;在未见过的复杂指令和新物品任务中,这部分数据分别能带来42.8%和33.4%的成功率提升。
为持续提升GR-3应对未见过物体的能力,团队利用VR设备采集了人类操作物体的数据,结果发现:只需要通过VR设备对相应物品采集10条轨迹数据,就可以让GR-3操作这些物体的成功率从不到60%提升到超过80%。
团队还同时测试了GR-3跟随分步指令的能力,结果发现:GR-3在跟随语言指令上,领先基准模型,面对多件同类物品(如多个杯子),GR-3能按指令将他们“全放进垃圾桶”,若指令无效(如餐桌上没有蓝色的碗,指令为“把蓝色碗放进篮子”),GR-3能准确判断并保持不动,而基准模型则会随机拿取物品。
此外,GR-3还能泛化到机器人数据中未包含的衣服。例如,当机器人数据中的衣服均为长袖款式时,GR-3对短袖衣物同样能有效处理。
IT之家附官方地址:
ArXiv:http://arxiv.org/abs/2507.15493
项目主页:https://seed.bytedance.com/GR3
去年,民航局、国家发改委联合发文《关于推进国际航空枢纽建设的指导意见》,画出国际航空枢纽的蓝图,提出“3+7+N”国际航空枢纽功能体系。延伸阅读:与 字节跳动发布通用机器人模:型GR3 {能理解包}含抽象概念、的语言指令 的相关文章