NVIDIA Research和德克萨斯大学奥斯汀分校互助研发大型仿照框架RoboCasa,可体例不同的仿照场景供机器人演习。目前RoboCasa专注于厨房场景,演习单臂移动平台机器人、类人型机器人、带手臂的四足机器狗等通用型机器人。
图片来源:RoboCasa
Excited to announceRoboCasa, a large-scale simulation framework of everyday tasks! We use generative AI tools to create diverse objects, scenes, and tasks. Simulation plays a pivotal role in our Data Pyramid for training generalist robots.
Open-source athttps://t.co/o4VKt5h5Whpic.twitter.com/JoPwvUaTly
— Yuke Zhu (@yukez)May 28, 2024
RoboCasa参考许多建筑和家居设计杂志体例出一系列厨房样式,供应大量可互动的橱柜、炉灶、水槽、微波炉等家具和电器,还原现实天下的繁芜和多样性。机器人可以在仿照场景中利用这些家具和电器,微波炉的门可以打开和关闭、迁徙改变炉灶上的旋钮也能打开火。RoboCasa每个场景的纹情由MidJourney AI文本转图片模型天生,在墙壁、地板、柜台和橱柜面板各供应了统共100种纹理,还有包含各种水果、蔬菜、包装食品和容器的存储库,大大提升了演习数据的视觉多样性。RoboCasa供应“抓取和摆放”、“开关门”、“开关抽屉”、“迁徙改变旋钮”、“迁徙改变操作杆”、“按下按钮”、“插入”、“导航”共8种根本动作来构建模块。
图片来源:RoboCasa
RoboCasa这个开源大型仿照框架在现在的AI时期可供许多没有预算的开拓者利用,演习自家的机器人。预见未来RoboCasa将添加更多不同的场景,不再限于厨房场景。
数据及图片来源:RoboCasa