Open X-Embodiment: Robotic Learning Datasets and RT-X Models
Auteurs : Dorsa Sadigh, Danny Driess, Fei Xia, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Yevgen Chebotar, Pierre Sermanet, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Igor Mordatch, Dinesh Jayaraman, Wenxuan Zhou, Nicolas Heess, Tianli Ding, Trevor Darrell, Chelsea Finn, Yifan Zhou, Deepak Pathak, Bernhard Schölkopf, Tony Z. Zhao, Vikash Kumar, Wolfram Burgard, Xinyang Geng, Yunfan Jiang, Pieter Abbeel, Guanzhi Wang, Ajay Mandlekar, Yuke Zhu, Jitendra Malik, Chen Wang, Jiajun Wu, Jeffrey Wu, Hao Su, Rafael Rafailov, Archit Sharma, Ken Goldberg, Jaehyung Kim, Ning Liu, Kevin Lin, Xiaolong Wang, Xi Chen, Zhuo Xu, Peng Xu, Michael C. Yip, Mateo Guaman Castro, Danfei Xu, Soroush Nasiriany, Li Fei-Fei, Yutaka Matsuo, Yusuke Iwasawa, Abdul Rehman, Xuanlin Li, Animesh Garg, Yilin Wu, Abhishek Gupta, Yecheng Jason Ma, Osbert Bastani, Ted Xiao, Jacky Liang, Felipe Vieira Frujeri, Dhruv Shah, Todor Davchev, Stefan Schaal, Subramanian Ramamoorthy, Agrim Gupta, Mingyu Ding, Jiankai Sun, Chenfeng Xu, Masayoshi Tomizuka, Wei Zhan, Zipeng Fu, Glen Berseth, Jeannette Bohg, Lisa Lee, Nur Muhammad Mahi Shafiullah, Anant Rai, Lerrel Pinto, Shikhar Bahl, Russell Mendonca, Yonatan Bisk, Yujin Tang, Kyle Hsu, Siddharth Karamcheti, Suvir Mirchandani, Suraj Nair, Krishnan Srinivasan, Annie Xie, Sean Kirmani, Jimmy Wu, Shuran Song, Cheng Chi, Anthony Brohan, Chuyuan Fu, Keerthana Gopalakrishnan, Jasmine Hsu, Alex Irpan, Ryan Julian, Dmitry Kalashnikov, Isabel Leal, Yao Lu, Karl Pertsch, Kanishka Rao, Anikait Singh, Stefan Welker, Paul Wohlhart, Jialin Wu, Sichun Xu, Ilija Radosavovic, Yue Cao, Abhinav Gupta, Yixuan Wang, Cewu Lu, Hiroki Furuta, Open X-Embodiment Collaboration, Abby O'Neill, Abhiram Maddukuri, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Ajinkya Jain, Albert Tung, Alex Bewley, Alex Herzog, Alexander Khazatsky, Anchit Gupta, Andrew Wang, Andrey Kolobov, Aniruddha Kembhavi, Antonin Raffin, Arefeh Yavary, Arhan Jain, Ashwin Balakrishna, Ben Burgess-Limerick, Beomjoon Kim, Blake Wulfe, Charles Xu, Charlotte Le, Chenguang Huang, Christine Chan, Christopher Agia, Chuer Pan, Coline Devin, Daniel Morton, Daphne Chen, Dieter Büchler, Edward Johns, Ethan Foster, Fangchen Liu, Federico Ceola, Feiyu Zhao, Freek Stulp, Gaoyue Zhou, Gaurav S. Sukhatme, Gautam Salhotra, Ge Yan, Gilbert Feng, Giulio Schiavi, Gregory Kahn, Guangwen Yang, Hao-Shu Fang, Haochen Shi, Henghui Bao, Heni Ben Amor, Henrik I Christensen, Homanga Bharadhwaj, Homer Walke, Hongjie Fang, Huy Ha, Jad Abou-Chakra, Jaimyn Drake, Jan Peters, Jan Schneider, Jay Vakil, Jeffrey Bingham, Jensen Gao, Jiaheng Hu, Jianlan Luo, Jiayuan Gu, Jie Tan, Jihoon Oh, Jingpei Lu, Jingyun Yang, João Silvério, Joey Hejna, Jonathan Booher, Jonathan Yang, Jordi Salvador, Joseph J. Lim, Junhyek Han, Kaiyuan Wang, Keegan Go, Kendra Byrne, Kenneth Oslund, Kento Kawaharazuka, Kevin Black, Kevin Zhang, Kiana Ehsani, Kiran Lekkala, Kirsty Ellis, Krishan Rana, Kuan Fang, Kunal Pratap Singh, Kuo-Hao Zeng, Kyle Hatch, Laurent Itti, Lawrence Yunliang Chen, Liam Tan, Linxi "Jim" Fan, Lionel Ott, Luca Weihs, Magnum Chen, Marion Lepert, Marius Memmel, Masha Itkina, Max Spero, Maximilian Du, Michael Ahn, Mingtong Zhang, Minho Heo, Mohan Kumar Srirama, Mohit Sharma, Moo Jin Kim, Naoaki Kanazawa, Nicklas Hansen, Nikhil J Joshi, Niko Suenderhauf, Norman Di Palo, Oier Mees, Oliver Kroemer, Pannag R Sanketi, Patrick "Tree" Miller, Patrick Yin, Peter David Fagan, Peter Mitrano, Priya Sundaresan, Qiuyu Chen, Ran Tian, Ria Doshi, Roberto Mart'in-Mart'in, Rohan Baijal, Rosario Scalise, Rose Hendrix, Roy Lin, Runjia Qian, Ruohan Zhang, Rutav Shah, Ryan Hoque, Samuel Bustamante, Shan Lin, Sherry Moore, Shivin Dass, Shubham Sonawani, Shubham Tulsiani, Siddhant Haldar, Simeon Adebola, Simon Guist, Stephen Tian, Sudeep Dasari, Suneel Belkhale, Sungjae Park, Takayuki Osa, Tanmay Gupta, Tatsuya Harada, Tatsuya Matsushima, Thomas Kollar, Travis Armstrong, Trinity Chung, Vidhi Jain, Xiangyu Chen, Xinghao Zhu, Xiyuan Liu, Xu Liangwei, Yansong Pang, Yejin Kim, Yifeng Zhu, Ying Xu, Yongqiang Dou, Yoonyoung Cho, Youngwoon Lee, Yuchen Cui, Yueh-Hua Wu, Yunchu Zhang, Yunshuang Li, Yunzhu Li, Zehan Ma, Zichen Jeff Cui, Zichen Zhang, Zipeng Lin
Résumé : Large, high-capacity models trained on diverse datasets have shown remarkable successes on efficiently tackling downstream applications. In domains from NLP to Computer Vision, this has led to a consolidation of pretrained models, with general pretrained backbones serving as a starting point for many applications. Can such a consolidation happen in robotics? Conventionally, robotic learning methods train a separate model for every application, every robot, and even every environment. Can we instead train generalist X-robot policy that can be adapted efficiently to new robots, tasks, and environments? In this paper, we provide datasets in standardized data formats and models to make it possible to explore this possibility in the context of robotic manipulation, alongside experimental results that provide an example of effective X-robot policies. We assemble a dataset from 22 different robots collected through a collaboration between 21 institutions, demonstrating 527 skills (160266 tasks). We show that a high-capacity model trained on this data, which we call RT-X, exhibits positive transfer and improves the capabilities of multiple robots by leveraging experience from other platforms. More details can be found on the project website https://robotics-transformer-x.github.io.
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Évaluez la qualité du contenu généré par l'IA en votant
Note : 0
Pourquoi avons-nous besoin de votes ?
Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.
Certains éléments de l'article ne sont pas encore résumés, vous pouvez relancer le processus de synthèse en cliquant sur le bouton Exécuter ci-dessous.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.