Donner des instructions en langage naturel pour demander à un robot de plier une serviette, de fermer un tiroir ou d'accrocher un casque — comme on poserait une question à ChatGPT : les développeurs peuvent désormais, via une interface ouverte, faire exécuter aux robots des tâches dans le monde réel.
Le 20 octobre, Dream Labs, fondé par une équipe composée d'anciens membres clés du projet GR00T de NVIDIA, a mis en ligne Dream API, la première API publique au monde de modèle de base pour robots. MiFeng Technology fournit à son modèle monde-action Dream-1, qui se trouve en amont, un service couvrant l'ensemble du processus : données sans corps physique, données sur robots réels, tests et évaluation sur robots réels, afin de soutenir le développement du modèle et la validation de faisabilité de la généralisation zero-shot.
À mesure que le coût du matériel robotique continue de baisser, le secteur a un besoin urgent d'un « cerveau universel » capable d'être réutilisé entre tâches et entre corps physiques, afin de réduire les coûts de réentraînement et d'adaptation à chaque changement de robot ou de tâche. Dream API ouvre les capacités des modèles robotiques au public sous forme d'API : les développeurs n'ont pas besoin de compétences en apprentissage automatique pour connecter leur propre robot et le piloter par des instructions en langage naturel. Le prix d'utilisation de Dream-1 est de 3 dollars par heure. Plus de 20 fabricants de matériel ont déjà rejoint la coopération.
Dream API repose sur le modèle monde-action (WAM) Dream-1, qui apprend conjointement la prédiction vidéo et la génération d'actions, et peut contrôler le robot en temps réel et en boucle fermée. Selon l'équipe, dans des évaluations en simulation sur 27 robots jamais vus, 24 ont atteint plus de la moitié des performances du corps d'entraînement YAM ; sur robots réels, Dream-1 peut accomplir des tâches telles que plier une serviette, fermer un tiroir ou suspendre un casque sans entraînement supplémentaire sur les données spécifiques du robot cible. Actuellement, sa capacité zero-shot inter-corps s'adresse principalement aux robots à double bras et pince parallèle.
Permettre au robot de « prendre en main en zero-shot » sur un nouveau corps physique dépend de l'accumulation de données d'entraînement et de la vérification par exécution réelle.
Dans cette coopération, MiFeng Technology fournit des données sans corps physique, utilisées pour le pré-entraînement du modèle monde-action Dream-1 ; grâce à de riches informations sur les manipulations humaines et les interactions avec les objets, elles aident le modèle à apprendre les processus opératoires de différentes tâches. Elle fournit également des données sur robots réels, qui complètent l'expérience de mouvement, de manipulation et de contact lors de l'exécution réelle par les robots. Ces deux types de données se complètent et soutiennent l'apprentissage des capacités du modèle ainsi que son optimisation itérative.
De l'approvisionnement en données à la validation sur robots réels, MiFeng fournit en outre des services de test et d'évaluation, afin d'aider l'équipe à vérifier la faisabilité de la généralisation zero-shot de Dream-1 sur de nouveaux corps physiques. En observant la compréhension des instructions par le robot, le processus d'exécution des tâches et leur achèvement, elle évalue si les capacités existantes du modèle peuvent être transférées à de nouveaux robots, identifie les problèmes rencontrés lors de l'exécution et fournit une base pour l'ajout ultérieur de données, l'optimisation du modèle et l'adaptation au corps physique.
En tant que plateforme de services de données d'IA physique tout-en-un, MiFeng a construit un système de services de données couvrant les données sans corps physique, la téléopération sur robots réels et la simulation. Cette contribution à Dream-1 relie l'approvisionnement en données et la validation d'exécution, élargissant encore la pratique de MiFeng au service du développement de modèles de base.
À l'avenir, MiFeng continuera d'élargir l'approvisionnement en données de haute qualité, d'améliorer ses capacités de gouvernance des données, de livraison standardisée et d'évaluation sur robots réels, afin de fournir un service complet aux équipes de développement de modèles, aux fabricants de robots et aux institutions de recherche, et de faire avancer les modèles robotiques vers davantage de scénarios réels.
