Apple fait une entrée fracassante dans le domaine de l’intelligence artificielle incarnée et de la robotique humanoïde. Dans une publication scientifique majeure accompagnée d’un dépôt open source intitulée Perceptive Humanoid Motion from Simulation (arXiv:2611.06908), une équipe de recherche d’Apple AI/ML dirigée par Vladlen Koltun, Siyuan Hu, Abulikemu Abuduweili et leurs collaborateurs a dévoilé HALO (Humanoid Autonomy, Learned in Simulation, running Onboard).
Ce système lève le principal verrou qui freine l’autonomie des robots bipèdes : la pénurie de données d’entraînement sensorimotrices réelles appariées. Au lieu d’accumuler des milliers d’heures de téléopération fastidieuse avec des casques VR ou des combinaisons de capture de mouvement, Apple a entraîné HALO exclusivement dans 1 000 résidences virtuelles générées de manière procédurale. Déployé sans aucune calibration préalable (zéro-shot) sur un robot humanoïde de série Unitree G1 équipé d’un Mac mini M4 Pro fixé au dos, HALO a atteint un taux de succès remarquable de 91 % sur 360 essais réels dans des habitations non cartographiées.
Contourner le goulet d’étranglement de la téléopération par la physique synthétique
Pendant des années, les programmes humanoïdes commerciaux comme Tesla Optimus, Figure AI ou Sanctuary AI se sont appuyés massivement sur la téléopération humaine : des opérateurs guidant les bras des robots via des manettes pour réaliser des tâches répétitives. Cette méthode présente l’inconvénient majeur de dépendre d’une main-d’œuvre humaine coûteuse, exigeant au minimum une heure d’attention humaine pour produire une seule heure de données d’apprentissage.
Les chercheurs d’Apple ont adopté une approche radicalement différente, fondée sur la puissance de calcul synthétique :
- 1 000 logements virtuels procéduraux : À l’aide de moteurs de simulation procédurale tels qu’Infinigen et Isaac Gym, l’équipe a généré 1 000 habitations 3D réalistes regroupant 48 213 pièces meublées aux dispositions très variées.
- 33 filtres géométriques et cinématiques stricts : Un planificateur cinématique automatisé (Kimodo) a généré des primitives d’action (marche, virage, assise, reptation), éliminant tout glissement parasite, pénétration du sol ou discontinuité articulaire grâce à 33 contrôles géométriques stricts.
- Randomisation visuelle poussée : Les caméras simulées ont reproduit 8 altérations optiques réalistes, incluant les variations extrêmes d’éclairage, le flou de mouvement, le bruit de capteur et les dérives de balance des blancs.
- Flotte massive de GPU de calcul : La génération du corpus synthétique a mobilisé 250 GPU NVIDIA H100, tandis que l’entraînement du modèle de diffusion a requis 64 GPU NVIDIA B200 et que l’apprentissage par renforcement du suiveur s’est appuyé sur 4 GPU H100.
Sans avoir jamais vu un seul intérieur réel durant son apprentissage, la politique motrice a acquis un répertoire complet de compétences physiques complexes : s’asseoir sur diverses chaises et canapés rembourrés, naviguer vers un objet désigné par commande vocale, ramper à quatre pattes sous des bureaux bas, franchir des portes entrouvertes en pas chassés, et pousser des cartons de rangement encombrants.
Architecture embarquée hybride : puces Apple Silicon et calcul en bordure
Plutôt que de déporter les calculs neuronaux vers un serveur cloud distant (ce qui introduit une latence risquée et paralyse le robot en cas de coupure réseau), Apple a conçu HALO pour une exécution 100 % autonome en local. La configuration matérielle associe le châssis mécanique bipède du Unitree G1 à deux unités de calcul complémentaires :
- L’unité de calcul dorsale (Apple Mac mini M4 Pro) : Un Mac mini du commerce intégrant la puce Apple M4 Pro et 64 Go de mémoire unifiée (offrant 273 Go/s de bande passante mémoire) est logé dans un boîtier sur mesure imprimé en 3D sur le dos du robot. Il traite le flux d’une caméra RGB égocentrique grand-angle à 120 degrés (OAK-1W).
- Planificateur de tâches VLM (~0,5 Hz) : Exécute localement un modèle vision-langage de fondation (basé sur Qwen) toutes les deux secondes pour traduire les instructions orales et segmenter les missions en sous-objectifs atomiques.
- Générateur cinématique (~3 Hz) : Un décodeur de type Diffusion Transformer (DiT) avec flux continu (flow matching) et 15 pas d’intégration d’Euler calcule 5 secondes de trajectoire corps entier (150 trames de 36 paramètres cinématiques). Les 0,5 premières secondes (15 trames) sont validées et réinjectées comme jetons d’état fiables.
- L’unité de contrôle intégrée au châssis (NVIDIA Jetson Orin NX) : Logé dans le buste du Unitree G1, ce processeur basse consommation reçoit les images de profondeur égocentriques d’un capteur orienté vers le bas à 55 degrés ainsi que la proprioception articulaire.
- Suiveur moteur (50 Hz) : Une politique neuronale entraînée par renforcement sous MuJoCo suit la trajectoire cinématique à une cadence stricte de 50 Hz, calculant les couples et angles de consigne pour les 29 articulations motorisées du robot.
Validation physique zéro-shot : 91 % de réussite sur 360 essais réels
Afin de vérifier la robustesse du transfert Sim-to-Real dans des conditions domestiques authentiques, Apple a évalué HALO au sein de six environnements physiques complètement inédits, allant d’appartements meublés et cuisines de bureau à des terrasses extérieures en bois.
Sur un total de 360 essais physiques indépendants, HALO a enregistré un taux de réussite moyen de 91 % :
- Assise sur chaise et canapé : Entre 84 % et 92 % de réussite, même en présence d’obstacles imprévus sur le trajet.
- Reptation sous table et bureau : 94 % de succès pour ramper sous des surfaces basses inaccessibles aux contrôleurs bipèdes classiques.
- Franchissement de portes étroites : Déplacement latéral fluide à travers des portes entrouvertes laissant tout juste la largeur des épaules du robot.
- Chaînage de missions longues : L’orchestrateur VLM a démontré sa capacité à enchaîner sans interruption des séquences complexes : traverser une pièce, plonger sous un meuble bas, repousser un colis gênant le passage, suivre un utilisateur en mouvement et terminer assis sur un fauteuil.
En publiant l’intégralité du code d’entraînement, les outils de simulation et la pile de déploiement en accès libre sur GitHub, Apple apporte une contribution déterminante à l’écosystème robotique mondial. Cette démonstration prouve qu’un processeur commercial grand public et la simulation synthétique peuvent avantageusement remplacer des millions d’heures de téléopération, ouvrant une nouvelle ère pour le déploiement d’humanoïdes réellement autonomes. Pour analyser comment la plateforme open source Unitree G1 se positionne face aux humanoïdes industriels d’usine, consultez notre comparatif d’ingénierie ASUS Gallop vs Unitree G1.
