Le projet ouvert rassemble VLM, vidéo, OpenXR et MCP pour les agents sur lunettes et appareils XR. Consultez l’architecture, les cas d’utilisation et les contrôles requis.
Réponse directe
NVIDIA XR AI est une architecture ouverte pour les agents dans des lunettes AR et des appareils XR qui combine la perception visuelle, la voix, le contexte spatial et les outils d'entreprise. Le référentiel comprend des serveurs MCP pour la vidéo, OpenXR, le rendu, les vecteurs et les transcriptions, vous permettant de connecter la maintenance, les jumeaux numériques et d'autres systèmes.
Ce que l'architecture rassemble
Le projet combine des modèles de vision et de langage, une analyse vidéo, une transcription, un rendu et des informations spatiales OpenXR. MCP fonctionne comme une couche d'intégration pour appeler des outils et consulter des systèmes externes en fonction de la tâche.
Pourquoi XR change d'agent
Sur un ordinateur, l'agent reçoit des fichiers et des écrans. Avec des lunettes, il perçoit également l'environnement, la direction du regard et l'enchaînement des actions. Ces informations peuvent rendre la réponse contextuelle, mais augmentent la sensibilité des données et la nécessité de consentement.
Applications d'entreprise
Un technicien peut consulter l'ordre de maintenance tout en observant l'équipement ; un ingénieur peut relier le jumeau numérique à l’objet physique ; un chercheur peut récupérer des protocoles sans interrompre son activité. La réponse doit faire état de preuves et de l’état actuel du système.
Contrôles essentiels
La caméra et l’audio nécessitent une minimisation, une indication de capture et une politique de rétention. Les outils ont besoin d'autorisations par action, de journaux et de confirmation avant d'avoir un impact sur les commandes. Le traitement local ou sur les bords peut réduire l'exposition, le cas échéant.
Lecture Nexus
Le prochain Enterprise Assistant ne sera pas seulement dans une fenêtre : il partagera le contexte physique du travail. L’avantage viendra de l’intégration de la perception et des données sans perdre en confidentialité, traçabilité et ergonomie.
FAQ
Que fait MCP dans cette architecture ?
Standardise la connexion des agents à des outils, données et fonctionnalités XR spécifiques.
Quelles données sont sensibles ?
Vidéo, audio, localisation, pose, environnement et contenu des systèmes d'entreprise.
L’agent doit-il agir automatiquement ?
Uniquement dans les actions à faible risque et dans les limites des autorisations ; Les changements critiques nécessitent une confirmation.
Guides essentiels pour approfondir la décision
Cette analyse éditoriale a été réalisée par Nexus à partir des sources officielles ci-dessous, consultées le 8 septembre 2026. Le texte est original et interprète les implications pratiques pour les entreprises.
- NVIDIA — Création d'agents IA pour les lunettes AR et les appareils XR avec NVIDIA XR AI: architecture, composants, référentiel et business cases.
- NVIDIA – Référentiel XR AI: code ouvert et composants mentionnés dans l'article technique.
Date rapportée par la source principale : 16 juin 2026.