Oppo a rendu open-source X-OmniClaw, un agent d’IA pour Android capable d’interagir avec les applications via la caméra, l’écran et la voix, directement sur l’appareil.
Développé par l’équipe Multi-X d’Oppo, X-OmniClaw est un agent d’intelligence artificielle conçu pour fonctionner nativement sur les appareils Android. Il intègre les capteurs locaux du téléphone, tels que la caméra, l’écran et le microphone, pour exécuter des tâches au sein d’applications réelles.
Contrairement aux systèmes s’appuyant sur des copies cloud de l’appareil, X-OmniClaw utilise les données des capteurs locaux pour l’interaction. Le calcul dans le cloud est réservé uniquement aux phases de raisonnement, optimisant ainsi la confidentialité et la réactivité.
L’agent peut enregistrer des séquences d’actions (chemins de tapotement) comme des compétences réutilisables. Cela lui permet d’accéder directement à des pages d’applications profondément imbriquées via des liens profonds (deeplinks) lors des utilisations ultérieures, améliorant l’efficacité.
Cette approche open-source pourrait accélérer le développement d’agents IA plus autonomes et intégrés directement aux smartphones.
Source : The Decoder