Hugging Face HCompany a dévoilé Holo4, un nouveau cadre visant à créer des agents d’IA généralistes capables d’interagir avec les ordinateurs de manière autonome, simulant l’utilisation humaine.
Ce cadre permet aux modèles d’intelligence artificielle de manipuler des interfaces graphiques, d’utiliser la souris et le clavier, et d’interpréter le contenu visuel d’un écran. Holo4 ambitionne ainsi de combler l’écart entre les grands modèles de langage (LLM) et l’interaction concrète avec les systèmes informatiques, ouvrant la voie à une automatisation plus sophistiquée des tâches.
Grâce à une approche multimodale, Holo4 traite simultanément les informations visuelles (captures d’écran) et textuelles (éléments d’interface, code). Cela lui confère la capacité d’exécuter des opérations complexes sur diverses applications et systèmes d’exploitation, allant de la navigation web au développement de code, en passant par l’utilisation de logiciels de productivité.
En rendant Holo4 open-source, HCompany invite la communauté à explorer et à développer de nouvelles applications pour ces agents. Cette initiative marque une étape significative vers des systèmes d’IA plus autonomes et polyvalents, capables de s’adapter à un large éventail de scénarios d’utilisation informatique.
Source : HuggingFace Blog