La société Cactus a récemment dévoilé Needle, un modèle d’intelligence artificielle de 26 millions de paramètres, optimisé pour l’appel de fonctions et l’utilisation d’outils sur des appareils grand public.
Développé par Henry de Cactus, Needle répond à une frustration concernant le manque de modèles agentiques efficaces pour les téléphones à budget limité. L’équipe a constaté que les expériences d’agent conversationnel reposent principalement sur la capacité à appeler des outils externes, une tâche pour laquelle les modèles de grande taille sont souvent jugés excessifs.
Needle se positionne comme une solution légère, capable d’atteindre des performances remarquables : 6000 tokens par seconde en préremplissage et 1200 tokens par seconde en décodage sur des appareils courants. Cette efficacité est rendue possible par l’observation que l’appel d’outils est fondamentalement une opération de récupération et d’assemblage d’informations.
Cette approche pourrait redéfinir l’accessibilité des capacités agentiques de l’IA sur une multitude de dispositifs.
Source : Hacker News (Algolia)