« Signals » : une méthode légère pour analyser les traces d’agents
Katanemo Labs a présenté « Signals », une nouvelle approche pour identifier les traces d’agents les plus informatives sans juges LLM coûteux.
Optimisation
DeepSeek V4 : L’article complet révèle l’entraînement FP4 QAT
DeepSeek a publié la version complète de son article V4, détaillant l’entraînement avec quantification consciente (QAT) en FP4 pour une efficacité accrue.
PyTorch : vers un résumé de performance léger pour l’entraînement
Une discussion sur Reddit explore la conception d’un résumé de performance de fin d’exécution pour l’entraînement PyTorch, visant à identifier rapidement les goulots d’étranglement.
Quantification et inférence rapide : optimiser l’IA en production
Manning Publications lance un ouvrage en accès anticipé, « Quantification et Inférence Rapide », pour optimiser les performances des modèles d’IA en production.
Un routeur IA optimise l’usage des modèles pour réduire les coûts
Un nouveau routeur IA, Followloop, achemine intelligemment les requêtes vers les modèles les plus économiques, réduisant les coûts.
OCR : des LLM plus anciens et moins chers souvent plus performants
Une étude comparative de 18 grands modèles de langage pour l’OCR révèle que des modèles plus anciens ou moins coûteux surpassent fréquemment les plus récents.
Un développeur exploite l’Apple Neural Engine, 6,3x plus rapide que PyTorch
Un développeur a entraîné un réseau neuronal directement sur l’unité matricielle de l’Apple Neural Engine, atteignant une vitesse 6,3 fois supérieure à PyTorch.
Parasail lève 32 M$ pour optimiser le calcul IA dans un futur fragmenté
La startup Parasail a levé 32 millions de dollars en série A, pariant sur l’optimisation des jetons pour le calcul IA dans un avenir fragmenté.
Un outil réduit drastiquement les tokens pour les lectures de fichiers par l’IA
Un nouvel outil, « sqz », optimise l’usage des tokens par l’IA en remplaçant les lectures répétées de fichiers par de courtes références.
ParetoBandit : Routage adaptatif pour les LLM en environnements dynamiques
Une nouvelle approche nommée ParetoBandit a été présentée, visant à optimiser le routage adaptatif des requêtes pour les modèles de langage de grande taille (LLM) dans des environnements dynamiques.