Spotify réduit de 90% l’usage de tokens Claude Code avec son outil Portal
L’outil interne « Portal » de Spotify a permis une réduction de 90% de l’utilisation de tokens pour le modèle d’IA Claude Code, optimisant coûts et efficacité.
Optimisation IA
La distillation de connaissances rendue plus abordable à grande échelle
Hugging Face et Multiverse Computing collaborent pour rendre la distillation de connaissances plus efficace et accessible, facilitant le déploiement d’IA compacte.
Nunchaku 4-bit : Hugging Face optimise l’inférence des modèles de diffusion
Hugging Face a intégré Nunchaku 4-bit à Diffusers, rendant l’inférence des modèles de diffusion plus rapide et moins gourmande en mémoire.
Le routage de modèles d’IA : une simplicité apparente aux défis complexes
Le routage de modèles d’IA, bien que simple en théorie, révèle des complexités significatives lors de son implémentation, selon Hugging Face et IBM Research.
Vercel : la séparation des modèles et agents d’IA pour l’optimisation en production
Guillermo Rauch, PDG de Vercel, souligne l’importance de séparer les modèles d’IA des agents pour optimiser le rapport prix/performance en production.
Gnosys Labs optimise l’IA face à la rareté des données étiquetées
Gnosys Labs a mis au point une méthode pour améliorer les classifieurs et les invites d’IA, même lorsque les données étiquetées sont trop rares pour l’optimisation conventionnelle.
Pourquoi les grands modèles linguistiques acquièrent des compétences rares
Une étude récente révèle que les petits modèles linguistiques échouent sur des tâches rares car les informations fréquentes écrasent leur apprentissage.
EMO : un modèle d’IA performant avec seulement 12,5 % de ses experts
Des chercheurs ont développé EMO, un modèle d’IA MoE qui conserve ses performances avec seulement 12,5 % de ses experts, optimisant ainsi l’utilisation de la mémoire.