La Speculative Decoding est une technique d’optimisation de l’inférence qui utilise un modèle rapide pour proposer des jetons, vérifiés ensuite en parallèle par un modèle plus grand, accélérant ainsi la génération de texte des LLM.
Une nouvelle approche d’inférence, baptisée Lookahead Sparse Attention (LSA), promet de résoudre le défi de la mémoire GPU pour les modèles de langage traitant des contextes ultra-longs.
Un nouveau moteur d’inférence en CUDA/C++ pour le modèle 3D Transformer de NVIDIA a été développé, sans dépendances lourdes.
Un développeur a réussi à faire fonctionner une DCGAN de 12,6 millions de paramètres sur un microcontrôleur RISC-V CH32H417, générant des images de chats en 26 secondes.
Hugging Face a introduit le batching continu asynchrone, une innovation qui améliore l’utilisation des GPU et réduit la latence pour les grands modèles de langage.
Hugging Face intègre DeepInfra pour optimiser le déploiement et l’accès aux grands modèles de langage.
Skymizer propose une carte unique pour l’inférence locale de LLM massifs, optimisant la génération de texte.
Google lance cette semaine de nouvelles puces TPU optimisées pour l’inférence IA.
Une nouvelle approche d’attention hybride a permis d’accélérer l’inférence de petits modèles de code jusqu’à 50 fois, tout en maintenant une faible perte de perplexité.
Le média francophone de référence sur l'intelligence artificielle. Analyses, tutoriels et décryptages pour comprendre l'IA.