Google dévoile ses nouvelles puces dédiées à l’IA
Google lance cette semaine de nouvelles puces TPU optimisées pour l’inférence IA.
inférence
Attention hybride : inférence 50x plus rapide pour petits modèles de code
Une nouvelle approche d’attention hybride a permis d’accélérer l’inférence de petits modèles de code jusqu’à 50 fois, tout en maintenant une faible perte de perplexité.