Manuel ouvert sur l’inférence des LLM à l’échelle : les GPU décortiqués
Un manuel ouvert et en cours de rédaction décortique les mécanismes internes de l’inférence des grands modèles de langage (LLM) à l’échelle, incluant les GPU.
GPU
cuTile Rust : la sécurité mémoire des GPU vérifiée par le compilateur
Un nouveau cadre, cuTile Rust, promet de garantir la sécurité mémoire et l’absence de « data races » pour le code GPU, y compris celui généré par l’IA.
NVIDIA reste incontournable pour l’IA malgré les alternatives ASIC
NVIDIA conserve sa domination dans l’IA générative avec ses GPU, malgré l’existence de puces spécialisées (ASIC) développées par Google, Microsoft et Amazon.
Microsoft ouvre l’IA locale de Windows 11 aux GPU NVIDIA
Microsoft étend l’accès à l’IA locale de Windows 11 aux cartes graphiques NVIDIA GeForce, incluant les RTX Spark et la RTX 3060, levant ainsi la restriction aux puces neuronales dédiées.
Google loue des infrastructures IA massives à SpaceX pour 920 M$ par mois
Google s’engage à louer jusqu’à 110 000 GPU NVIDIA opérés par SpaceX, via sa filiale xAI, pour un montant mensuel de 920 millions de dollars.
Performance record : 1000 tps avec Qwen3.6 27B sur V100
Un utilisateur Reddit a atteint 1000 tokens par seconde avec le modèle Qwen3.6 27B sur des GPU V100, démontrant un potentiel d’optimisation significatif.
l9gpu : une solution open-source pour l’observabilité des GPU par charge de travail
l9gpu, une solution open-source, améliore l’observabilité des GPU en attribuant les métriques aux charges de travail spécifiques.
OpenAI sécurise la puissance de calcul IA pour les entreprises
OpenAI propose aux entreprises de réserver sa puissance de calcul IA sur plusieurs années, face à la pénurie de GPU.
Un outil simplifie l’installation des frameworks IA sur GPU cloud
Un nouvel outil nommé `swm` a été développé pour simplifier l’installation et la gestion des frameworks d’IA comme ComfyUI, Ollama et OpenWebUI sur des GPU cloud.
Un compilateur « hackable » pour GPU optimise les modèles d’IA
Un nouveau compilateur « hackable » pour modèles d’IA a été développé, promettant des gains de performance significatifs sur GPU face aux solutions existantes comme PyTorch.