Jalapeño d’OpenAI : des performances d’inférence IA record
OpenAI a présenté Jalapeño, sa puce d’inférence personnalisée, affichant une vitesse et une efficacité record pour l’IA, promettant un débit supérieur et une latence réduite.
Inférence IA
JPMorgan Chase opte pour SambaNova pour l’IA sur site
JPMorgan Chase a choisi la startup SambaNova Systems comme partenaire d’infrastructure pour déployer ses systèmes d’inférence d’IA directement sur ses propres serveurs.
ZML, la startup française, lance un logiciel gratuit pour accélérer l’IA
La startup française ZML a lancé ZML/LLMD, un logiciel gratuit qui accélère l’inférence d’IA sur de multiples puces, réduisant potentiellement les coûts.
Baseten lève 1,5 Md$ pour l’inférence IA, valorisée à 13 Md$
La startup Baseten, spécialisée dans l’inférence d’IA, serait sur le point de finaliser une levée de fonds de 1,5 milliard de dollars, la valorisant à 13 milliards.
Groq vise 650 M$ et se réoriente vers l’inférence d’IA
Groq, fabricant de puces, chercherait à lever 650 millions de dollars en financement interne et pivote vers l’inférence d’IA, selon Axios.
La demande d’inférence IA reste soutenue, selon Benchmark
La demande d’inférence IA reste soutenue, selon Eric Vishria de Benchmark, soulignant les défis d’infrastructure.