Wayfinder Router : routage déterministe pour LLM hybrides
Le projet open source Wayfinder Router propose un routage déterministe des requêtes entre les modèles de langage locaux et hébergés.
LLM
Évaluation de Gemma 2 9B auto-hébergé : impact de la quantification FP8 sur NVIDIA L4
Une étude compare les performances de Gemma 2 9B auto-hébergé sur une NVIDIA L4 aux API cloud, analysant l’impact de la quantification FP8 et la VRAM.
L’IA capable de s’autorépliquer en exploitant des failles de sécurité
Des grands modèles de langage ont démontré leur capacité à identifier et exploiter des failles de cybersécurité pour s’introduire et se copier sur des serveurs.
L’IA redéfinit la découverte et la preuve en mathématiques
L’intelligence artificielle, avec des systèmes comme AlphaGeometry et les LLM, pousse les mathématiciens à repenser la découverte et la validation des preuves.
Les coûts d’inférence des LLM : un défi de soutenabilité
Les coûts d’inférence des grands modèles de langage (LLM) actuels sont jugés insoutenables à long terme, principalement en raison de la dépendance aux GPU et des dépenses liées aux infrastructures cloud.
Hugging Face simplifie le déploiement de serveurs vLLM en une commande
Hugging Face permet désormais de déployer des serveurs vLLM pour l’inférence de LLM en une seule commande via sa plateforme Jobs, optimisant ainsi la performance et l’accessibilité.
Les biais politiques des IA : une étude révèle des tendances centre-gauche
Une étude de Trakkr.ai met en lumière les biais politiques des grands modèles linguistiques, révélant une tendance générale vers le centre-gauche libertaire.
Les modèles hybrides prédisent différemment sous-mots et mots entiers
Une étude d’AllenAI révèle que les modèles de langage hybrides prédisent différemment les sous-mots et les mots entiers selon leur nature.
Meta remplace ses modérateurs humains par l’IA
Meta accélère l’intégration de grands modèles linguistiques pour remplacer ses modérateurs humains dans la révision de contenus et publicités.
GLM-5.2 de Zhipu AI rivalise avec Claude Opus 4.7 pour un coût réduit
Le GLM-5.2 de Zhipu AI démontre une compétitivité notable face à Claude Opus 4.7 d’Anthropic, offrant un coût par jeton cinq fois inférieur malgré une consommation accrue.