L’entreprise taïwanaise Skymizer a annoncé la carte d’inférence PCIE HTX301, intégrant 384 Go de mémoire avec une consommation d’environ 240 Watts.
Cette révélation, partagée sur le subreddit r/LocalLLaMA, met en lumière une solution matérielle potentiellement impactante pour l’exécution locale de modèles d’intelligence artificielle. La capacité mémoire élevée de la HTX301 est particulièrement pertinente pour les grands modèles de langage (LLM) et autres architectures complexes nécessitant une importante quantité de VRAM.
Le format PCIE de la carte indique une intégration facilitée dans les infrastructures existantes, qu’il s’agisse de serveurs ou de stations de travail. Sa consommation électrique relativement contenue pour une telle capacité pourrait optimiser les coûts opérationnels et la gestion thermique des déploiements d’IA.
Cette innovation de Skymizer pourrait offrir de nouvelles perspectives pour le développement et l’utilisation d’IA à grande échelle en environnement local.
Source : Reddit r/LocalLLaMA