Un passionné d’intelligence artificielle a réussi à intégrer une carte graphique Nvidia Tesla V100, initialement conçue pour les centres de données, dans son PC de jeu personnel.
Acquise pour seulement 266 dollars, cette carte, bien que réputée pour son volume sonore élevé (comparable à celui d’une tondeuse à gazon) et considérée comme largement obsolète pour les usages professionnels modernes, offre 32 Go de VRAM.
Cette capacité de mémoire est cruciale pour l’exécution de modèles de langage de grande taille (LLM) en local. La configuration permet à l’utilisateur d’exécuter un modèle de 27 milliards de paramètres à une vitesse de 32 tokens par seconde, une performance notable pour une installation domestique.
Cette initiative met en lumière la créativité des passionnés pour rendre l’inférence d’IA avancée accessible en dehors des infrastructures cloud coûteuses. Elle illustre comment des composants d’occasion, avec des ajustements techniques, peuvent encore offrir des performances significatives pour des applications d’IA exigeantes. Reste à voir si cette tendance à la réutilisation de matériel d’entreprise pour l’IA locale se généralisera.
Source : Tom’s Hardware