Tencent a dévoilé Hy3, un nouveau modèle de langage open-source qui, selon l’entreprise, rivalise avec des modèles bien plus grands tout en réduisant significativement son taux d’hallucination.
Ce modèle, doté de 295 milliards de paramètres, repose sur une architecture de type « mixture-of-experts » (MoE). Seuls 21 milliards de paramètres sont actifs à un moment donné, permettant une efficacité accrue. Tencent affirme que Hy3 égale les performances de modèles deux à cinq fois plus volumineux.
Un point notable est la réduction de moitié du taux d’hallucination, qui s’établit désormais à 5,4 %. Cette amélioration est cruciale pour la fiabilité des applications d’IA générative, offrant des réponses plus précises et moins sujettes à l’invention.
L’arrivée de Hy3 sur le marché open-source pourrait marquer une étape importante pour le développement de modèles de langage plus performants et économes en ressources.
Source : The Decoder