Tencent a récemment dévoilé Hy4, un nouveau grand modèle linguistique (LLM) à poids ouverts, marquant une avancée notable dans le domaine des intelligences artificielles textuelles.
Ce modèle se distingue par ses spécifications impressionnantes : il intègre 770 milliards de paramètres au total, dont 49 milliards sont actifs. Hy4 offre également une fenêtre contextuelle d’un million de tokens, permettant de traiter des informations sur une très longue portée. Sa taille sur la plateforme Hugging Face atteint 1,56 téraoctet.
Ces chiffres représentent une augmentation significative par rapport à son prédécesseur, Hy3, lancé en juillet dernier. Hy3 comptait 295 milliards de paramètres (21 milliards actifs), une fenêtre contextuelle de 256 000 tokens et pesait 598 gigaoctets. L’approche de Tencent avec des poids ouverts est pertinente pour la communauté de recherche et de développement. Le blog de Simon Willison, qui a présenté Hy4, souligne l’importance des « chat templates » pour appréhender les capacités de ces modèles, et celui de Hy4 est d’ores et déjà disponible sur Hugging Face.
Cette nouvelle itération de Tencent pourrait redéfinir les attentes concernant les performances et l’accessibilité des LLM à poids ouverts.
Source : Simon Willison Blog