IBM a récemment détaillé la méthodologie de construction de ses modèles de langage Granite 4.2, soulignant une approche rigoureuse axée sur la qualité des données.
Ces LLM, désormais disponibles en open source sur Hugging Face, sont le fruit d’un processus intensif de curation de données. IBM privilégie des ensembles de données diversifiés et de haute qualité, provenant de sources variées telles que le web, des publications académiques, du code et des livres. Un filtrage strict, la déduplication et l’évaluation de la qualité sont appliqués pour optimiser la pertinence et la propreté des informations utilisées pour l’entraînement.
La stratégie inclut l’utilisation d’un « volant de données » (data flywheel) où les modèles eux-mêmes contribuent à l’identification et au raffinage des données d’entraînement futures. Cette démarche intègre également des principes d’IA responsable, visant à garantir l’équité, la sécurité et la confidentialité. Les modèles Granite 4.2 sont proposés en plusieurs tailles, allant de 3 milliards à 34 milliards de paramètres, et sont entraînés sur un mélange de texte et de code.
Cette approche vise à améliorer continuellement la performance et la fiabilité des modèles de langage.
Source : HuggingFace Blog