Des experts en intelligence artificielle remettent en question l’explication selon laquelle l’amélioration rapide et notable du modèle Kimi K3 proviendrait uniquement de l’exploitation du modèle Fable d’Anthropic par distillation.
Selon des sources rapportées par TechCrunch, un spécialiste a exprimé son scepticisme : « Je ne pense pas qu’on obtienne un modèle aussi puissant et aussi rapidement après Fable en faisant strictement de la distillation. » Cette déclaration suggère que la performance accrue de Kimi K3 pourrait s’appuyer sur des méthodes d’entraînement plus sophistiquées ou sur l’intégration de sources de données distinctes, au-delà de la simple réplication.
La distillation de modèles est une technique courante où un modèle plus petit apprend à imiter les capacités d’un modèle plus grand et plus performant. Le doute exprimé par les experts indique que la progression de Kimi K3 pourrait impliquer des approches de développement plus complexes, potentiellement incluant des architectures novatrices ou des jeux de données d’entraînement spécifiques.
Cette discussion souligne l’opacité persistante entourant les processus de création des grands modèles de langage et l’importance de la vérification des origines de leurs capacités.
Source : TechCrunch (général)