Une discussion sur Reddit explore l’idée d’utiliser des modèles de diffusion pour améliorer la génération de code par les grands modèles de langage (LLM) en se concentrant sur les arbres syntaxiques abstraits (AST).
Actuellement, une limitation majeure des LLM dans la production de code réside dans leur espace d’entrée et de sortie, qui est celui de tous les jetons des données d’entraînement. Cela rend possible, et même probable, la génération de code syntaxiquement incorrect.
La proposition suggère de concevoir une architecture, potentiellement basée sur le paradigme des modèles de diffusion, qui opérerait directement sur les AST. Ces structures représentent la syntaxe abstraite du code, permettant ainsi une génération ou une édition qui garantit la correction syntaxique dès le départ.
Cette approche pourrait ouvrir de nouvelles voies pour des outils de développement assistés par IA plus fiables et précis.
Source : Reddit r/MachineLearning