IBM Research a développé une nouvelle approche, nommée ALTK-Evolve et SLDD, permettant de réaliser l’extraction de concepts abstraits (ACE) avec un nombre de tokens significativement réduit.
L’extraction de concepts abstraits (ACE) est une tâche cruciale en traitement du langage naturel, visant à identifier les idées clés d’un texte pour en générer un résumé concis. Traditionnellement, ces méthodes nécessitent le traitement d’un grand nombre de tokens, ce qui entraîne des coûts computationnels élevés et une efficacité limitée.
La solution d’IBM Research, ALTK-Evolve (Abstractive Latent Token Knowledge Evolve), utilise un nombre fixe et réduit de tokens latents pour représenter les concepts. Elle est entraînée via SLDD (Self-supervised Latent Token Distillation and Decoding), une méthode d’apprentissage auto-supervisé qui distille les connaissances d’un modèle plus grand vers un modèle plus compact.
Cette innovation permet de réduire drastiquement le nombre de tokens traités, passant de milliers à une dizaine ou une vingtaine, tout en maintenant ou améliorant les performances. Elle ouvre la voie à des applications plus efficaces dans des domaines variés comme les textes médicaux, juridiques ou les articles de presse.
Cette avancée pourrait optimiser l’efficacité des systèmes de résumé et d’analyse sémantique à grande échelle.
Source : HuggingFace Blog