Un nouvel optimiseur pour PyTorch, baptisé « Rose », a été rendu public. Développé sur deux années par un chercheur indépendant, il se distingue par sa faible consommation de mémoire vive vidéo (VRAM), le rendant accessible pour des entraînements d’intelligence artificielle sur du matériel moins puissant.
Son concepteur met en avant son architecture « stateless », qui lui permettrait d’utiliser moins de mémoire que des optimiseurs courants comme AdamW, même dans sa version 8 bits. Cette caractéristique, couplée à une facilité d’utilisation, vise à simplifier le processus d’entraînement de modèles d’IA.
Le code source de Rose est disponible sous licence Apache 2.0, encourageant ainsi son adoption et son amélioration par la communauté des développeurs et chercheurs en IA. Les résultats obtenus semblent prometteurs, bien que des évaluations comparatives plus étendues seront nécessaires.
Source : Reddit r/MachineLearning