Databricks a récemment annoncé une réduction de 70 % de ses dépenses liées au développement de code d’intelligence artificielle. Cette optimisation significative a été rendue possible par une gestion rigoureuse et des stratégies ciblées au sein de ses workflows de codage IA.
L’entreprise a mis en œuvre plusieurs approches pour atteindre cet objectif. Parmi celles-ci figurent l’utilisation de modèles de langage de grande taille (LLM) plus rentables, une ingénierie d’invite (prompt engineering) efficace, et une gestion intelligente des ressources. L’accent a été mis sur l’emploi de modèles plus petits et spécialisés, souvent issus de l’open source et affinés pour des tâches spécifiques, plutôt que de s’appuyer uniquement sur des modèles généralistes plus coûteux.
L’optimisation de l’ingénierie d’invite a également joué un rôle crucial, permettant de réduire la consommation de jetons et le nombre d’appels d’API. Parallèlement, une gestion avisée des ressources, incluant la mise en cache, le traitement par lots et l’utilisation de matériel moins onéreux lorsque cela est pertinent, a contribué à cette baisse des coûts. L’objectif est de rendre le développement IA plus accessible et durable.
Cette démarche de Databricks pourrait servir de référence pour d’autres organisations confrontées à la gestion des dépenses croissantes liées à l’adoption de l’IA à grande échelle.
Source : Hacker News (Algolia)