La bibliothèque Sentence Transformers, pilier de la recherche sémantique, intègre désormais des modèles capables de comprendre et de relier des informations textuelles et visuelles. Cette avancée permet de créer des représentations vectorielles (embeddings) qui capturent la sémantique commune entre différents types de données.
Jusqu’à présent cantonnés au texte, ces modèles peuvent désormais indexer et rechercher des images à partir de descriptions textuelles, ou inversement. L’intégration de ces capacités multimodales ouvre la voie à des applications plus riches, comme la recherche visuelle améliorée ou la génération de légendes d’images plus pertinentes.
Les développeurs peuvent ainsi exploiter ces nouveaux modèles pour construire des systèmes de recommandation plus sophistiqués ou des outils d’analyse de contenu combinant texte et images, repoussant les limites de la compréhension par l’IA.
Source : HuggingFace Blog