Papers with Code a récemment partagé les détails techniques de la construction de son moteur de recherche de pointe. Ce système innovant combine efficacement la recherche par mots-clés et la recherche sémantique, une synergie qui a démontré une amélioration significative de la pertinence des résultats par rapport à l’utilisation d’une seule de ces approches.
L’architecture technique repose sur PostgreSQL, enrichi de l’extension pgvector, essentielle pour la gestion et l’interrogation des vecteurs d’embeddings. Les embeddings textuels, qui encodent le sens sémantique des documents, sont générés à partir du modèle Qwen3-Embedding-0.6B. Cette intégration permet au moteur de comprendre le contexte et les nuances des requêtes.
La génération par lots de ces embeddings est orchestrée via Hugging Face Jobs, tirant parti de la puissance des GPU NVIDIA L4. Les artefacts et données intermédiaires sont stockés de manière fiable dans Hugging Face Buckets. Pour assurer une performance optimale et une mise à jour continue, un modèle d’embedding en direct est servi via les Hugging Face Inference Endpoints. Cette même infrastructure robuste alimente également la fonctionnalité de suggestion de ‘papiers connexes’, enrichissant l’expérience utilisateur. Cette approche hybride illustre une voie prometteuse pour l’amélioration de la pertinence et de la précision dans les systèmes de recherche basés sur l’intelligence artificielle.
Source : Reddit r/MachineLearning