Une nouvelle initiative rend accessible plus de 80 téraoctets (To) de données astronomiques issues de plus de 30 relevés, permettant leur exploration depuis un ordinateur portable avec seulement 4 Go de RAM.
Traditionnellement, l’accès et le traitement de volumes aussi massifs de données scientifiques requièrent des infrastructures coûteuses et puissantes. Ce projet vise à démocratiser l’analyse de l’Univers pour les chercheurs et passionnés disposant de ressources matérielles limitées, souvent qualifiés de « HDD-poor ».
La solution permet de croiser les données de l’Univers, même à l’échelle du satellite Gaia, avec une configuration minimale. Cette approche ouvre la voie à une analyse plus large et collaborative des informations collectées par des dizaines de télescopes et missions spatiales.
Les détails techniques de cette méthode sont présentés dans un article sur le blog « Hugging Science » de Hugging Face, accompagné d’un tutoriel pratique. Cette initiative pourrait transformer la manière dont les chercheurs et passionnés interagissent avec les vastes quantités de données cosmiques.
Source : Reddit r/MachineLearning