Données & SIG
Moissonnage des données biodiv’
Moissonnage automatique des bases de données distantes des partenaires naturalistes
Le moissonnage des bases de données des partenaires naturalistes : premier pas vers la structuration du SINP régional !
Le premier niveau du Système d’Information sur la Nature et les Paysages se trouve à l’échelle régionale. C’est pourquoi il revient à chaque région de décliner le protocole national du SINP.
En région Pays de la Loire une première mise en commun des données de biodiversité est réalisée entre les nombreux acteurs naturalistes (avec un premier partage des données des chefs de file).
Afin d’avoir d’une première approche de la biodiversité présente sur le territoire, de disposer d’une vision globale des acteurs naturalistes de la région et amorcer le partage régional des données dans un contexte de mise en place du SINP.
C’est pourquoi toutes ces données naturalistes ne sont pas seulement partagées. Elles sont aussi valorisées sur le portail web des données faune et flore des Pays de la Loire, sous forme de cartographies et de statistiques.
Chacun des acteurs de la région disposent d’outils d’acquisition, de gestion et de valorisation des données de biodiversité qui leur sont propres. Et ces différentes bases de données sont alimentées quotidiennement par les naturalistes réalisant des observations sur le terrain chaque jour.
Toutes ces bases de données sont réparties chez les différents des partenaires. Elles sont également structurées différemment les unes des autres et alimentées quotidiennement. Le défi était alors de trouver un moyen de mettre en commun toutes ces données, et en -quasi- temps réel…
La solution ? Un système de moissonnage au jour le jour automatisé !
Moissonnage automatique des données
La mise en commun des données des différents partenaires est basée sur des solutions côté base de données : à l’aide des Foreign Data Wrappers de PostgreSQL, qui permettent d’interroger des bases distantes.
Ces requêtes de moissonnage sont sous forme de scripts SQL lancés automatiquement et quotidiennement (via des tâches programmées) afin d’assurer la fraîcheur des informations diffusées sur le portail web.
Résultats
La procédure pour la mise en place du moissonnage des données du côté des partenaires est facilement et rapidement reproductible. Elle passe par une structuration partagées par tous pour permettre la lecture et l’affichage des données sur Biodiv’Pays de la Loire.
Résultat : fin 2020, plus de 7 millions de données étaient visualisables ! Et cela grâce aux 10 bases différentes partageant leurs données, nombre qui devrait doublé dans l’année 2020.
