Moissonnage des données biodiv’

Le moissonnage des bases de données des partenaires naturalistes :
premier pas vers la structuration du SINP régional !

Le premier niveau du Système d’Information sur la Nature et les Paysages se trouve à l’échelle régionale. C’est pourquoi il revient à chaque région de décliner le protocole national du SINP. En région Pays de la Loire une première mise en commun des données de biodiversité est réalisée entre les nombreux acteurs naturalistes (avec un premier partage des données des chefs de file).

Pourquoi mettre en commun toutes ces données ?

Afin d’avoir d’une première approche de la biodiversité présente sur le territoire, de disposer d’une vision globale des acteurs naturalistes de la région et amorcer le partage régional des données dans un contexte de mise en place du SINP.

C’est pourquoi toutes ces données naturalistes ne sont pas seulement partagées. Elles sont aussi valorisées sur le portail web des données faune et flore des Pays de la Loire, sous forme de cartographies et de statistiques.

Exemple de statistiques sur l’origine des données – Biodiv’Pays de la Loire

Chacun des acteurs de la région disposent d’outils d’acquisition, de gestion et de valorisation des données de biodiversité qui leur sont propres. Et ces différentes bases de données sont alimentées quotidiennement par les naturalistes réalisant des observations sur le terrain chaque jour.

Toutes ces bases de données sont réparties chez les différents des partenaires. Elles sont également structurées différemment les unes des autres et alimentées quotidiennement. Le défi était alors de trouver un moyen de mettre en commun toutes ces données, et en -quasi- temps réel…

La solution ? Un système de moissonnage au jour le jour automatisé !

Moissonnage automatique des données

Ma solution.

La mise en commun des données des différents partenaires est basée sur des solutions côté base de données : à l’aide des Foreign Data Wrappers de PostgreSQL, qui permettent d’interroger des bases distantes.

Ces requêtes de moissonnage sont sous forme de scripts SQL lancés automatiquement et quotidiennement (via des tâches programmées) afin d’assurer la fraîcheur des informations diffusées sur le portail web.

La procédure pour la mise en place du moissonnage des données du côté des partenaires est facilement et rapidement reproductible. Elle passe par une structuration partagées par tous pour permettre la lecture et l’affichage des données sur Biodiv’Pays de la Loire.

Résultat : fin 2018, plus d’un million de données étaient visualisables ! Et cela grâce aux 7 bases différentes partageant leurs données, nombre qui devrait doublé dans cette année 2019.

Cette mission a été réalisée au sein du Conservatoire d’espaces naturels des Pays de la Loire.

Vous aussi avez un projet de partage et de valorisation de données naturalistes ?