J'ai pu participer à un Webinar organisé par la société Talend ayant pour thème : « Nettoyage de données en open source ». Ce sujet m'intéressait particulièrement, ayant découvert cet outil sur un projet récent, avec ce même objectif. Je vais résumer en quelques phrases ce qui a été dit pendant cette conférence de 45 min :

La qualité de données c'est quoi ?

C'est un sujet vaste en fait... On peut parler de mesures de la qualité des données, de nettoyage de données de mauvaise qualité... En règle générale, la qualité de données dépend de 3 choses :  des données précises, complètes et cohérentes.

La qualité de données intervient à plusieurs niveaux :

• Technique : Intégrité référentielle, type de données ; Ce contrôle se fait surtout au niveau du SGBD lui même
• Logique : Données conformes aux spécifications fonctionnelles (Chaque donnée correspond à un domaine précis)
• Sémantique : Données correctement formatées (adresses, numéros de téléphone...)

Pourquoi nettoyer les données ?

Il est évident que l'on a besoin d'avoir des données de qualité sinon on ne peut pas prendre les bonnes décisions. Le plus gênant, c'est que ces données vont ensuite se propager dans le système, d'application en application tel un virus. Voilà pourquoi il est essentiel de contrôler nos données en amont, et donc, d'intégrer ces routines de nettoyage dans les processus d'intégration. En savoir plus