Comment nettoyer sa base de données clients – Guide & Template

Difficile d’évaluer à quel point vous perdez du temps et des opportunités à cause d’un fichier clients incomplet, pas fiable, pas normalisé, mais c’est beaucoup. Je cherchais des chiffres sur le net pour illustrer mon point, et ils sont tellement gros qu’ils me paraissent peu crédibles (12% Cost of Poor Data to Overall Revenue »). En tout cas, les enjeux de qualité de données, c’est au minimum 20% de productivité perdue pour toutes les personnes qui travaillent avec des données clients sur des outils CRM, emailing, service client..

C’est important d’évaluer le coût d’une mauvaise qualité des données clients, car cela déterminera le budget à investir sur le sujet. Il y a un coût humain dans la perte de productivité, mais il y a aussi des pertes business, encore plus difficiles à évaluer mais bien réelles. Quelques exemples de mon expérience perso: le programme de fidélité attribue des cadeaux à des profils clients présents en double, et on se retrouve avec 20% de cadeaux envoyés au même foyer en double, le responsable CRM fait des campagnes sur « Country » = « Spain », et on se rend compte qu’on perd 30% des contacts dont le champ « Country » contient plutôt « Espana » ou « es », le sales, etc.

Vous devez investir au moins 20% de votre budget CRM dans la préparation des données clients. Vos équipes et vos clients vous en remercieront.

Le sujet est complexe. Il y a beaucoup de problèmes à adresser pour avoir une belle base de données clients.
Dans cet article, on va faire un tour des principaux types de traitements à réaliser (dédoublonnage, nettoyage email, format téléphone, RNVP, etc.), en présentant les différentes solutions envisageables.

Pour aider nos lecteurs qui n’ont pas le budget pour envisager les solutions qui seront présentées, et qui souhaitent juste bricoler un peu mieux qu’avant, on a un petit cadeau. Un template Gsheet qui contient quelques formules bien utiles pour nettoyer basiquement un fichier clients.

nettoyage base de données clients ressource excel

Télécharger le template GSheet pour nettoyer un fichier

Les traitements pour nettoyer votre base de données clients

Qu’est-ce qu’une base client de mauvaise qualité ?

Doublons, données erronées, incomplètes, non normées sont autant d’indices d’une base de données de mauvaise qualité.

Doublons

Il y a un doublon lorsqu’un contact se trouve en double dans une même base de données. L’existence de doublons dans un fichier ou dans une base de données peut avoir 2 origines :

  • Les utilisateurs (= l’entreprise). Les erreurs humaines existent, en particulier au moment de la saisie des données. Il arrive qu’un ou plusieurs utilisateurs enregistrent plusieurs fois le même contact dans la base avec une syntaxe ou une orthographe différente.
  • Les contacts. Par exemple, un contact peut très bien s’inscrire deux fois à la même newsletter en donnant deux adresses emails différentes. Comme l’email est généralement l’ID utilisé par le logiciel emailing, cela génère un doublon…même si les autres informations données (nom, prénom) sont les mêmes dans les deux cas.

Données erronées

Les données sont erronées quand…elles ne sont pas correctes. Par exemple, l’adresse email n’est pas bonne, le prénom n’est pas bon, etc. Les données erronées sont le fruit d’erreurs au moment de la saisie de l’information, que ce soit par le contact lui-même (dans un formulaire, dans un questionnaire) ou par l’entreprise (commercial, service client…). Une donnée erronée peut aussi (c’est plus rare) résulter d’un problème de compatibilité de format entre la source de collecte et la base dans laquelle atterrit la donnée. On connaît tous les « é » qui se transforment en é dans certains fichiers !

Données incomplètes

Les champs sont rarement tous complétés, tout simplement parce qu’on n’a jamais toutes les informations sur tous les contacts. Le « taux de complétude » est rarement à 100%. La plupart du temps, ce n’est pas gênant, mais des fois, ca peut être très problématique. Les équipes commerciales ne veut pas travailler sur un fichier aussi incomplet, les équipes marketing ne veulent pas personnaliser un message avec une variable dispible à 70%, etc.

Beaucoup de bases de données clients ressemblent à un gruyère composé de plein de trous qui correspondent aux champs vides. Cela a évidemment une incidence sur la qualité de la base de données et son potentiel d’activation (comment voulez-vous envoyer un email aux plus de 50 ans si vous connaissez l’âge de seulement 5% de vos contacts ?).

Données non normées

M. ou Mr. ? 75 ou Paris ? Bien souvent, peu importe le format que l’on choisit, l’essentiel est de choisir un seul format par type de données. C’est l’art de ce que l’on appelle la « normalisation ». Le manque ou l’absence de normalisation des données pose un gros problème de lisibilité et d’activation de la base (des données non normées se traduisent par des variables inexploitables).

Données obsolètes

Les données n’expriment pas une vérité éternelle. Elles vivent comme vivent vos contacts. Une donnée correcte à l’instant t peut donc devenir obsolète à l’instant t+1. On peut prendre l’exemple des adresses postales, des numéros de téléphone, des professions, etc. En fait, la plupart des données (presque toutes) sont sujettes à l’obsolescence.

Nous avons passé en revue les principaux éléments qui portent atteinte à la qualité d’une base de données client. Nous allons voir maintenant les traitements à réaliser pour optimiser la qualité des données, les corriger, les nettoyer dans votre BDD.

Les princpaux traitements à appliquer pour nettoyer votre base clients

Voici une liste des principaux traitements pour maintenir et/ou optimiser la qualité des données. Pour chaque traitement, nous proposons une description, des exemples et les solutions possibles.

TraitementDescriptionExemplesSolutions possibles
DédoublonnnageIdentification & fusion des doublons de contact, sur la base d’une ou plusieurs clés.Plusieurs fois la même adresse mail dans ma bdd clients.- Ponctuel : prestation agence / Excel / ETL - Live : logiciel CDP, ou extension CRM.
Normalisation des donnéesCorrection des valeurs de différentes colonnes pour respecter une nomenclature.“Mlle” devient “Madame” ou “Espana” devient “ES”.- Ponctuel : prestation agence / Excel / ETL - Live : logiciel CDP, ou extension CRM.
Nettoyage des emailsSupprimer les fausses adresses email de votre base pour éviter les bounces.Supprimer ou fusionner “anti-spam@..”Winpure, Data Ladde, TIBCO Clarity...
Format des numéros de téléphoneNormaliser les N° aux formats internationaux."06 XX ..” devient “+33 6...”.- Ponctuel : prestation agence / Excel / ETL - Live : logiciel CDP, ou extension CRM, exemple XXX sur Salesforce
RNVP des adresses postalesLe traitement RNVP permet de limiter le nombre de PND lors d'une campagne de marketing direct postal ou lors de la livraison de colis et permet également de bénéficier des tarifs d'affranchissement spécifiques.“mme dupont julie appt 213 2e étage...” devient : ”Madame Julie Dupont Appartement 213, Etage 2”.Outils spécifiques (DQE Adresse, Cap Address, 76310) ou agence (Capency...).
Code paysNormaliser les pays de naissance et résidence de vos contacts selon les normes ISO.Espagne : - ES - ESP - Spanish - es.- Ponctuel : prestation agence / Excel / ETL - Live : logiciel CDP, ou extension CRM.
DéduplicationIdentifier les données qui apparaissent dans plusieurs fichiers du système d’information et les fusionner dans une seule base.Un ID unique pour mon CRM et mon outil de Marketing Automation.Mise en place d'un Référentiel Client Unique + accompagnement par un cabinet de conseil.

Découvrez notre guide sur les Customer Data Platforms

Les solutions CDP permettent de préparer, scorer et synchroniser votre base clients. Cela peut faire sens d’étudier le sujet si vous avez des enjeux importants sur votre base clients (et un peu de budget..). Je vous invite à parcourir notre guide sur les CDP pour en apprendre un peu plus sur le sujet.

L’approche Do it yourself sur Excel

Nous avons réalisé un modèle Excel qui vous permet d’appliquer des règles de nettoyage sur un fichier de contacts.
L’onglet « Démo » réalise plusieurs actions en même temps, et génère un ensemble de colonnes en « output » avec le résultat post nettoyage. Pour ceux qui cherchent surtout un peu d’inspiration pour enrichir ce qu’ils font déjà, on a mis chaque traitement réalisé dans un onglet dédié.

nettoyage base de données clients ressource excel

Onglet Déduplication

nettoyage base de donnees modele excel deduplication

Cet onglet permet de gérer les déduplications. Le bloc de gauche renvoie aux données contenues dans votre fichier. Dans notre exemple, nous avons 4 adresses différentes pour seulement deux individus : John & Matilda. La colonne « Qualification » permet d’identifier les doublons. La troisième colonne fait ressortir 1 compte unique avec l’information associée.

Deux points de vigilance à avoir quand on procède à un dédoublonnage :

  • L’information liée au doublon supprimée est perdue.
  • Il y a un risque de fusionner des contacts distincts. Il faut en être conscient.

Onglet Nettoyage des emails

nettoyage base de donnees modele excel email cleaning

Cet onglet sert à qualifier l’adresse email, et plus précisément à identifier si l’adresse est :

  • Générique. Pour rappel, une adresse email générique est une adresse qui est rattachée à un service ou à une fonction plus qu’à un individu. C’est le cas par exemple des adresses contact@, admin@, info@, etc. C’est la partie locale de l’adresse email (avant l’arobase) qui permet d’identifier ce type d’emails.
  • Professionnelle. C’est cette fois-ci l’adresse du serveur (la partie de l’email après l’arobase) qui permet de détecter le caractère professionnel ou non de l’adresse : prénom.nom@mon-entreprise.com.
  • Jetables. Il s’agit des adresses emails temporaires, qui s’autodétruisent automatiquement après un certain temps. Ce sont des adresses créées par des contacts qui veulent s’abonner à un service sans avoir à utiliser leur adresse personnelle ou professionnelle (pour des raisons de privacy ou de sécurité). Il existe plusieurs services comme Temp Mail qui permettent de générer facilement des adresses temporaires.

Onglet Pays

nettoyage base de donnees modele excel normalisation pays

Nous avons vu plus haut les problèmes liés à l’absence de normalisation des données. Ce problème touche en particulier les informations de pays : en fonction des langues et des conventions liées aux outils que vous utilisez, le format des informations de pays ne seront pas les mêmes.

Dans cet onglet, vous gérez les différents formats utilisés par vos outils pour le pays. Par exemple, pour l’Espagne : Espagne, España, Espana, Spain, Spagna…Dans l’output (votre fichier nettoyé), cette diversité sera ramenée à l’unité d’un même format : ES. Tout l’enjeu est de bien indiquer toutes les formes possibles que peut prendre l’enregistrement du pays dans vos outils. Vous trouverez dans l’onglet « Settings » toutes les appellations potentielles pour chaque pays. Vous pouvez enrichir ce listing.

nettoyage base de donnees modele excel reglages pays

Civilité

nettoyage base de donnees modele excel civilite

Cet onglet fonctionne de la même manière que le précédent. Il permet de normaliser les civilités, c’est-à-dire de ramener toute la diversité des appellations possibles au duo M & F. Dès qu’une occurrence de « Monsieur », « Mister », « M. », « Mr. », « Senor », apparaîtra dans votre fichier, elle sera identifiée comme « M ». Là encore, vous pouvez enrichir les formats que nous proposons dans l’onglet « Settings ».

nettoyage base de donnees modele excel reglages civilite

 

Accéder à notre modèle Excel gratuit

Les outils pour nettoyer sa base de données

Vous pouvez aussi procéder au nettoyage des données en utilisant des outils. Vous avez trois grandes options :
1. Les modules de « cleansing » proposés par votre outil CRM (surtout vrai pour Salesforce..),
2. Un outil CDP / Data management (comme Octolis 😇),
3. Oter pour une ou plusieurs solutions spécialisées.

Les outils de data management comme Octolis

Certains outils d’activation (CRM, Marketing Automation, etc.) proposent des fonctionnalités natives de Data Management. Ce n’est pas étonnant quand on sait l’impact de la qualité des données sur la performance des campagnes et scénarios marketing. Les suites marketing ont pris leurs devants.

La limite de cette approche renvoie au problème plus général de la fragmentation des stack data et marketing. L’entreprise dispose de 15 outils dont peut-être un tiers propose des fonctionnalités de management de la qualité des données. Mais le nettoyage et la normalisation, dans cette architecture éclatée, s’effectuent dans chaque outil séparément.

Chaque outil a ses formats et ses règles de normalisation. Dit autrement : les données sont normalisées POUR le logiciel CRM, POUR le logiciel de Marketing Automation, etc. Il n’y a pas normalisation au niveau global du SI Client.

Une solution comme Octolis permet de résoudre ce défi. Octolis est une plateforme de data management qui fonctionne « au-dessus » de la base client. La solution Octolis permet de réconcilier, unifier, dédupliquer toutes les données stockées dans la base de données indépendante de l’entreprise et facilite la normalisation et le nettoyage. L’utilisation d’un outil de ce genre suppose bien entendu d’avoir une base de données pivot. Mais, dans les faits, la plupart des entreprises ont une base de ce type, qu’elle s’appelle data warehouse ou data lake.

nettoyage base donnees clients data prep octolis

Cette approche consistant à utiliser une base de données indépendante de tous les applicatifs et autres outils de l’entreprise, connectée à une solution comme Octolis, c’est ce que l’on appelle la Stack Data Moderne.

Précisons qu’Octolis permet de couvrir la plupart les besoins classiques de normalisation et de nettoyage. Certains cas d’usage avancés ne sont pas possibles, par exemple le traitement RNVP.

Les outils de la Stack Data Moderne

ELT, webtracking first party, data warehouse cloud, data transform, orchestration des données, data science, data catalog, data viz…Découvrez notre benchmark complet des outils de la Stack Data Moderne !

Solutions spécialisées : Nettoyage Email

L’importance de la qualité des données est telle que certains outils ont été développés spécialement pour gérer cet aspect. Ce sont des solutions dites « Best of Breed » qui se concentrent sur une brique fonctionnelle et une seule : la Data Quality.

On trouve par exemple les outils de nettoyage d’emails. Par exemple : Bouncer, Zerobounce, MailnJoy ou encore Hunter. Ces outils proposent des connecteurs et une API permettant d’intégrer à peu tous vos logiciels ayant des fichiers d’adresses. Ces outils ne s’arrêtent pas à la validation des emails mais proposent des fonctionnalités avancées, comme Zerobounce qui donne accès à un score d’activité pour chaque adresse email.

D’autres permettent de savoir si vous êtes blacklistés par certains fournisseurs d’accès internet. La tarification de ces outils est basée sur le nombre d’emails vérifiés. Comptez entre 20 et 60 euros pour 10 000 emails et entre 200 et 400 euros pour 100 000 emails.

nettoyage base de donnees outil bouncer

Solutions spécialisées : RNVP

La RNVP est l’action qui consiste à Restructurer, Normaliser et Valider (confronter les adresses avec le référentiel national) les adresses pPstales…
Le traitement RNVP permet de :

  • Limiter le nombre de plis non distribuables (PND, ou bounces) lors d’une campagne de marketing postal ou d’une livraison de colis.
  • Eviter qu’un représentant de votre entreprise (un commercial de terrain par exemple) se déplace chez un prospect ou un client en ayant la mauvaise adresse…
  • Bénéficier de tarifs d’affranchissement spécifiques. Les adresses RNVP donnent droit à une réduction des coûts d’affranchissement.

Ajoutons que le traitement RNVP est important pour deux raisons :

  • Les gens déménagent et les entreprises aussi.
  • Il y a plus de 200 000 changements de dénomination de voies par an sur le territoire français. On vous apprend peut-être quelque chose 🙂.

76310 et Cap Adresse sont deux bons outils de RNVP. Leur tarification est basée sur la taille de la base de données.

Nettoyer une base de données clients : Télécharger notre modèle Excel gratuit

Pour accéder à la ressource, il vous suffit de vous inscrire en quelques clics.
Au clic sur le bouton ci-dessous, vous arriverez sur un formulaire d'inscription rapide. Une fois inscrit, il y a un onglet "Ressources" qui apparaîtra dans le menu du haut qui vous permettra d'accéder à l'ensemble des ressources en téléchargement gratuit. Avec un peu de chance, vous aurez une bonne surprise, il y aura d'autres ressources qui vous seront utiles 😊

👉 Je m'inscris pour télécharger la ressource