Normalisation du texte
Ce type de normalisation est utile lors de la comparaison de chaînes telles que des noms d’entreprise et des adresses.- Les espaces blancs (y compris les caractères de nouvelle ligne et de tabulation) et les symboles de séparation sont remplacés par des espaces ordinaires.
- Les points utilisés comme séparateurs (points placés entre les mots) sont remplacés par des espaces, et les points dans les abréviations sont supprimés.
- Les symboles de conjonction (
&,+,-,/,~) sont normalisés :- Les suites de mots qui commencent par un mot d’une seule lettre et sont séparées par le même symbole de conjonction sont réunies en un seul mot. Par exemple,
R & DdevientR&D. - Dans tous les autres cas, les symboles de conjonction sont remplacés par des espaces. Par exemple,
Procter&GambledevientProcter Gamble.
- Les suites de mots qui commencent par un mot d’une seule lettre et sont séparées par le même symbole de conjonction sont réunies en un seul mot. Par exemple,
- Les doubles espaces sont supprimés.
- Une liste prédéfinie est utilisée pour scinder les mots. Par exemple,
CoKGest scindé enCo KG. - Les espaces dans le texte reconnu sont utilisés pour le scinder en mots distincts.
- Une liste prédéfinie est utilisée pour remplacer les suffixes de chaque mot. Par exemple, vous pouvez remplacer le suffixe
strassepar le suffixestr. - Les suites de mots sont automatiquement remplacées selon une liste prédéfinie. Par exemple, vous pouvez remplacer le mot
Limitedpar l’abréviationLtd.
Normalization.xml, stocké dans le dossier du projet.
Des modifications importantes pourront être apportées à l’algorithme de normalisation dans les futures versions du programme.
Modifier les paramètres de normalisation
Le fichierNormalization.xml peut être modifié après la création du jeu de données (séparément pour chaque jeu de données). Pour modifier les paramètres de normalisation standard, procédez comme suit :
1
Télécharger le fichier de paramètres
Téléchargez le fichier de paramètres à l’aide de la commande FCAdminTools DownloadNormalizationSettings.
2
Modifier les paramètres
Apportez les modifications nécessaires.
3
Téléverser le fichier de paramètres
Téléversez le fichier de paramètres à l’aide de la commande FCAdminTools UpdateNormalizationSettings.
Normalisation des codes alphanumériques
Ce type de normalisation est utile pour comparer des codes alphanumériques tels que les identifiants fiscaux, les numéros de compte bancaire et les codes postaux. Tous les caractères autres que les chiffres et les lettres sont supprimés, ce qui vous permet de comparer des valeurs en ignorant les espaces, les tirets, les barres obliques et les autres caractères quelconques qu’elles peuvent contenir. Lorsque la normalisation est appliquée, l’option Store normalized value devient disponible lors de la mise en correspondance de la colonne du jeu de données avec une colonne d’une base de données externe.- Lorsque cette option est activée, les valeurs normalisées sont stockées dans le jeu de données.
- Lorsque cette option est désactivée, les valeurs d’origine de la base de données externe sont copiées dans le jeu de données.
