Normalisation du texte
- Les espaces blancs (y compris les caractères de nouvelle ligne et de tabulation) et les symboles de séparation sont remplacés par des espaces ordinaires.
- Les points utilisés comme séparateurs (points placés entre les mots) sont remplacés par des espaces, et les points dans les abréviations sont supprimés.
- Les symboles de conjonction (
&,+,-,/,~) sont normalisés :- Les suites de mots qui commencent par un mot d’une seule lettre et sont séparées par le même symbole de conjonction sont réunies en un seul mot. Par exemple,
R & DdevientR&D. - Dans tous les autres cas, les symboles de conjonction sont remplacés par des espaces. Par exemple,
Procter&GambledevientProcter Gamble.
- Les suites de mots qui commencent par un mot d’une seule lettre et sont séparées par le même symbole de conjonction sont réunies en un seul mot. Par exemple,
- Les doubles espaces sont supprimés.
- Une liste prédéfinie est utilisée pour scinder les mots. Par exemple,
CoKGest scindé enCo KG. - Les espaces dans le texte reconnu sont utilisés pour le scinder en mots distincts.
- Une liste prédéfinie est utilisée pour remplacer les suffixes de chaque mot. Par exemple, vous pouvez remplacer le suffixe
strassepar le suffixestr. - Les suites de mots sont automatiquement remplacées selon une liste prédéfinie. Par exemple, vous pouvez remplacer le mot
Limitedpar l’abréviationLtd.
Normalization.xml, stocké dans le dossier du projet.
Des modifications importantes pourront être apportées à l’algorithme de normalisation dans les futures versions du programme.
Modifier les paramètres de normalisation
Normalization.xml peut être modifié après la création du jeu de données (séparément pour chaque jeu de données). Pour modifier les paramètres de normalisation standard, procédez comme suit :
1
Télécharger le fichier de paramètres
Téléchargez le fichier de paramètres à l’aide de la commande FCAdminTools DownloadNormalizationSettings.
2
Modifier les paramètres
Apportez les modifications nécessaires.
3
Téléverser le fichier de paramètres
Téléversez le fichier de paramètres à l’aide de la commande FCAdminTools UpdateNormalizationSettings.
Normalisation des codes alphanumériques
- Lorsque cette option est activée, les valeurs normalisées sont stockées dans le jeu de données.
- Lorsque cette option est désactivée, les valeurs d’origine de la base de données externe sont copiées dans le jeu de données.
