Normalización de texto
- Los espacios en blanco (incluidos los caracteres de nueva línea y tabulación) y los símbolos de separación se sustituyen por espacios normales.
- Los puntos usados como separadores (puntos colocados entre palabras) se sustituyen por espacios, y los puntos de las abreviaturas se eliminan.
- Los símbolos de conjunción (
&,+,-,/,~) se normalizan:- Las secuencias de palabras que comienzan con una palabra de una sola letra y están separadas por el mismo símbolo de conjunción se unen en una sola palabra. Por ejemplo,
R & Dse convierte enR&D. - En todos los demás casos, los símbolos de conjunción se sustituyen por espacios. Por ejemplo,
Procter&Gamblese convierte enProcter Gamble.
- Las secuencias de palabras que comienzan con una palabra de una sola letra y están separadas por el mismo símbolo de conjunción se unen en una sola palabra. Por ejemplo,
- Se eliminan los espacios dobles.
- Se utiliza una lista predefinida para separar palabras. Por ejemplo,
CoKGse divide enCo KG. - Los espacios del texto reconocido se usan para dividirlo en palabras independientes.
- Se utiliza una lista predefinida para sustituir los sufijos de cada palabra. Por ejemplo, puede reemplazar el sufijo
strassepor el sufijostr. - Las secuencias de palabras se sustituyen automáticamente según una lista predefinida. Por ejemplo, puede reemplazar la palabra
Limitedpor la abreviaturaLtd.
Normalization.xml, que se almacena en la carpeta del proyecto.
El algoritmo de normalización puede sufrir cambios importantes en futuras versiones del programa.
Modificar la configuración de normalización
Normalization.xml después de crear el conjunto de datos (por separado para cada conjunto de datos). Para modificar la configuración de normalización estándar:
1
Descargar el archivo de configuración
Descargue el archivo de configuración con el comando DownloadNormalizationSettings de FCAdminTools.
2
Editar la configuración
Realice los cambios necesarios.
3
Cargar el archivo de configuración
Cargue el archivo de configuración con el comando UpdateNormalizationSettings de FCAdminTools.
Normalización de códigos alfanuméricos
- Cuando esta opción está activada, los valores normalizados se almacenan en el conjunto de datos.
- Cuando esta opción está desactivada, los valores originales de la base de datos externa se copian en el conjunto de datos.
