Almacenamiento

FineParser Enterprise utiliza tres volúmenes:

Volumen	Modo de acceso	Contenido
In-process	ReadWriteMany	Archivos cargados y resultados parciales mientras se ejecutan los trabajos. Lo comparten el servicio de ingesta y todos los workers.
Salida	ReadWriteMany	Resultados finalizados, con la ruta `{jobId}/{name}`. Lo comparten el servicio de ingesta y todos los workers.
Estado del orquestador	ReadWriteOnce	La cola de trabajos.

El usuario y el grupo 65534, con los que se ejecutan todos los contenedores de FineParser, deben tener permisos de escritura en los volúmenes in-process y de salida. FineParser nunca elimina los resultados finalizados. Los resultados se conservan en el volumen de salida aunque se hayan descargado y aunque haya caducado el estado del trabajo. Para eliminarlos, utilice las reglas de ciclo de vida de su propio sistema de almacenamiento.

Configuración de los volúmenes

El chart crea un claim para cada volumen o bien utiliza uno que usted haya creado con existingClaim. El volumen in-process es un sistema de archivos EFS y el volumen de salida es un bucket de S3:

fineparser-values.yaml

storage:
  inProcess:
    efs:
      fileSystemId: fs-0123456789abcdef0
  output:
    s3:
      bucket: my-fineparser-output
  s3:
    region: us-east-2

Consulte Sistema de archivos EFS y Bucket de salida de S3, donde también se explica cómo usar los claims que ha creado.

Estado del orquestador

El orquestador solicita un volumen ReadWriteOnce de orchestrator.storage.size (2Gi) a la StorageClass predeterminada del clúster. Compruebe con kubectl get storageclass que el clúster tiene una; aparece marcada como (default).

fineparser-values.yaml

storageClass:
  name: <block-storage-class>   # si está vacío, se usa la clase predeterminada

El volumen de estado se conserva al desinstalar la release. Consulte Actualizaciones y desinstalación.

Espacio temporal de ingesta

Cada pod de ingesta almacena en búfer los archivos cargados en un espacio temporal local del nodo, limitado a ingest.scratchSize. Si una solicitud llena ese espacio, el pod se desaloja. Consulte Dimensionamiento de cargas.

Primeros pasos

Fundamentos

Conceptos

Prácticas recomendadas

AWS

Referencia

Configuración de los volúmenes

Estado del orquestador

Espacio temporal de ingesta

​Configuración de los volúmenes

​Estado del orquestador

​Espacio temporal de ingesta

Configuración de los volúmenes

Estado del orquestador

Espacio temporal de ingesta