Stockage

FineParser Enterprise utilise trois volumes :

Volume	Mode d’accès	Contenu
In-process	ReadWriteMany	Fichiers téléversés et résultats partiels pendant l’exécution des tâches. Partagé par le service d’ingestion et tous les processus de traitement.
Sortie	ReadWriteMany	Résultats finalisés, sous la forme `{jobId}/{name}`. Partagé par le service d’ingestion et tous les processus de traitement.
État de l’orchestrateur	ReadWriteOnce	La file d’attente des tâches.

Les volumes in-process et de sortie doivent être accessibles en écriture à l’utilisateur et au groupe 65534, sous l’identité desquels s’exécutent tous les conteneurs FineParser. FineParser ne supprime jamais les résultats finalisés. Ils restent sur le volume de sortie après leur téléchargement, et même après l’expiration du statut de la tâche. Pour les supprimer, utilisez les règles de cycle de vie de votre propre système de stockage.

Configuration des volumes

Le chart crée une revendication pour chaque volume, ou utilise celle que vous avez créée avec existingClaim. Le volume in-process est un système de fichiers EFS, et le volume de sortie un compartiment S3 :

fineparser-values.yaml

storage:
  inProcess:
    efs:
      fileSystemId: fs-0123456789abcdef0
  output:
    s3:
      bucket: my-fineparser-output
  s3:
    region: us-east-2

Consultez Système de fichiers EFS et Compartiment S3 de sortie, qui expliquent notamment comment utiliser les revendications que vous avez créées.

État de l’orchestrateur

L’orchestrateur demande un volume ReadWriteOnce de orchestrator.storage.size (2Gi) à la StorageClass par défaut du cluster. Vérifiez que le cluster en possède une à l’aide de kubectl get storageclass ; elle est signalée par la mention (default).

fineparser-values.yaml

storageClass:
  name: <block-storage-class>   # si vide, la classe par défaut est utilisée

Le volume d’état est conservé lorsque la release est désinstallée. Voir Mises à niveau et désinstallation.

Espace de travail temporaire d’ingestion

Chaque pod d’ingestion stocke les fichiers téléversés dans un tampon mémoire situé dans un espace de travail temporaire local au nœud, plafonné à ingest.scratchSize. Toute requête qui sature cet espace entraîne l’éviction du pod. Voir Dimensionnement des téléversements.

Prise en main

Notions de base

Concepts

Bonnes pratiques

AWS

Référence

Configuration des volumes

État de l’orchestrateur

Espace de travail temporaire d’ingestion

​Configuration des volumes

​État de l’orchestrateur

​Espace de travail temporaire d’ingestion

Configuration des volumes

État de l’orchestrateur

Espace de travail temporaire d’ingestion