Speicher

FineParser Enterprise verwendet drei Volumes:

Volume	Zugriffsmodus	Inhalt
In-process	ReadWriteMany	Hochgeladene Dateien und Teilergebnisse, während Jobs ausgeführt werden. Wird von der Ingest-Komponente und allen Workern gemeinsam genutzt.
Ausgabe	ReadWriteMany	Fertige Ergebnisse im Format `{jobId}/{name}`. Wird von der Ingest-Komponente und allen Workern gemeinsam genutzt.
Orchestrator-Zustand	ReadWriteOnce	Die Job-Warteschlange.

Die In-process- und Ausgabe-Volumes müssen für Benutzer und Gruppe 65534 beschreibbar sein, da alle FineParser-Container unter dieser Kennung ausgeführt werden. FineParser löscht fertige Ergebnisse grundsätzlich nicht. Die Ergebnisse verbleiben auch nach dem Herunterladen und nach Ablauf des Job-Status auf dem Ausgabe-Volume. Entfernen Sie sie über die Lebenszyklusregeln Ihres Speichersystems.

Konfigurieren der Volumes

Das Chart erstellt für jedes Volume einen Claim oder verwendet einen Claim, den Sie bereits mit existingClaim erstellt haben. Das In-Process-Volume ist ein EFS-Dateisystem, das Ausgabe-Volume ein S3-Bucket:

fineparser-values.yaml

storage:
  inProcess:
    efs:
      fileSystemId: fs-0123456789abcdef0
  output:
    s3:
      bucket: my-fineparser-output
  s3:
    region: us-east-2

Siehe EFS-Dateisystem und S3-Ausgabe-Bucket. Dort wird auch beschrieben, wie Sie die von Ihnen erstellten Claims verwenden.

Orchestrator-Zustand

Der Orchestrator fordert bei der Standard-StorageClass des Clusters ein ReadWriteOnce-Volume der Größe orchestrator.storage.size (2Gi) an. Prüfen Sie mit kubectl get storageclass, ob im Cluster eine solche StorageClass vorhanden ist; sie ist mit (default) gekennzeichnet.

fineparser-values.yaml

storageClass:
  name: <block-storage-class>   # leer = Standard-StorageClass wird verwendet

Das Zustandsvolume bleibt erhalten, wenn das Release deinstalliert wird. Siehe Upgrades und Deinstallation.

Scratch-Speicher der Ingest-Komponente

Jeder Pod der Ingest-Komponente puffert hochgeladene Dateien in knotenlokalem Scratch-Speicher, dessen Größe durch ingest.scratchSize begrenzt ist. Füllt eine Anfrage diesen Speicher vollständig, wird der Pod verdrängt (evicted). Siehe Dimensionierung von Uploads.

Erste Schritte

Grundlagen

Konzepte

Bewährte Vorgehensweisen

AWS

Referenz

Konfigurieren der Volumes

Orchestrator-Zustand

Scratch-Speicher der Ingest-Komponente

​Konfigurieren der Volumes

​Orchestrator-Zustand

​Scratch-Speicher der Ingest-Komponente

Konfigurieren der Volumes

Orchestrator-Zustand

Scratch-Speicher der Ingest-Komponente