Konfiguration - ABBYY Documentation

Einrichten einer Verbindung zu einem freigegebenen Ordner

Mit ABBYY Vantage können Sie auf dem Vantage-Server gehostete freigegebene Ordner zum Import und Export von Dokumenten und Skills sowie zum Aktualisieren von Datenkatalogen verwenden. Bevor Sie freigegebene Ordner (NFS-Freigabe) verwenden können, müssen Sie auf einem Client-Computer eine Verbindung zu diesen freigegebenen Ordnern einrichten. Führen Sie die folgenden Schritte auf einem Client-Computer mit Windows aus:

Starten Sie Windows PowerShell als Administrator.
Installieren Sie den Windows-NFS-Client:

dism /online /Enable-Feature /FeatureName:ServicesForNFS-ClientOnly
dism /online /Enable-Feature /FeatureName:ClientForNFS-Infrastructure

Konfigurieren Sie entsprechend den Richtlinien Ihres Unternehmens eine Zuordnung von Windows-Benutzern zu Unix-UIDs und -GIDs:

New-ItemProperty -Path "HKLM:\Software\Microsoft\ClientForNFS\CurrentVersion\Default" -Name "AnonymousGid" -Value 65532 -PropertyType DWord
New-ItemProperty -Path "HKLM:\Software\Microsoft\ClientForNFS\CurrentVersion\Default" -Name "AnonymousUid" -Value 65532 -PropertyType DWord

NFS-Client neu starten:

nfsadmin client stop
nfsadmin client start

Sobald Sie die vorherigen Schritte abgeschlossen haben, können Sie in Vantage Pfade zu freigegebenen Ordnern kopieren und verwenden sowie diese im Datei-Explorer öffnen.

Einrichten einer Datenbankverbindung

ABBYY Vantage verwendet Datenbanken, die auf externen Servern gehostet werden, und kann nicht mehr funktionsfähig sein, wenn diese Server ausfallen. Der Systemadministrator kann solche Datenbanken auf einem anderen Server wiederherstellen und mithilfe von Consul eine Verbindung zu den neuen Datenbanken einrichten.

Bevor Sie beginnen, stellen Sie sicher, dass das kubectl-Befehlszeilentool installiert ist und eine Verbindung zum Kubernetes-Cluster besteht.

Gehen Sie wie folgt vor, um in den ABBYY Vantage-Einstellungen eine Verbindung zu einer neuen Datenbank einzurichten:

Rufen Sie die Consul-Weboberfläche auf, indem Sie den folgenden Befehl ausführen:

kubectl port-forward -n abbyy-infrastructure service/consul-ui 8500:80

Navigieren Sie dann zu http://localhost:8500/ui/dc1/kv/secret/.

Verwenden Sie die Registerkarte Key/Value, die sich öffnet, um die richtige Vantage-Umgebung auszuwählen.
Wählen Sie entweder das Projekt platform oder vantage sowie den entsprechenden Service aus, der die Datenbank verwendet (zum Beispiel mail).

Consul-Liste der platform-Services mit den verfügbaren Services

Navigieren Sie zum Abschnitt database, den jeder Service enthält.

Consul-Registerkarte Key/Value zur Auswahl der Vantage-Umgebung

Öffnen Sie den Abschnitt SqlServer.

Consul-Abschnitt database mit der SqlServer-Konfiguration

Im Schlüssel connectionString:
- Ersetzen Sie den alten Wert von Server durch die Adresse des neuen Servers
- Geben Sie die neue Datenbank im Parameter Database an
- Geben Sie die Anmeldedaten in den Parametern User Id und Password an

Klicken Sie auf Save.
Starten Sie den geänderten Service neu, indem Sie den folgenden Befehl ausführen:

label=mail
kubectl -n abbyy-vantage rollout restart $(kubectl -n abbyy-vantage get deployments -l app.kubernetes.io/component=$label -o name)

Wenn sich eine Serveradresse ändert, muss dieser Vorgang für jede Datenbank durchgeführt werden.

Referenz zu Datenbank-Services

Nachfolgend finden Sie eine Tabelle mit allen Services, die die Datenbank verwenden, sowie der jeweiligen Bezeichnung zum Neustarten der einzelnen Services.

Plattform-Services

Name des Consul-Abschnitts	Service-Bezeichnung	Hinweise
api-gateway-registry	api-gateway-registry
api-registry	api-registry
auth-adminapi2	auth-adminapi2
auth-identity	auth-identity
auth	auth-sts-identity, auth-adminapi2	Diese Datenbank wird von zwei Services genutzt
blob-storage	blob-storage
cron-service	cron-service
documentsetstorage	documentsetstorage
mail	mail
security-audit	security-audit
storage	storage	Der Datenbankabschnitt ist im fileMetadata-Katalog gespeichert
workflow-facade	workflow-facade
workflow-scheduler	workflow-scheduler

Vantage-Services

Name des Consul-Abschnitts	Service-Bezeichnung
catalogstorage	catalogstorage
folderimport	folderimport
interactive-jobs	interactive-jobs
mailimport	mailimport
permissions	permissions
publicapi	publicapi
reporting	reporting
secretstorage	secretstorage
skill-monitor	skill-monitor
skillinfo	skillinfo
subscriptions	subscriptions
tokenmanagement	tokenmanagement
transactions	transactions
workspace	workspace

GPU einrichten

Mit Vantage können Sie die GPU verwenden, um Skills mit der Deep-Learning-Aktivität für die Datenextraktion aus teilstrukturierten Dokumenten zu trainieren.

Systemanforderungen für GPU

Mindest-RAM der virtuellen GPU: 12 GB
1 CPU und 4 GB RAM für jede virtuelle GPU auf dem Host (z. B. muss eine VM mit einer einzelnen virtuellen GPU mit 12 GB mindestens 2 CPU und 8 GB RAM haben)

Virtuelle GPU

Sie können eine virtuelle GPU (vGPU) verwenden, um eine physische GPU in mehrere virtuelle Maschinen aufzuteilen, sodass Vantage-Ressourcen effizienter genutzt werden können. So richten Sie eine vGPU ein:

Kopieren Sie das nVidia-GRID-Treiberpaket aus dem nVidia Application Hub auf eine virtuelle Maschine mit GPU und führen Sie die folgenden Befehle aus:

apt-get update
apt-get install dkms
dpkg -i nvidia-linux-grid-535_535.54.03_amd64.deb

Installieren Sie den nVidia GPU-Operator auf dem Kubernetes-Cluster: a. Legen Sie die Lizenz-Token-Datei (die im nVidia Application Hub generiert wurde) vor dem Ausführen des Vantage-Installer-Containers im Ordner $PWD/gpu/ ab. b. Fügen Sie den Parameter -v $PWD/gpu:/ansible/files/gpu:ro dem Befehl zum Ausführen des Vantage-Installer-Containers hinzu:

docker run -it \
-v $PWD/kube:/root/.kube \
-v $PWD/ssh/ansible:/root/.ssh/ansible \
-v "//var/run/docker.sock:/var/run/docker.sock" \
-v $PWD/inventory:/ansible/inventories/k8s/inventory \
-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
-v $PWD/gpu:/ansible/files/gpu:ro \
--privileged \
registry.local/vantage/vantage-k8s:2.7.1

c. Fügen Sie in der Inventardatei in der Gruppe [abbyy_workers] einen GPU-Knoten hinzu. Der Name der virtuellen Maschine mit der GPU muss “gpu” enthalten:

[abbyy_workers]
worker16-48-w01 ansible_host=10.10.10.27
worker16-48-w02 ansible_host=10.10.10.21
worker16-48-w03 ansible_host=10.10.10.20
worker2-12-a40-gpu01 ansible_host=10.10.10.60

d. Fügen Sie dem Cluster einen Knoten hinzu, indem Sie folgendes Playbook ausführen:

chmod 600 /root/.ssh/ansible
ansible-playbook -i inventories/k8s -v playbooks/4-Kubernetes-k8s.yml

Richten Sie vGPU ein, indem Sie das folgende Playbook ausführen:

ansible-playbook -i inventories/k8s -v playbooks/setup-gpu-node.yml

GPU-Passthrough

Sie können GPU-Passthrough einrichten. Dadurch erhält eine virtuelle Maschine direkten Zugriff auf Ihre GPU. So richten Sie GPU-Passthrough ein:

Führen Sie den Vantage-Installer-Container aus:

docker run -it \
-v $PWD/kube:/root/.kube \
-v $PWD/ssh/ansible:/root/.ssh/ansible \
-v "//var/run/docker.sock:/var/run/docker.sock" \
-v $PWD/inventory:/ansible/inventories/k8s/inventory \
-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
--privileged \
registry.local/vantage/vantage-k8s:2.7.1

Fügen Sie in der Inventardatei der Gruppe [abbyy_workers] einen GPU-Knoten (z. B. worker2-12-a40-gpu01) hinzu:

[abbyy_workers]
worker16-48-w01 ansible_host=10.10.10.27
worker16-48-w02 ansible_host=10.10.10.21
worker16-48-w03 ansible_host=10.10.10.20
worker2-12-a40-gpu01 ansible_host=10.10.10.60

Führen Sie das Playbook aus:

ansible-playbook -i inventories/k8s -v playbooks/4-Kubernetes-k8s.yml

Installieren Sie das Helm-Chart für den GPU-Operator:

helm upgrade --install gpu-operator ansible/files/helm/charts/gpu-operator --create-namespace --debug -n gpu-operator

Fügen Sie einen Node-Taint hinzu:

kubectl taint nodes worker2-12-a40-gpu01 nvidia.com/gpu:NoSchedule

Testen und Bereitstellen von GPUs

Um die Installation des GPU-Operators sowohl im vGPU- als auch im GPU-Passthrough-Modus zu testen:

Führen Sie diesen Befehl aus:

kubectl apply -f filename

Erstellen Sie eine YAML-Datei mit folgendem Inhalt und wenden Sie sie an:

apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
  namespace: gpu-operator
spec:
  restartPolicy: Never
  containers:
    - name: cuda-container
      image: nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda10.2
      resources:
        limits:
          nvidia.com/gpu: 1 # 1 GPU anfordern
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
    - key: k8s.abbyy.com/techcore
      effect: NoSchedule
      value: "true"

Überprüfen Sie das Pod-Log. Es sollte eine Antwort mit Test PASSED angezeigt werden:

kubectl -n gpu-operator logs gpu-pod

Erwartete Ausgabe:

[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done

So stellen Sie den GPU-Worker bereit:

Fügen Sie die folgenden Parameter in der Datei env_specific.yml hinzu:

techcore:
  use_gpu_workers: true
  use_nn_extraction_training_workers: true

Führen Sie einen der folgenden Schritte aus:
- Wenn Vantage bereits installiert ist, führen Sie das folgende Playbook aus, um GPU-Worker bereitzustellen:

ansible-playbook -i inventories/k8s -v playbooks/11-DeployWorkers-k8s.yml

Wenn Vantage noch nicht installiert ist, werden die GPU-Worker während der Installation mitinstalliert.

Einrichten eines Inaktivitäts-Timeouts für die Manuelle Überprüfung

Wenn in der Manuellen Überprüfung bei einer offenen Aufgabe 15 Minuten lang keine Aktionen durch den Operator ausgeführt werden, wird ein Timeout ausgelöst. Der Systemadministrator kann die für ein Timeout erforderliche Dauer der Inaktivität mit Consul ändern. So konfigurieren Sie das Timeout:

Greifen Sie auf die Consul-Weboberfläche zu, indem Sie Folgendes ausführen:

kubectl port-forward -n abbyy-infrastructure service/consul-ui 8500:80

Navigieren Sie dann zu http://localhost:8500/ui/dc1/kv/secret/.

Verwenden Sie die Registerkarte Key/Value, um die richtige Vantage-Umgebung auszuwählen.
Ändern Sie die Werte der folgenden Schlüssel:

Schlüssel	Beschreibung
`secret/abbyy-vantage/vantage/verification/interactiveJobsOptions/popTimeout`	Die Mindestdauer der Inaktivität eines Benutzers, nach der eine Aufgabe an die interaktive Aufgaben-Warteschlange zurückgegeben wird. Jede interaktive Aktion (Mausbewegung, Tastatureingabe, Patch-Verarbeitung usw.) setzt den Countdown zurück. Standard: `00:15:00` (15 Minuten)
`secret/abbyy-vantage/vantage/verification/interactiveJobsOptions/processingPopTimeout`	Die Mindestdauer der Benutzerinaktivität, nach der die Aufgabe an die Warteschlange zurückgegeben wird, wenn länger dauernde Vorgänge ausgeführt werden (Anwenden eines Skills, Seiten umblättern usw.). Wenn ein lang andauernder Vorgang beginnt, wird dieser Wert auf die maximal zulässige Inaktivitätsdauer gesetzt. Nach Abschluss des Vorgangs wird die Inaktivitätsdauer auf den Wert `popTimeout` zurückgesetzt. Standard: `1.00:00:00` (24 Stunden)

Klicken Sie auf Speichern.
Starten Sie die Services verification und manualverification neu:

kubectl -n abbyy-vantage rollout restart $(kubectl -n abbyy-vantage get deployments -l app.kubernetes.io/component=verification -o name)

kubectl -n abbyy-vantage rollout restart $(kubectl -n abbyy-vantage get deployments -l app.kubernetes.io/component=manualverification -o name)

Aktualisieren des SSL-Zertifikats

Wenn das SSL-Zertifikat abläuft, müssen Sie auf das neue Zertifikat umstellen.

Verwenden von Lens

Gehen Sie zu Config > Secrets und suchen Sie alle Secrets mit dem Namen platform-wildcard.
Suchen Sie bei jedem Secret den Unterabschnitt Data, klicken Sie auf das Symbol Show und aktualisieren Sie die Werte:
- Geben Sie den Wert des neuen Zertifikats in das Feld tls.crt ein
- Geben Sie den Wert des zugehörigen Schlüssels in das Feld tls.key ein

Das Zertifikat und der Schlüssel müssen PEM-Dateien mit Base64-ASCII-codiertem Inhalt (PKCS#8) sein. Sie sollten beim Zertifikat mit -----BEGIN CERTIFICATE----- und beim Schlüssel mit -----BEGIN PRIVATE KEY----- beginnen.

Klicken Sie auf Save.

Über die Linux-Befehlszeile

Stellen Sie sicher, dass Sie Zugriff auf den Kubernetes-Cluster haben:

kubectl get nodes

Legen Sie das Zertifikat und den Schlüssel im PEM-Format in den aktuellen Ordner: cert.pem, key.pem.

Konvertieren Sie Ihre CRT-Datei bei Bedarf in das PEM-Format:

-----BEGIN CERTIFICATE-----
[your certificate]
-----END CERTIFICATE-----

-----BEGIN PRIVATE KEY-----
[your key]
-----END PRIVATE KEY-----

Führen Sie die folgenden Befehle aus:

for i in `kubectl get secret --field-selector metadata.name=platform-wildcard -o custom-columns=:metadata.namespace -A --no-headers 2>/dev/null`; do kubectl patch secret platform-wildcard -p "{\"data\":{\"tls.key\":\"$(base64 < "./key.pem" | tr -d '\n')\", \"tls.crt\":\"$(base64 < "./cert.pem" | tr -d '\n')\"}}" -n $i; done

kubectl rollout restart deployment -n abbyy-infrastructure $(kubectl get deployment -n abbyy-infrastructure -o custom-columns=NAME:metadata.name --no-headers 2>/dev/null | grep ingress-nginx-controller)

​Einrichten einer Verbindung zu einem freigegebenen Ordner

​Einrichten einer Datenbankverbindung

​Referenz zu Datenbank-Services

​Plattform-Services

​Vantage-Services

​GPU einrichten

​Systemanforderungen für GPU

​Virtuelle GPU

​GPU-Passthrough

​Testen und Bereitstellen von GPUs

​Einrichten eines Inaktivitäts-Timeouts für die Manuelle Überprüfung

​Aktualisieren des SSL-Zertifikats

​Verwenden von Lens

​Über die Linux-Befehlszeile

Einrichten einer Verbindung zu einem freigegebenen Ordner

Einrichten einer Datenbankverbindung

Referenz zu Datenbank-Services

Plattform-Services

Vantage-Services

GPU einrichten

Systemanforderungen für GPU

Virtuelle GPU

GPU-Passthrough

Testen und Bereitstellen von GPUs

Einrichten eines Inaktivitäts-Timeouts für die Manuelle Überprüfung

Aktualisieren des SSL-Zertifikats

Verwenden von Lens

Über die Linux-Befehlszeile