Performance-Leitfaden - ABBYY Documentation

Einführung

Bei der Installation von ABBYY Vantage hängt die Anzahl der Services und Worker von der Auslastung ab. ABBYY Vantage skaliert die Services und Worker automatisch, um die Dokumentverarbeitung zu optimieren. Dieser Leitfaden enthält Informationen darüber, welche Ressourcen ABBYY Vantage je nach Auslastung benötigt, sowie Empfehlungen für den Systemadministrator, wie diese Ressourcen ABBYY Vantage korrekt bereitgestellt werden.

Referenzkonfigurationen

Der Ressourcenverbrauch hängt von Ihrem Dokumentverarbeitungsszenario ab: von der Art der verarbeiteten Dokumente, dem verwendeten Skill und der Seitenauslastung (also der Anzahl der Seiten, die innerhalb eines bestimmten Zeitraums verarbeitet werden). Die Referenzkonfiguration Hochverfügbar wurde beim Verarbeiten von 3-seitigen und 50-seitigen Rechnungen mit dem Standard-Process-Skill bei den folgenden Auslastungen getestet:

50.000 Seiten pro 8 Stunden
100.000 Seiten pro 8 Stunden
150.000 Seiten pro 8 Stunden
200.000 Seiten pro 8 Stunden

Die Referenzkonfiguration Ohne Hochverfügbarkeit wurde beim Verarbeiten von 3-seitigen Rechnungen mit dem Standard-Process-Skill bei den folgenden Auslastungen getestet:

10.000 Seiten pro 8 Stunden
30.000 Seiten pro 8 Stunden
50.000 Seiten pro 8 Stunden

Die Konfiguration Ohne Hochverfügbarkeit unterstützt nicht das Training von Skills mit der Deep-Learning-Aktivität.

Während der Tests der Referenzkonfigurationen wurden Dateien über die REST API an das System übergeben. Verwendet wurde der Standard-Process-Skill mit dem folgenden Workflow:

Dateien importieren.
Dokumente erkennen.
Dokumente klassifizieren und Dokumenttypen bestimmen.
Daten aus Dokumenten extrahieren.
Daten in JSON exportieren.

Knotentypen

Knotentyp	CPU-Kerne (für jeden Knoten)	RAM, GB (für jeden Knoten)	Festplattengröße, GB
Serviceknoten	12	48	120*
Worker-Knoten	12	48	120

*Die oben aufgeführten Anforderungen an die Festplattengröße sind Mindestanforderungen; es kann also zusätzlicher Festplattenspeicher erforderlich sein. Standardmäßig installiert Vantage NFS-Dateispeicher auf virtuellen Maschinen. In diesem Fall benötigen virtuelle Maschinen, die als erster Serviceknoten verwendet werden, abhängig von der Auslastung zusätzlichen Festplattenspeicher.

Speicheranforderungen

Konfiguration	Speicher	Speicherort	Festplattengröße, GB
Ohne Hochverfügbarkeit	Internes NFS	Serviceknoten	500 (für die Verarbeitung von jeweils 10.000 Seiten in 8 Stunden)
Ohne Hochverfügbarkeit	Externes NFS	NFS-Server	500 (für die Verarbeitung von jeweils 10.000 Seiten in 8 Stunden)
Hochverfügbar	Externes NFS	NFS-Server	50 (für die Verarbeitung von jeweils 10.000 Seiten in 8 Stunden)
Hochverfügbar	Lokales persistentes Volume	Erster Serviceknoten (aus der Inventardatei)	500 (für die Verarbeitung von jeweils 10.000 Seiten in 8 Stunden)

Möglicherweise benötigen Sie zusätzlichen Speicher, wenn Sie große Datenkataloge verwenden, Skills mit vielen Aktivitäten einsetzen oder Daten in freigegebene Ordner exportieren.

Wir empfehlen die Verwendung von externem Speicher, wenn die Last mehr als 10.000 Seiten in 8 Stunden beträgt.

Leistungsergebnisse

Je nach Seitenauslastung benötigte ABBYY Vantage die folgenden Ressourcen, um Dokumente in den einzelnen Konfigurationen effizient zu verarbeiten:

Hochverfügbare Konfiguration

Auslastung (Seiten/8 Stunden)	Knoten für Services (3-seitige Rechnungen)	Knoten für Services (50-seitige Rechnungen)	Knoten für Worker (3-seitige Rechnungen)	Knoten für Worker (50-seitige Rechnungen)
50,000	4	4	4	4
100,000	4	4	5	7
150,000	4	4	7	9
200,000	4	4	8	11

Während der Tests wurden auch Statistiken zu den E/A-Vorgängen der für den blob-Speicher verwendeten Festplatte erfasst. Sie können davon ausgehen, dass die Werte in Ihrem Fall diese Zahlen nicht überschreiten:

Festplatten-E/A-Operationen

Last (Seiten/8 Stunden)	Festplatten-E/A-Operationen/Sekunde (3-seitige Rechnungen)	Festplatten-E/A-Operationen/Sekunde (50-seitige Rechnungen)
50,000	100	50
100,000	250	100
150,000	400	170
200,000	600	230

Konfiguration ohne Hochverfügbarkeit

Last (Seiten/8 Stunden)	Knoten für Services	Knoten für Worker
10,000	1	1*
30,000	1	3
50,000	1	3

*Die Konfiguration mit einem Worker-Knoten ist nur für Testzwecke vorgesehen und unterstützt nicht das Trainieren von Skills mit Aktivitäten.

Bei der Skalierung von ABBYY Vantage wurde keine Zunahme der Dokumentverarbeitungszeit festgestellt.

Verwalten von Knoten

Der Systemadministrator kann dem Cluster zusätzliche Worker-Knoten hinzufügen, um eine höhere Last zu bewältigen. Weitere Informationen zur Vorbereitung eines Knotens finden Sie unter Systemanforderungen.

Hinzufügen eines Worker-Knotens

Gehen Sie wie folgt vor, um einen Worker-Knoten hinzuzufügen:

Öffnen Sie eine inventory file im Installationsverzeichnis.
Fügen Sie im Abschnitt [abbyy_workers] einen weiteren Node hinzu, indem Sie seinen Namen und seine IP-Adresse angeben.
Führen Sie das Installationsprogramm aus:

docker run -it \
-v $PWD/kube:/root/.kube \
-v $PWD/ssh/ansible:/root/.ssh/ansible \
-v "//var/run/docker.sock:/var/run/docker.sock" \
-v $PWD/inventory:/ansible/inventories/k8s/inventory \
-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
--privileged \
registry.local/vantage/vantage-k8s:2.7.1

Führen Sie das folgende Playbook aus:

ansible-playbook -i inventories/k8s -v playbooks/4-Kubernetes-k8s.yml

​Einführung

​Referenzkonfigurationen

​Knotentypen

​Speicheranforderungen

​Leistungsergebnisse

​Hochverfügbare Konfiguration

​Festplatten-E/A-Operationen

​Konfiguration ohne Hochverfügbarkeit

​Verwalten von Knoten

​Hinzufügen eines Worker-Knotens

Einführung

Referenzkonfigurationen

Knotentypen

Speicheranforderungen

Leistungsergebnisse

Hochverfügbare Konfiguration

Festplatten-E/A-Operationen

Konfiguration ohne Hochverfügbarkeit

Verwalten von Knoten

Hinzufügen eines Worker-Knotens