Configuration - ABBYY Documentation

Configuration d’une connexion à un dossier partagé

ABBYY Vantage vous permet d’utiliser des dossiers partagés hébergés sur le serveur Vantage pour importer et exporter des documents et des Skills, ainsi que pour mettre à jour des catalogues de données. Avant de pouvoir utiliser des dossiers partagés (partage NFS), vous devez configurer une connexion à ces dossiers partagés sur un ordinateur client. Effectuez les étapes suivantes sur un ordinateur client sous Windows :

Exécutez Windows PowerShell en tant qu’Administrateur.
Installez le client NFS de Windows :

dism /online /Enable-Feature /FeatureName:ServicesForNFS-ClientOnly
dism /online /Enable-Feature /FeatureName:ClientForNFS-Infrastructure

Configurez la mise en correspondance des utilisateurs Windows avec les UID et GID Unix selon les règles de votre entreprise :

New-ItemProperty -Path "HKLM:\Software\Microsoft\ClientForNFS\CurrentVersion\Default" -Name "AnonymousGid" -Value 65532 -PropertyType DWord
New-ItemProperty -Path "HKLM:\Software\Microsoft\ClientForNFS\CurrentVersion\Default" -Name "AnonymousUid" -Value 65532 -PropertyType DWord

Redémarrer le client NFS :

nfsadmin client stop
nfsadmin client start

Une fois les étapes ci-dessus terminées, vous pourrez copier et utiliser les chemins d’accès des dossiers partagés dans Vantage, ainsi que les ouvrir dans l’Explorateur de fichiers.

Configurer une connexion à une base de données

ABBYY Vantage utilise des bases de données hébergées sur des serveurs externes et peut cesser de fonctionner si ces serveurs tombent en panne. L’administrateur système peut restaurer ces bases de données sur un autre serveur et configurer une connexion aux nouvelles bases de données à l’aide de Consul.

Avant de commencer, assurez-vous que l’outil en ligne de commande kubectl est installé et qu’une connexion au cluster Kubernetes a été établie.

Pour configurer une connexion à une nouvelle base de données dans les paramètres d’ABBYY Vantage :

Accédez à l’interface Web de Consul en exécutant la commande ci-dessous :

kubectl port-forward -n abbyy-infrastructure service/consul-ui 8500:80

Ensuite, accédez à http://localhost:8500/ui/dc1/kv/secret/.

Utilisez l’onglet Key/Value qui s’ouvre pour sélectionner l’environnement Vantage approprié.
Sélectionnez le projet platform ou vantage, ainsi que le service approprié qui utilise la base de données (par exemple, mail).

Liste des services platform de Consul montrant les services disponibles

Accédez à la section database présente dans chaque service.

Onglet Key/Value de Consul montrant la sélection de l’environnement Vantage

Ouvrez la section SqlServer.

Section database de Consul montrant la configuration SqlServer

Dans la clé connectionString :
- Remplacez l’ancienne valeur de Server par l’adresse du nouveau serveur
- Indiquez la nouvelle base de données dans le paramètre Database
- Indiquez les identifiants de connexion dans les paramètres User Id et Password

Éditeur de la valeur connectionString dans Consul

Cliquez sur Save.
Redémarrez le service modifié en exécutant la commande suivante :

label=mail
kubectl -n abbyy-vantage rollout restart $(kubectl -n abbyy-vantage get deployments -l app.kubernetes.io/component=$label -o name)

Lorsque l’adresse d’un serveur change, cette procédure doit être réalisée pour chaque base de données.

Référence des services de base de données

Vous trouverez ci-dessous un tableau répertoriant tous les services qui utilisent la base de données, ainsi que l’intitulé permettant de redémarrer chacun d’eux.

Services de la plateforme

Nom de section Consul	Libellé de service	Remarques
api-gateway-registry	api-gateway-registry
api-registry	api-registry
auth-adminapi2	auth-adminapi2
auth-identity	auth-identity
auth	auth-sts-identity, auth-adminapi2	Cette base de données est utilisée par deux services
blob-storage	blob-storage
cron-service	cron-service
documentsetstorage	documentsetstorage
mail	mail
security-audit	security-audit
storage	storage	La section de la base de données est stockée dans le catalogue fileMetadata
workflow-facade	workflow-facade
workflow-scheduler	workflow-scheduler

Services Vantage

Nom de la section Consul	Libellé de service
catalogstorage	catalogstorage
folderimport	folderimport
interactive-jobs	interactive-jobs
mailimport	mailimport
permissions	permissions
publicapi	publicapi
reporting	reporting
secretstorage	secretstorage
skill-monitor	skill-monitor
skillinfo	skillinfo
subscriptions	subscriptions
tokenmanagement	tokenmanagement
transactions	transactions
workspace	workspace

Configurer le GPU

Vantage vous permet d’utiliser le GPU pour entraîner des Skills avec l’activité Deep Learning afin d’extraire des données à partir de documents semi-structurés.

Exigences système pour les GPU

RAM minimale du GPU virtuel : 12 GB
1 CPU et 4 GB de RAM pour chaque GPU virtuel sur l’hôte (p. ex., une VM avec un seul GPU virtuel de 12 GB doit disposer d’au moins 2 CPU et de 8 GB de RAM)

GPU virtuel

Vous pouvez utiliser un GPU virtuel (vGPU) pour partitionner un GPU physique entre plusieurs machines virtuelles, ce qui permet d’utiliser plus efficacement les ressources Vantage. Pour configurer un vGPU :

Copiez le package du pilote nVidia GRID depuis le hub d’applications nVidia vers une machine virtuelle équipée d’un GPU, puis exécutez les commandes suivantes :

apt-get update
apt-get install dkms
dpkg -i nvidia-linux-grid-535_535.54.03_amd64.deb

Installez le GPU Operator nVidia sur le cluster Kubernetes : a. Placez le fichier de jeton de licence (généré dans le hub d’applications nVidia) dans le dossier $PWD/gpu/ avant d’exécuter le conteneur d’installation de Vantage. b. Ajoutez le paramètre -v $PWD/gpu:/ansible/files/gpu:ro à la commande qui exécute le conteneur d’installation de Vantage :

docker run -it \
-v $PWD/kube:/root/.kube \
-v $PWD/ssh/ansible:/root/.ssh/ansible \
-v "//var/run/docker.sock:/var/run/docker.sock" \
-v $PWD/inventory:/ansible/inventories/k8s/inventory \
-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
-v $PWD/gpu:/ansible/files/gpu:ro \
--privileged \
registry.local/vantage/vantage-k8s:2.7.1

c. Ajoutez un nœud GPU au fichier d’inventaire, dans le groupe [abbyy_workers]. Le nom de la machine virtuelle avec le GPU doit contenir “gpu” :

[abbyy_workers]
worker16-48-w01 ansible_host=10.10.10.27
worker16-48-w02 ansible_host=10.10.10.21
worker16-48-w03 ansible_host=10.10.10.20
worker2-12-a40-gpu01 ansible_host=10.10.10.60

d. Ajoutez un nœud au cluster en exécutant le playbook suivant :

chmod 600 /root/.ssh/ansible
ansible-playbook -i inventories/k8s -v playbooks/4-Kubernetes-k8s.yml

Configurez le vGPU en exécutant le playbook suivant :

ansible-playbook -i inventories/k8s -v playbooks/setup-gpu-node.yml

Transfert direct du GPU

Vous pouvez configurer le transfert direct du GPU, qui permet à une machine virtuelle d’accéder directement à votre GPU. Pour configurer le transfert direct du GPU :

Exécutez le conteneur d’installation de Vantage :

docker run -it \
-v $PWD/kube:/root/.kube \
-v $PWD/ssh/ansible:/root/.ssh/ansible \
-v "//var/run/docker.sock:/var/run/docker.sock" \
-v $PWD/inventory:/ansible/inventories/k8s/inventory \
-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
--privileged \
registry.local/vantage/vantage-k8s:2.7.1

Ajoutez un nœud GPU (p. ex., worker2-12-a40-gpu01) au fichier d’inventaire, dans le groupe [abbyy_workers] :

[abbyy_workers]
worker16-48-w01 ansible_host=10.10.10.27
worker16-48-w02 ansible_host=10.10.10.21
worker16-48-w03 ansible_host=10.10.10.20
worker2-12-a40-gpu01 ansible_host=10.10.10.60

Exécutez le playbook :

ansible-playbook -i inventories/k8s -v playbooks/4-Kubernetes-k8s.yml

Installez le chart Helm du GPU operator :

helm upgrade --install gpu-operator ansible/files/helm/charts/gpu-operator --create-namespace --debug -n gpu-operator

Ajoutez un taint à un nœud :

kubectl taint nodes worker2-12-a40-gpu01 nvidia.com/gpu:NoSchedule

Test et déploiement du GPU

Pour tester l’installation de GPU Operator en modes vGPU et GPU passthrough :

Exécutez cette commande :

kubectl apply -f filename

Créez un fichier YAML avec le contenu suivant, puis appliquez-le :

apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
  namespace: gpu-operator
spec:
  restartPolicy: Never
  containers:
    - name: cuda-container
      image: nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda10.2
      resources:
        limits:
          nvidia.com/gpu: 1 # demande 1 GPU
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
    - key: k8s.abbyy.com/techcore
      effect: NoSchedule
      value: "true"

Consultez le log du pod. Vous devriez voir une réponse contenant Test PASSED :

kubectl -n gpu-operator logs gpu-pod

Résultat attendu :

[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done

Pour déployer le worker GPU :

Ajoutez les paramètres suivants au fichier env_specific.yml :

techcore:
  use_gpu_workers: true
  use_nn_extraction_training_workers: true

Effectuez l’une des opérations suivantes :
- Si Vantage est déjà installé, exécutez le playbook suivant pour déployer des workers GPU :

ansible-playbook -i inventories/k8s -v playbooks/11-DeployWorkers-k8s.yml

Si Vantage n’est pas encore installé, les workers GPU seront déployés lors de l’installation.

Configuration d’un délai d’inactivité pour la relecture manuelle

Lors de la relecture manuelle, si l’opérateur n’effectue aucune action pendant 15 minutes sur une tâche ouverte, un délai d’expiration est déclenché. L’Administrateur système peut modifier, à l’aide de Consul, la durée d’inactivité requise avant qu’un délai d’expiration ne soit déclenché. Pour configurer le délai d’expiration :

Accédez à l’interface web de Consul en exécutant :

kubectl port-forward -n abbyy-infrastructure service/consul-ui 8500:80

Accédez ensuite à http://localhost:8500/ui/dc1/kv/secret/.

Utilisez l’onglet Key/Value pour sélectionner l’environnement Vantage approprié.
Modifiez les valeurs des clés suivantes :

Clé	Description
`secret/abbyy-vantage/vantage/verification/interactiveJobsOptions/popTimeout`	Durée minimale d’inactivité d’un utilisateur avant qu’une tâche ne soit renvoyée dans la file d’attente des tâches interactives. Toute action interactive (mouvement de la souris, saisie au clavier, traitement d’un patch, etc.) réinitialise le compte à rebours. Par défaut : `00:15:00` (15 minutes)
`secret/abbyy-vantage/vantage/verification/interactiveJobsOptions/processingPopTimeout`	Durée minimale d’inactivité de l’utilisateur au-delà de laquelle la tâche est renvoyée dans la file d’attente en cas d’opérations de longue durée (application d’une compétence, passage d’une page à l’autre, etc.). Lorsqu’une opération de longue durée démarre, cette valeur est définie sur la période d’inactivité maximale autorisée. Lorsque l’opération se termine, la période d’inactivité est réinitialisée à la valeur `popTimeout`. Par défaut : `1.00:00:00` (24 heures)

Cliquez sur Save.
Redémarrez les services verification et manualverification :

kubectl -n abbyy-vantage rollout restart $(kubectl -n abbyy-vantage get deployments -l app.kubernetes.io/component=verification -o name)

kubectl -n abbyy-vantage rollout restart $(kubectl -n abbyy-vantage get deployments -l app.kubernetes.io/component=manualverification -o name)

Mise à jour du certificat SSL

Lorsque le certificat SSL arrive à expiration, vous devrez le remplacer par le nouveau certificat.

Utilisation de Lens

Accédez à Config > Secrets et recherchez tous les secrets nommés platform-wildcard.
Pour chaque secret, repérez la sous-section Data, cliquez sur l’icône Show, puis mettez les valeurs à jour :
- Saisissez la valeur du nouveau certificat dans le champ tls.crt
- Saisissez la valeur de sa clé dans le champ tls.key

Le certificat et la clé doivent être des fichiers PEM dont le contenu ASCII est encodé en base64 (PKCS#8). Ils doivent commencer par -----BEGIN CERTIFICATE----- pour le certificat et par -----BEGIN PRIVATE KEY----- pour la clé.

Cliquez sur Save.

Utilisation de la ligne de commande Linux

Assurez-vous d’avoir accès au cluster Kubernetes :

kubectl get nodes

Placez le certificat et la clé au format PEM dans le répertoire courant : cert.pem, key.pem.

Convertissez votre fichier CRT au format PEM si nécessaire :

-----BEGIN CERTIFICATE-----
[your certificate]
-----END CERTIFICATE-----

-----BEGIN PRIVATE KEY-----
[your key]
-----END PRIVATE KEY-----

Exécutez les commandes suivantes :

for i in `kubectl get secret --field-selector metadata.name=platform-wildcard -o custom-columns=:metadata.namespace -A --no-headers 2>/dev/null`; do kubectl patch secret platform-wildcard -p "{\"data\":{\"tls.key\":\"$(base64 < "./key.pem" | tr -d '\n')\", \"tls.crt\":\"$(base64 < "./cert.pem" | tr -d '\n')\"}}" -n $i; done

kubectl rollout restart deployment -n abbyy-infrastructure $(kubectl get deployment -n abbyy-infrastructure -o custom-columns=NAME:metadata.name --no-headers 2>/dev/null | grep ingress-nginx-controller)

​Configuration d’une connexion à un dossier partagé

​Configurer une connexion à une base de données

​Référence des services de base de données

​Services de la plateforme

​Services Vantage

​Configurer le GPU

​Exigences système pour les GPU

​GPU virtuel

​Transfert direct du GPU

​Test et déploiement du GPU

​Configuration d’un délai d’inactivité pour la relecture manuelle

​Mise à jour du certificat SSL

​Utilisation de Lens

​Utilisation de la ligne de commande Linux

Configuration d’une connexion à un dossier partagé

Configurer une connexion à une base de données

Référence des services de base de données

Services de la plateforme

Services Vantage

Configurer le GPU

Exigences système pour les GPU

GPU virtuel

Transfert direct du GPU

Test et déploiement du GPU

Configuration d’un délai d’inactivité pour la relecture manuelle

Mise à jour du certificat SSL

Utilisation de Lens

Utilisation de la ligne de commande Linux