Installation - ABBYY Documentation

Vantage 3.0 remplace ce modèle de déploiement. Vantage 2.7 et les versions antérieures nécessitaient l’infrastructure spécifiée par ABBYY, créée à l’aide des scripts Ansible et Azure CLI fournis par ABBYY. Ce modèle n’est pas pris en charge dans la version 3.0 : vous provisionnez votre propre infrastructure, et ABBYY ne fournit pas de scripts de provisionnement ni d’autre outil d’automatisation de l’infrastructure. Cette page s’applique uniquement à Vantage 2.7. Voir la Vue d’ensemble de Vantage 3.0 et Migrer depuis Vantage 2.7.

Vue d’ensemble de l’installation

Pour installer Vantage, suivez ces étapes :

Préparez les ressources.
Indiquez les identifiants des ressources.
Exécutez les scripts d’installation.

Préparation des ressources

Machines virtuelles
Azure AKS

Avant de commencer, assurez-vous que toutes les exigences indiquées dans la section Exigences système sont respectées.

Définition des identifiants de ressource

Avant d’exécuter le programme d’installation :

Configurez les fichiers de configuration.
Préparez les certificats.
Téléchargez les images de conteneurs.

Préparation des fichiers de configuration

1. Créez le répertoire d’installation : Créez un répertoire d’installation et ses sous-répertoires (ssh, kube, ssl), à partir desquels l’installation sera réalisée. Accédez ensuite au répertoire d’installation.

mkdir -p /opt/vantage-install/{ssh,kube,ssl} && cd /opt/vantage-install

Machines virtuelles
Azure AKS

2. Créez le fichier de clé SSH :Créez un fichier nommé ansible dans le dossier ssh, puis placez-y la clé SSH privée de l’utilisateur ansible.3. Créez le fichier inventory :Créez un fichier inventory dans le répertoire d’installation. Remplacez X.X.X.X par les adresses IP de vos machines virtuelles :

[localhost]
127.0.0.1

###########################################
[kube_control_plane]
ub01master01 ansible_host=X.X.X.X

[abbyy_services]
ub01worker12-48-s01 ansible_host=X.X.X.X

[abbyy_workers]
ub01worker12-48-w01 ansible_host=X.X.X.X
ub01worker12-48-w02 ansible_host=X.X.X.X
ub01worker12-48-w03 ansible_host=X.X.X.X

###########################################
[kube_workers:children]
abbyy_services
abbyy_workers

[kube_cluster:children]
kube_control_plane
kube_workers

Si vous n’avez besoin que de 1 ou 2 machines pour les workers au lieu de 3, supprimez les lignes en trop dans la section [abbyy_workers].

4. Créez le fichier env_specific.yml : Renseignez vos propres valeurs.

Machines virtuelles
Azure AKS

env: null
poc: true

domain: null
product_host: "{{ env }}.{{ domain }}"

logging:
  enabled: true
  elasticsearch:
    enabled: false
    host: null
    port: 9200
    username: null
    password: null
    scheme: https
  file:
    enabled: true

loadbalancer:
  external_ip: X.X.X.X

k8s:
  api:
    ip: X.X.X.X

techcore:
  use_gpu_workers: false
  use_nn_extraction_training_workers: false

platform_admin_email: admin@yourdomain.tld

source_container_registry_host: abyvtgonprm27.azurecr.io
source_container_registry_user: null      # remplacez par les identifiants obtenus lors de l’achat
source_container_registry_password: null  # remplacez par les identifiants obtenus lors de l’achat
source_container_registry_name: "{{ source_container_registry_host }}"

container_registry_host: registry.yourdomain.tld
container_registry_user: null
container_registry_password: null
container_registry_name: "{{ container_registry_host }}/vantage"

smtp:
  host: null
  login: null
  password: null
  port: 587
  useSSL: false
  secureSocketOptions: null

database:
  host: X.X.X.X
  port: 1433
  username: null
  password: null

reporting:
  enabled: false

id_reading:
  enabled: false

env: vantage
poc: false  # Définissez cette valeur sur true pour la configuration sans haute disponibilité

domain: yourdomain.tld
product_host: "vantage.{{ domain }}"

loadbalancer:
  external_ip: X.X.X.X  # adresse IP publique Azure

container_registry_host: "registry.yourdomain.tld"
container_registry_user: "service"
container_registry_password: "password"
container_registry_name: "{{ container_registry_host }}/vantage"

techcore:
  use_gpu_workers: false
  use_nn_extraction_training_workers: false

logging:
  enabled: true
  elasticsearch:
    enabled: false
    host: null
    port: 9200
    username: null
    password: null
    scheme: https
    ilm:
      create: false
  file:
    enabled: true

platform_admin_email: admin@yourdomain.tld

# Configuration de la messagerie : utilisez soit SendGrid, soit SMTP
sendgrid:
  enabled: false
  apiKey: ""

smtp:
  host: X.X.X.X
  login: null
  password: ""
  port: 587
  useSSL: false

mailFrom: noreply@yourdomain.tld

# Configuration de la base de données Azure SQL
database:
  type: sqlserver
  host: X.X.X.X  # nom d’hôte du serveur Azure SQL
  username: login
  password: password
  encrypt: false

# Comptes de stockage Azure : remplacez par les identifiants de votre compte de stockage
s3storage:
  skills:
    accessKey: skills_storage_account_name
    secretKey: skills_storage_account_key
  processing:
    accessKey: processing_storage_account_name
    secretKey: processing_storage_account_key
  temporary:
    accessKey: temporary_storage_account_name
    secretKey: temporary_storage_account_key
  sharedfolder:
    accessKey: sharedfolder_storage_account_name
    secretKey: sharedfolder_storage_account_key
    resourcegroup: your_resource_group
  archive:
    accessKey: archive_storage_account_name
    secretKey: archive_storage_account_key

# Configuration du cluster Redis (obligatoire uniquement pour la haute disponibilité)
# Laissez des tableaux vides pour la configuration sans haute disponibilité
redis:
  ips: ['172.16.10.101', '172.16.10.102', '172.16.10.103', '172.16.10.104', '172.16.10.105', '172.16.10.106']
  port: 6379
  password: redispassword
  ssl: false

reporting:
  enabled: false

id_reading:
  enabled: false

k8s_fips_enabled: false

Pour la section s3storage, accessKey correspond au nom du compte de stockage Azure et secretKey à la clé d’accès du compte de stockage. Vous pouvez les récupérer depuis le portail Azure ou à l’aide d’Azure CLI.

Paramètres de configuration

Paramètre	Description
`env`	Préfixe d’installation, utilisé par défaut comme nom de sous-domaine.
`poc`	`true` pour sans haute disponibilité, `false` pour haute disponibilité.
`domain`	Domaine principal.
`product_host`	Nom DNS pour l’accès au produit (par défaut : `env.domain`).
`logging.enabled`	Active/désactive la journalisation (`true`/`false`).
`logging.elasticsearch.enabled`	Indique si Elasticsearch doit être activé. Ce paramètre peut être défini sur true ou false. Remarque : définissez la valeur du paramètre sur true uniquement si vous disposez déjà d’Elasticsearch et souhaitez y connecter les journaux de Vantage. Si vous ne disposez pas encore d’instances Elasticsearch et Kibana, vous pouvez les déployer dans un cluster en suivant les instructions de la section Elasticsearch and Kibana. Cela doit être fait avant l’installation du produit.
`logging.elasticsearch.host`	Adresse IP du serveur.
`logging.elasticsearch.port`	Port utilisé pour se connecter à Elasticsearch.
`logging.elasticsearch.username`	Nom d’utilisateur utilisé pour se connecter à Elasticsearch.
`logging.elasticsearch.password`	Mot de passe utilisé pour se connecter à Elasticsearch.
`logging.elasticsearch.scheme`	Schéma de protocole utilisé pour se connecter à Elasticsearch.
`logging.file.enabled`	Indique si les journaux doivent être écrits dans des fichiers. Ce paramètre peut être défini sur true ou false.
`loadbalancer.external_ip`	Adresse IP flottante de l’équilibreur de charge.
`k8s.api.ip`	Adresse IP du point de terminaison de l’API Kubernetes.
`securityContext.global.runAsUser`	Indique l’identifiant de l’utilisateur sous lequel le processus du conteneur doit s’exécuter. Ce paramètre s’applique uniquement aux pods qui fonctionnent avec des stockages rwx externes (tels que NFS). Par défaut, le paramètre est défini sur 65532.
`securityContext.global.runAsGroup`	Indique l’identifiant du groupe sous lequel le processus du conteneur doit s’exécuter. Ce paramètre s’applique uniquement aux pods qui fonctionnent avec des stockages rwx externes (tels que NFS). Par défaut, le paramètre est défini sur 65532.
`securityContext.global.fsGroup`	Indique l’identifiant du groupe auquel appartiendront les volumes attachés au pod. Ce paramètre s’applique uniquement aux pods qui fonctionnent avec des stockages rwx externes (tels que NFS). Par défaut, le paramètre est défini sur 65532.
`techcore.nn_training_workers.gpu`	Indique si les workers GPU doivent être déployés. Les workers GPU sont utilisés pour l’entraînement des compétences avec l’activité Deep Learning afin d’extraire des données à partir de documents semi-structurés. Ce paramètre peut être défini sur true ou false. Si le paramètre est défini sur true, le paramètre `techcore.nn_training_workers.enabled` doit également être défini sur true. Vous pouvez déployer cette option et définir les paramètres `techcore.nn_training_workers.gpu` et `techcore.nn_training_workers.enabled` sur true avant ou après l’installation de Vantage. Pour plus d’informations, voir Configuration du GPU.
`techcore.nn_training_workers.enabled`	Indique si les workers nn-extraction-training et nlp-model-train doivent être déployés. Ces workers sont utilisés pour l’entraînement des compétences avec l’activité Deep Learning afin d’extraire des données de documents semi-structurés à l’aide du CPU. Ce paramètre peut être défini sur true ou false.
`techcore.keep_previous_version`	Indique si la version 2 de Technology Core doit être conservée lors de la mise à jour de Vantage. Par défaut, le paramètre `techcore.keep_previous_version` n’est pas spécifié et la version 2 de Technology Core est supprimée. Pour la conserver, définissez la valeur du paramètre sur true.
`platform_admin_email`	Adresse e-mail de l’administrateur système.
`container_registry_host`	Nom de domaine du registre de conteneurs.
`container_registry_user`	Nom de l’utilisateur disposant des permissions nécessaires pour télécharger des images depuis le registre de conteneurs. Ce paramètre reste vide s’il n’y a pas de registre de conteneurs.
`container_registry_password`	Mot de passe/token permettant de télécharger des images depuis le registre de conteneurs. Ce paramètre reste vide s’il n’y a pas de registre de conteneurs.
`container_registry_name`	Répertoire du registre de conteneurs dans lequel les images sont hébergées.
`smtp.host`	Adresse IP ou nom d’hôte du serveur SMTP.
`smtp.login`	Nom d’utilisateur utilisé pour se connecter au serveur SMTP.
`smtp.password`	Mot de passe utilisé pour se connecter au serveur SMTP.
`smtp.port`	Port du serveur SMTP.
`smtp.useSSL`	Indique si une connexion chiffrée doit être utilisée. Ce paramètre peut être défini sur true ou false.
`smtp.secureSocketOptions`	Spécifie le chiffrement SSL et/ou TLS à utiliser pour la connexion.
`database.enabled`	Indique si le serveur de base de données doit être activé.
`database.host`	Adresse IP du SQL Server.
`database.port`	Port du serveur de base de données.
`database.username`	Nom d’utilisateur utilisé pour se connecter à la base de données (l’utilisateur doit disposer des privilèges nécessaires pour créer des bases de données).
`database.password`	Mot de passe utilisé pour accéder à la base de données.
`reporting.enabled`	Indique si le service de reporting Warehouse doit être déployé. Ce paramètre peut être défini sur true ou false.
`id_reading.enabled`	Indique si le module complémentaire de documents d’identité doit être déployé. Ce paramètre peut être défini sur true ou false.

Les quatre paramètres suivants sont facultatifs et ne sont requis que si la configuration haute disponibilité est en cours d’installation et si l’installation de Redis est requise par le programme d’installation de Vantage.

Parameter	Description
`redis.ips`	L’adresse IP du cluster Redis au format suivant : [‘192.168.0.1”192.168.0.2’,,‘192.168.0.3’]. Si le paramètre est défini sur [], une instance Redis dans le cluster sera déployée.
redis.port	Le port utilisé pour se connecter au cluster Redis.
`redis.password`	Le mot de passe utilisé pour se connecter à Redis.
`redis.ssl`	Indique si une connexion chiffrée au cluster Redis doit être utilisée. Ce paramètre peut être défini sur true ou false.

Tous les autres paramètres restent inchangés.

Préparation des certificats

Accédez au répertoire ssl. Placez dans ce répertoire le certificat générique (ainsi que le certificat intermédiaire) correspondant au nom de domaine principal, et la clé (au format PEM) dans les fichiers suivants, respectivement :./ssl/cert.pem ,./ssl/key.pem. Vous devez convertir votre fichier CRT au format PEM en modifiant son contenu selon le format suivant :

-----BEGIN CERTIFICATE-----
[your certificate]
-----END CERTIFICATE-----

Si vous utilisez un fournisseur d’authentification externe (ADFS) avec un certificat signé par une AC interne, placez le certificat racine dans ./ssl/adfs-root.pem.

Si vous accédez à des points de terminaison tiers depuis Vantage (scripts d’activité personnalisée ou authentification externe), le point de terminaison externe doit disposer d’un certificat émis par une autorité publique.

Exécution des scripts d’installation

L’installation d’ABBYY Vantage est automatique. Elle s’effectue à l’aide de l’outil Ansible, installé et configuré dans le conteneur utilisé pour l’installation. Ansible interagit avec les machines au moyen de différents scénarios de configuration (playbooks YAML). Pour installer ABBYY Vantage, suivez les étapes suivantes : 1. Accédez au répertoire d’installation. 2. Connectez-vous au registre de distribution du programme d’installation

# remplacer <username> et <password> par les identifiants obtenus lors de l'achat
docker login abyvtgonprm27.azurecr.io -u <username> -p <password>

3. Exécutez le programme d’installation à partir d’une image Docker si ce n’est pas déjà fait :

Machines virtuelles
Azure AKS

docker run -it \
-v $PWD/kube:/home/ansible/.kube \
-v $PWD/ssh/ansible:/home/ansible/.ssh/ansible \
-v "//var/run/docker.sock:/var/run/docker.sock" \
-v $PWD/inventory:/ansible/inventories/k8s/inventory \
-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
--privileged \
abyvtgonprm27.azurecr.io/vantage-installer:2.7.1

Paramètre	Description
`-v $PWD/kube:/home/ansible/.kube`	Chemin du répertoire Kubernetes dans lequel le fichier kube/config est stocké.
`-v $PWD/ssh/ansible:/home/ansible/.ssh/ansible`	Chemin de la clé SSH privée requise pour installer et configurer le cluster Kubernetes, ainsi que certains prérequis.
`-v "//var/run/docker.sock:/var/run/docker.sock"`	Obligatoire pour synchroniser les images avec votre registre de conteneurs.
`-v $PWD/inventory:/ansible/inventories/k8s/inventory`	Chemin du fichier inventory.
`-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml`	Chemin du fichier env_specific.yml.
`-v $PWD/ssl:/ansible/files/ssl:ro`	Chemin du dossier contenant les certificats SSL. Il doit contenir les fichiers suivants : cert.pem, key.pem, adfsroot.pem.

docker run -it \
-v $PWD/env_specific.yml:/ansible/inventories/azure/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
abyvtgonprm27.azurecr.io/vantage-installer:2.7.1

Paramètre	Description
`-v $PWD/env_specific.yml:/ansible/inventories/azure/group_vars/all/env_specific.yml`	Chemin du fichier env_specific.yml.
`-v $PWD/ssl:/ansible/files/ssl:ro`	Chemin du dossier contenant les certificats SSL. Il doit contenir les fichiers suivants : cert.pem, key.pem, adfsroot.pem.

4. Connectez-vous au cluster AKS Azure :

Machines virtuelles
Azure AKS

Ignorez cette étape pour les déploiements sur machine virtuelle : les identifiants du cluster sont configurés automatiquement lors de l’installation de Kubernetes à l’étape 7.

Une fois le conteneur Docker démarré, authentifiez-vous auprès d’Azure et connectez-vous à votre cluster AKS :

# Se connecter à Azure
az login

# Définir l’abonnement (remplacez par votre ID d’abonnement)
az account set --subscription <subscription_id>

# Récupérer les identifiants du cluster AKS (remplacez par votre groupe de ressources et le nom du cluster)
az aks get-credentials --resource-group <resource_group_name> --name <cluster_name>

# Vérifier la connectivité du cluster
kubectl cluster-info

5. Téléchargez les images de conteneurs Les scripts de migration s’appuient sur les propriétés suivantes dans env_specific.yml

source_container_registry_host: sourcerepo.azurecr.io
source_container_registry_user: user
source_container_registry_password: pass
source_container_registry_name: "{{ source_container_registry_host }}/optional/subpath"

container_registry_host: destinationrepo.azurecr.io
container_registry_user: user
container_registry_password: pass
container_registry_name: "{{ container_registry_host }}/optional/subpath"

Machines virtuelles
Azure AKS

ansible-playbook -i inventories/k8s playbooks/validate-artifact-manifest.yml
ansible-playbook -i inventories/k8s playbooks/oci-migration.yml

ansible-playbook -i inventories/azure playbooks/validate-artifact-manifest.yml
ansible-playbook -i inventories/azure playbooks/oci-migration.yml

Machines virtuelles
Azure AKS

6. Définissez les permissions de la clé SSH :

chmod 600 /home/ansible/.ssh/ansible

7. Installez et configurez le cluster Kubernetes :

ansible-playbook -i inventories/k8s -v playbooks/4-Kubernetes-k8s.yml

8. Exécutez les vérifications préalables au déploiement et acceptez les documents juridiques :

Machines virtuelles
Azure AKS

ansible-playbook -i inventories/k8s -v playbooks/0-PreflightCheck-k8s.yml
ansible-playbook -i inventories/k8s -v playbooks/legal.yml

ansible-playbook -i inventories/azure playbooks/0-PreflightCheck-azure.yml
ansible-playbook -i inventories/azure playbooks/legal.yml

Le playbook va :

Effectuer une vérification préliminaire des ressources dont les paramètres sont spécifiés dans le fichier env_specific.yml du playbook (par exemple la base de données et la connexion SMTP).
Demander à l’administrateur du système d’accepter les termes de l’EULA et de la Politique de confidentialité d’ABBYY.

9. Installez le produit :

Machines virtuelles
Azure AKS

ansible-playbook -i inventories/k8s -v playbooks/site-k8s-deploy.yml

ansible-playbook -i inventories/azure playbooks/site-azure-deploy.yml

Le playbook déploiera le système de collecte des métriques et des logs, ainsi qu’ABBYY Vantage. Le temps nécessaire pour terminer l’installation dépend des performances des machines sélectionnées. En moyenne, l’opération prend environ 10 minutes. Vous pouvez surveiller les pods et l’exécution du job dans un cluster à l’aide de n’importe quel outil de gestion Kubernetes, par exemple l’utilitaire Lens. Pour ce faire, utilisez le fichier kubeconfig qui sera créé dans le dossier kube après l’installation de Kubernetes sur les machines virtuelles. Vous pouvez également télécharger les fichiers journaux d’installation Ansible sur votre machine locale en suivant les étapes ci-dessous :

Déconnectez-vous du conteneur Docker.
Exécutez la commande suivante pour obtenir la liste des conteneurs :

docker ps -a

Repérez le nom du conteneur contenant le programme d’installation.

Exécutez la commande suivante en remplaçant container_name par le nom du conteneur afin d’obtenir les logs :

docker cp container_name:/ansible/ansible.log ansible.log

Une fois le déploiement terminé, les éléments suivants vous seront fournis :

URL du nom de domaine fourni.
login et mot de passe du System Administrator, qui permettent de vous connecter, de créer des tenants et de traiter des documents.

Récupération des journaux d’installation

# Quittez le conteneur Docker, puis :
docker ps -a
# Trouvez le nom du container, puis :
docker cp container_name:/ansible/ansible.log ansible.log

Déploiements optionnels

Déploiement du système de journalisation

Si le système de journalisation n’a pas été activé dans Vantage (si la valeur du paramètre logging.enabled dans le fichier env_specific.yml était définie sur false) lors de l’installation, vous pouvez l’activer après avoir installé Vantage. Pour cela, définissez la valeur du paramètre logging.enabled dans le fichier env_specific.yml sur true, puis exécutez la commande suivante :

Machines virtuelles
Azure AKS

ansible-playbook -i inventories/k8s playbooks/6-DeployMonitoring-k8s.yml

ansible-playbook -i inventories/azure playbooks/6-DeployMonitoring-azure.yml

Déploiement de l’entrepôt de données de Rapport sur le traitement métier

L’entrepôt de données de Rapport sur le traitement métier sert à analyser les processus métier et à suivre les données sur des périodes données. Lors de l’installation de Vantage, l’entrepôt de données de Rapport sur le traitement métier est également installé si la valeur du paramètre reporting.enabled dans le fichier env_specific.yml est définie sur true. Si la valeur du paramètre reporting.enabled est définie sur false, vous pouvez installer l’entrepôt de données de Rapport sur le traitement métier après l’installation de Vantage en exécutant la commande suivante :

Machines virtuelles
Azure AKS

ansible-playbook -i inventories/k8s -v playbooks/deploy-reporting.yml

ansible-playbook -i inventories/azure -v playbooks/deploy-reporting.yml

Après l’installation, vous devez redémarrer les pods de la Public API pour que l’URL de reporting correcte soit chargée.

Déploiement du module complémentaire Identity Documents

Le module complémentaire Identity Documents nécessite que Vantage puisse accéder à Internet pour joindre https://lic.regulaforensics.com et https://lic2.regulaforensics.com.

Le service du module complémentaire Identity Documents permet d’exécuter le Skill Identity Documents, utilisé pour extraire des données à partir de documents d’identité émis dans différents pays. Lors de l’installation de Vantage, le module complémentaire Identity Documents sera également installé si la valeur du paramètre id_reading.enabled dans le fichier env_specific.yml a été définie sur true. Si la valeur du paramètre id_reading.enabled a été définie sur false, vous pouvez installer le module complémentaire Identity Documents après l’installation de Vantage en exécutant la commande suivante :

Machines virtuelles
Azure AKS

ansible-playbook -i inventories/k8s -v playbooks/12-DeployDocumentReader.yml

ansible-playbook -i inventories/azure -v playbooks/12-DeployDocumentReader.yml

Le cluster sur lequel Vantage est installé doit pouvoir accéder aux adresses suivantes : https://lic.regulaforensics.com https://lic2.regulaforensics.com

​Vue d’ensemble de l’installation

​Préparation des ressources

​Définition des identifiants de ressource

​Préparation des fichiers de configuration

​Paramètres de configuration

​Préparation des certificats

​Exécution des scripts d’installation

​Récupération des journaux d’installation

​Déploiements optionnels

​Déploiement du système de journalisation

​Déploiement de l’entrepôt de données de Rapport sur le traitement métier

​Déploiement du module complémentaire Identity Documents

Vue d’ensemble de l’installation

Préparation des ressources

Définition des identifiants de ressource

Préparation des fichiers de configuration

Paramètres de configuration

Préparation des certificats

Exécution des scripts d’installation

Récupération des journaux d’installation

Déploiements optionnels

Déploiement du système de journalisation

Déploiement de l’entrepôt de données de Rapport sur le traitement métier

Déploiement du module complémentaire Identity Documents