Supervision et administration - ABBYY Documentation

En tant qu’administrateur système, vous devez surveiller ABBYY Vantage en permanence, le gérer, détecter les erreurs susceptibles de survenir pendant le traitement des documents et en identifier les causes. Vous pouvez surveiller ABBYY Vantage à l’aide des éléments suivants :

Fichiers journaux de Vantage
Le service Skill Monitor intégré, qui collecte des statistiques sur les Skills Vantage existants et fournit des informations détaillées sur les transactions terminées et en cours. Ce service vous permet également d’obtenir les informations sur les événements des transactions requises par le support technique.
Des services tiers qui vous permettent de surveiller les processus internes de Vantage, de suivre des workflows spécifiques, d’analyser les données collectées afin d’affiner et d’optimiser davantage le traitement des documents, ainsi que de collecter et d’analyser les journaux.

Lorsque vous contactez le support technique, en plus des informations sur les erreurs, vous pouvez également fournir la version du produit et de ses composants en procédant comme suit :

Cliquez sur Help dans le volet de gauche, puis sur About, et sélectionnez Version details.
Copiez les détails.

Comment accéder aux logs de diagnostic

Les fichiers log créés lors du traitement des documents dans Vantage sont stockés localement sur les machines utilisées pour l’installation du produit. Les logs sont stockés comme suit : l’agent Fluent Bit exécuté sur tous les nœuds Kubernetes collecte les logs des conteneurs et les envoie au service d’agrégation Fluentd. Par défaut, tous les logs sont stockés sous forme de fichiers d’archive sur un volume persistant et sont accessibles via NFS. En option, l’administrateur peut également envoyer les logs au cluster Elasticsearch. Architecture de journalisation Kubernetes montrant des agents Fluent Bit collectant les logs des conteneurs Docker, les envoyant à l’agrégateur Fluentd, qui les transmet à Elasticsearch et au stockage sur volume persistant

Architecture de journalisation Kubernetes montrant des agents Fluent Bit collectant les logs des conteneurs Docker, les envoyant à l’agrégateur Fluentd, qui les transmet à Elasticsearch et au stockage sur volume persistant

Pour accéder aux logs de diagnostic :

Si vous utilisez un serveur NFS externe ou un autre stockage externe, passez directement à l’étape 3.
Pour une installation avec un serveur NFS au sein du cluster (par défaut pour la configuration sans haute disponibilité), obtenez l’adresse IP du serveur NFS :

kubectl -n nfs get po -lapp.kubernetes.io/name=nfs-kernel-server -o jsonpath='{ .items[*].status.hostIP }'

Accédez au partage :
- Pour NFS :
  - Linux : mount –t nfs <nfs server ip>:/ /opt/mount
  - Windows : installez ClientForNFS, ouvrez l’Explorateur et accédez à \\<nfs server ip>
- Pour les autres types de stockage externe : contactez votre administrateur système pour obtenir les instructions d’accès.
Accédez au répertoire \\<nfs server ip>\<sharename>\<env>\abbyy-monitoring\fluentd-pvc.

Fournir les logs au support technique

Pour transmettre les logs de Vantage au support client d’ABBYY :

Accédez au dossier des logs. Les logs sont stockés dans des sous-dossiers portant les mêmes noms que les espaces de noms du cluster Kubernetes. Les logs de Vantage se trouvent dans le dossier abbyy-vantage.
Copiez les fichiers correspondant à la période durant laquelle le problème s’est produit. Les logs sont compressés au format gzip et leurs noms suivent le format Y-M-DD-H (par exemple, 2022-12-09-0800.log.gz).
Envoyez les fichiers au support technique d’ABBYY.

Elasticsearch et Kibana

Elasticsearch et Kibana sont des outils de recherche, d’analyse et de visualisation des logs. Elasticsearch et Kibana ne sont pas installés avec ABBYY Vantage et doivent être installés et configurés séparément. Vous pouvez effectuer cette opération, que le produit soit installé ou non. Vous pouvez utiliser n’importe quelle installation existante.

La procédure de configuration ci-dessous a été simplifiée et n’est fournie qu’à titre d’exemple.

Pour installer Elasticsearch et Kibana :

Clonez le dépôt :

git clone https://github.com/elastic/cloud-on-k8s.git
cd cloud-on-k8s
git checkout 2.5
cd deploy/eck-operator

Installez l’opérateur qui déploie les ressources :

helm -n elastic upgrade -i eck-operator . --create-namespace

Créez un fichier appelé elastic.yaml avec le contenu suivant :

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: elasticsearch
  namespace: elastic
spec:
  version: 8.5.1
  nodeSets:
    - config:
        indices.fielddata.cache.size: 38%
        xpack.ml.enabled: false
        xpack.security.enabled: true
      count: 1
      name: default
      podTemplate:
        spec:
          containers:
            - name: elasticsearch
              resources:
                limits:
                  memory: 1Gi
                  cpu: '1'
                requests:
                  cpu: '1'
                  memory: 1Gi
          initContainers:
            - command:
                - sh
                - '-c'
                - sysctl -w vm.max_map_count=262144
              name: sysctl
              securityContext:
                privileged: true
                runAsUser: 0
          nodeSelector:
            kubernetes.io/os: linux
      volumeClaimTemplates:
        - metadata:
            name: elasticsearch-data
          spec:
            accessModes:
              - ReadWriteOnce
            resources:
              requests:
                storage: 128Gi

Créez un fichier nommé kibana.yaml contenant le texte suivant :

apiVersion: kibana.k8s.elastic.co/v1
kind: Kibana
metadata:
  name: kibana
  namespace: elastic
spec:
  version: 8.5.1
  count: 1
  elasticsearchRef:
    name: elasticsearch
  podTemplate:
    spec:
      containers:
        - name: kibana
          env:
            - name: NODE_OPTIONS
              value: "--max-old-space-size=2048"
          resources:
            requests:
              memory: 512Mi
              cpu: 0.5
            limits:
              memory: 1Gi
              cpu: 1
      nodeSelector:
        kubernetes.io/os: linux

Exécutez la commande suivante pour installer Elasticsearch :

kubectl -n elastic apply -f elastic.yaml

Vérifiez l’état du déploiement :

kubectl -n elastic get statefulset

Exécutez la commande suivante pour installer Kibana :

kubectl -n elastic apply -f kibana.yaml

Vérifiez le statut du déploiement :

kubectl -n elastic get deployment

Récupérez le mot de passe d’un utilisateur Elasticsearch :

kubectl -n elastic get secret elasticsearch-es-elastic-user -o go-template='{{.data.elastic | base64decode }}'

Ajoutez les paramètres suivants à votre fichier env_specific.yaml :

logging:
  enabled: true
  elasticsearch:
    enabled: true
    host: elasticsearch-es-http.elastic.svc.cluster.local
    username: elastic
    password: elastic_user_password
    scheme: https

Si vous installez Kibana après l’installation du produit, mettez à jour votre fichier env_specific.yaml et exécutez la commande suivante :

ansible-playbook -i inventories/k8s playbooks/6-DeployMonitoring-k8s.yml

Grafana

Grafana (utilisé avec Prometheus) est un outil de visualisation, de surveillance et d’analyse de données. Grafana n’est pas installé avec ABBYY Vantage et doit être installé et configuré séparément. Vous pouvez utiliser une installation existante.

Grafana doit être installé dans le cluster, car Prometheus n’est disponible qu’au sein d’un cluster.

La procédure de configuration ci-dessous a été simplifiée et est fournie uniquement à titre d’exemple.

Pour installer Grafana :

Créez un fichier nommé grafana.yaml.
Copiez-collez le code suivant dans le fichier, puis enregistrez-le :

persistence:
  enabled: false
rbac:
  create: true
  namespaced: false
serviceAccount:
  create: true
podLabels:
  app.kubernetes.io/component: grafana
nodeSelector:
  kubernetes.io/os: linux
adminUser: admin
adminPassword: password
plugins:
  - grafana-piechart-panel
  - flant-statusmap-panel
grafana.ini:
  server:
    root_url: "%(protocol)s://%(domain)s:%(http_port)s/grafana/"
    enable_gzip: "true"
ingress:
  enabled: true
  annotations:
    kubernetes.io/ingress.class: abbyy-nginx
    nginx.ingress.kubernetes.io/rewrite-target: /$2
  tls:
    - secretName: platform-wildcard
      hosts:
        - {{ env }}.{{ domain }}
  hosts:
    - {{ env }}.{{ domain }}
  path: "/grafana(/|$)(.*)"
sidecar:
  dashboards:
    enabled: true
    label: grafana_dashboard
datasources:
  datasources.yaml:
    apiVersion: 1
    datasources:
      - name: Prometheus
        editable: true
        isDefault: true
        jsonData:
          timeInterval: 5s
          tlsSkipVerify: true
        type: prometheus
        url: 'http://prometheus-scaling.abbyy-monitoring.svc.cluster.local:9090'
      - editable: true
        isDefault: true
        jsonData:
          timeInterval: 5s
          tlsSkipVerify: true
        name: Victoria
        type: prometheus
        url: 'http://victoria-metrics-abbyy.abbyy-monitoring.svc.cluster.local:8428'

Remplacez la valeur du paramètre host par le nom de domaine de votre cluster Vantage et changez le mot de passe initial de l’administrateur.

Exécutez les commandes suivantes :

helm repo add grafana https://grafana.github.io/helm-charts
helm -n abbyy-monitoring upgrade -i grafana grafana/grafana -f grafana.yaml

​Comment accéder aux logs de diagnostic

​Fournir les logs au support technique

​Elasticsearch et Kibana

​Grafana

Comment accéder aux logs de diagnostic

Fournir les logs au support technique

Elasticsearch et Kibana

Grafana