Ao instalar o ABBYY Vantage, o número de serviços e workers depende da carga. O ABBYY Vantage escala automaticamente os serviços e workers para otimizar o processamento de documentos. Este guia contém informações sobre os recursos de que o ABBYY Vantage precisa, dependendo da carga, bem como recomendações para o administrador de sistema sobre as formas adequadas de fornecer esses recursos ao ABBYY Vantage.
Configurações de Referência
O consumo de recursos depende do seu cenário de processamento de documentos: o tipo de documentos processados, a skill usada e a carga de páginas (isto é, o número de páginas processadas dentro de um determinado período de tempo).
A configuração de referência Alta disponibilidade foi testada para o processamento de faturas de 3 e 50 páginas usando a Skill de Processo padrão com as seguintes cargas:
- 50.000 páginas por 8 horas
- 100.000 páginas por 8 horas
- 150.000 páginas por 8 horas
- 200.000 páginas por 8 horas
A configuração de referência Sem alta disponibilidade foi testada para o processamento de faturas de 3 páginas usando a Skill de Processo padrão com as seguintes cargas:
- 10.000 páginas por 8 horas
- 30.000 páginas por 8 horas
- 50.000 páginas por 8 horas
A configuração Sem alta disponibilidade não oferece suporte ao treinamento de skills com a atividade Deep Learning.
Durante os testes das configurações de referência, os arquivos foram enviados ao sistema por meio da REST API. A Skill de Processo padrão com o seguinte fluxo de trabalho foi utilizada:
- Importar arquivos.
- Reconhecer documentos.
- Classificar e determinar tipos de documento.
- Extrair dados de documentos.
- Exportar dados para JSON.
| Tipo de nó | Núcleos de CPU (para cada nó) | RAM, GB (para cada nó) | Tamanho do disco, GB |
|---|
| Nós de serviço | 12 | 48 | 120* |
| Nós de trabalho | 12 | 48 | 120 |
*Os requisitos de tamanho de disco listados acima referem-se aos requisitos mínimos, ou seja, pode ser necessário espaço adicional em disco. Por padrão, o Vantage instala armazenamento de arquivos NFS em máquinas virtuais. Nesse caso, as máquinas virtuais utilizadas como primeiro nó de serviço exigirão espaço adicional em disco, dependendo da carga.
Requisitos de armazenamento
| Configuração | Armazenamento | Local de armazenamento | Tamanho do disco, GB |
|---|
| Sem alta disponibilidade | NFS interno | Nó de serviço | 500 (para processar 10.000 páginas a cada 8 horas) |
| Sem alta disponibilidade | NFS externo | Máquina de servidor NFS | 500 (para processar 10.000 páginas a cada 8 horas) |
| Com alta disponibilidade | NFS externo | Máquina de servidor NFS | 50 (para processar 10.000 páginas a cada 8 horas) |
| Com alta disponibilidade | Volume persistente local | Primeiro nó de serviço (do arquivo de inventário) | 500 (para processar 10.000 páginas a cada 8 horas) |
Pode ser necessário armazenamento adicional se você usar grandes catálogos de dados, skills com um grande número de atividades ou exportar dados para pastas compartilhadas.
Recomendamos usar armazenamento externo se a carga for maior que 10.000 páginas a cada 8 horas.
Dependendo da carga de páginas, o ABBYY Vantage exigiu a seguinte quantidade de recursos para processar documentos com eficiência em cada configuração:
Configuração de Alta Disponibilidade
| Carga (páginas/8 horas) | Nós para serviços (faturas de 3 páginas) | Nós para serviços (faturas de 50 páginas) | Nós para workers (faturas de 3 páginas) | Nós para workers (faturas de 50 páginas) |
|---|
| 50,000 | 4 | 4 | 4 | 4 |
| 100,000 | 4 | 4 | 5 | 7 |
| 150,000 | 4 | 4 | 7 | 9 |
| 200,000 | 4 | 4 | 8 | 11 |
Durante os testes, também foram coletadas estatísticas sobre as operações de entrada e saída do disco usado para o armazenamento de blobs. Você pode esperar que, no seu ambiente, os números não excedam os seguintes valores:
Operações de E/S de disco
| Carga (páginas/8 horas) | Operações de E/S de disco por segundo (faturas de 3 páginas) | Operações de E/S de disco por segundo (faturas de 50 páginas) |
|---|
| 50,000 | 100 | 50 |
| 100,000 | 250 | 100 |
| 150,000 | 400 | 170 |
| 200,000 | 600 | 230 |
Sem configuração de alta disponibilidade
| Carga (páginas/8 horas) | Nós para serviços | Nós para workers |
|---|
| 10,000 | 1 | 1* |
| 30,000 | 1 | 3 |
| 50,000 | 1 | 3 |
*A configuração com um nó de worker destina-se apenas a fins de teste e não oferece suporte ao treinamento de skills com qualquer atividade.
Ao dimensionar o ABBYY Vantage, não foi observado aumento no tempo de processamento de documentos.
O administrador do sistema pode adicionar nós de trabalho adicionais ao cluster para aumentar a capacidade de processamento conforme a carga necessária. Para obter mais informações sobre como preparar um nó, consulte Requisitos do sistema.
Adicionando um nó de trabalho
Para adicionar um nó de trabalho, siga estas etapas:
- Abra um arquivo de inventário no diretório de instalação.
- Na seção
[abbyy_workers], adicione um nó adicional especificando seu nome e endereço IP.
- Execute o instalador:
docker run -it \
-v $PWD/kube:/root/.kube \
-v $PWD/ssh/ansible:/root/.ssh/ansible \
-v "//var/run/docker.sock:/var/run/docker.sock" \
-v $PWD/inventory:/ansible/inventories/k8s/inventory \
-v $PWD/env_specific.yml:/ansible/inventories/k8s/group_vars/all/env_specific.yml \
-v $PWD/ssl:/ansible/files/ssl:ro \
--privileged \
registry.local/vantage/vantage-k8s:2.7.1
- Execute o playbook a seguir:
ansible-playbook -i inventories/k8s -v playbooks/4-Kubernetes-k8s.yml