Azure インフラストラクチャの作成

Vantage 3.0 ではこのデプロイモデルは廃止されました。 Vantage 2.7 以前では、ABBYY が提供する Ansible スクリプトと Azure CLI スクリプトで構築される、ABBYY 指定のインフラストラクチャが必要でした。3.0 ではこのモデルはサポートされておらず、お客様が独自にインフラストラクチャをプロビジョニングする必要があります。また、ABBYY はプロビジョニングスクリプトやその他のインフラストラクチャ自動化を提供しません。このページは Vantage 2.7 にのみ適用されます。Vantage 3.0 の概要と Vantage 2.7 からの移行を参照してください。

このページは、Azure AKS へのデプロイにのみ適用されます。仮想マシンへのデプロイについては、インストールガイドを参照してください。

概要

このガイドでは、Azure CLI と ARM テンプレートを使用して、ABBYY Vantage に必要な Azure インフラストラクチャを作成する手順を説明します。このインフラストラクチャは、Vantage インストーラーコンテナー内から作成します。

前提条件

開始前に、以下を用意してください。

リソースを作成および管理する権限を持つ Azure サブスクリプション
ローカルマシンにインストールされた Docker
コンテナーイメージをダウンロードするためのインターネットアクセス
高可用性構成の場合: VM に Redis クラスターがデプロイされていること (システム要件を参照)

インフラストラクチャの作成中にコンテナーイメージのダウンロードを開始できます。これには時間がかかるためです。

インフラストラクチャコンポーネント

次の Azure リソースが作成されます。

Azure Subscription
└── Resource Group
    ├── AKS Cluster
    │   ├── Services Node Pool (Standard_D8as_v5)
    │   └── Workers Node Pool (Standard_D16as_v5)
    ├── Storage Accounts (5)
    │   ├── Skills (Premium/Hot)
    │   ├── Processing (Standard/Hot)
    │   ├── Temporary (Standard/Hot)
    │   ├── Shared Folders (Premium FileStorage)
    │   └── Archive (Standard/Cool)
    ├── Azure SQL Server
    │   └── Elastic Pool Database
    └── Public IP Address

ステップ 1: インストーラーイメージをダウンロードする

まず、Vantage のインストーラーイメージをダウンロードし、ご使用のContainer Registryにプッシュします。

# Vantage Docker レジストリにログイン
docker login abyvtgonprm27.azurecr.io -u <username> -p <password>

# インストーラーイメージをプル
docker pull abyvtgonprm27.azurecr.io/vantage-azure:2.7.1

# レジストリ用にタグを付ける
docker tag abyvtgonprm27.azurecr.io/vantage-azure:2.7.1 \
  registry.yourdomain.tld/vantage/vantage-azure:2.7.1

# レジストリにプッシュ
docker push registry.yourdomain.tld/vantage/vantage-azure:2.7.1

<username> と <password> は、調達時に提供された認証情報に置き換えてください。

手順 2: インストーラーコンテナーを実行する

インストーラーコンテナーを起動します。このガイドで以降に使用するコマンドは、すべてこのコンテナー内で実行します。

docker run -it registry.yourdomain.tld/vantage/vantage-azure:2.7.1

Step 3: Azure にログインする

コンテナー内で、Azure アカウントにログインします。

# Azureにログイン（認証のためブラウザが開きます）
az login

# サブスクリプションを設定する
az account set --subscription <subscription_id>

<subscription_id> をお使いの Azure サブスクリプション ID に置き換えてください。

Step 4: リソースグループを作成する

使用する Azure リージョンにリソースグループを作成します。

az group create --location <location> --resource-group <resource_group_name>

例:

az group create --location eastus --resource-group vantage-prod-rg

よく使用される Azure リージョン: eastus, eastus2, westus2, westeurope, northeurope

Step 5: AKS Cluster を作成する

デプロイのプレビュー

まず、作成されるリソースを確認します。

az deployment group what-if --name aks-cluster \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/Cluster.Manual.json \
  --parameters kubernetesClusterName=<cluster_name>

クラスター名は 15 文字 を超えないようにしてください。

クラスターの作成

az deployment group create --name aks-cluster \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/Cluster.Manual.json \
  --parameters kubernetesClusterName=<cluster_name> \
  --parameters enableFIPS=false

このコマンドは、8 時間で 50,000 ページを処理できる高可用性なし構成のクラスターを作成します。その他の構成については、クラスターの作成後にパフォーマンスガイドを参照してノードプールの設定を変更してください。

FIPS 準拠のデプロイでは、enableFIPS=true を設定してください。追加の構成については、FIPS コンプライアンスを参照してください。

Step 6: ストレージアカウントを作成する

デプロイ内容を事前確認する

az deployment group what-if --name storage \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/StorageAccounts.Template.json

ストレージアカウントの作成

az deployment group create --name storage \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/StorageAccounts.Template.json \
  --parameters kubernetesClusterName=<cluster_name> \
  --parameters enableFIPS=false

ストレージアカウントキーを取得する

env_specific.yml の s3storage セクションに設定するアクセスキーとシークレットキーを取得します。

az deployment group show --name storage \
  --resource-group <resource_group_name> \
  --query properties.outputs -o yaml

出力内容を保存してください。これらの値は env_specific.yml 設定ファイルで使用します。

Step 7: Azure SQL Serverを作成する

デプロイをプレビューする

az deployment group what-if --name dbservers \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/Databases/DB.Server.Template.json \
  --parameters serverBaseName=<cluster_name> \
  --parameters dbAdminLogin=<db_username> \
  --parameters dbAdminPassword=<db_password>

SQL Server を作成する

az deployment group create --name dbservers \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/Databases/DB.Server.Template.json \
  --parameters serverBaseName=<cluster_name> \
  --parameters dbAdminLogin=<db_username> \
  --parameters dbAdminPassword=<db_password>

dbAdminLogin と dbAdminPassword のパラメーターは、データベースにアクセスするための認証情報です。env_specific.yml の設定に使用するため、これらを保存しておいてください。

Step 8: Azure SQL Database の作成

デプロイをプレビューする

az deployment group what-if --name databases \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/Databases/SQL.Databases.Template.json \
  --parameters serverBaseName=<cluster_name>

データベースを作成

az deployment group create --name databases \
  --resource-group <resource_group_name> \
  --template-file files/infrastructure/azure/arms/Databases/SQL.Databases.Template.json \
  --parameters serverBaseName=<cluster_name>

Step 9: ノードのリソースグループを取得する

AKS クラスターのノードリソースグループ名を取得します:

az aks show --name <cluster_name> -g <resource_group_name> \
  --query nodeResourceGroup -o tsv

この値は保存しておいてください。後で、このリソースグループにパブリック IP アドレスを配置します。

ステップ 10: パブリック IP アドレスを設定する

Azure Public IP (Standard Static IPv4) を Step 9 のノードリソースグループに作成するか、既存の Public IP をそのリソースグループに移動します。
env_specific.yml の設定で使用する IP アドレスを控えます。
loadbalancer: external_ip: <your_public_ip_address>
DNS の A レコードを作成して、ドメインがこの IP アドレスを指すようにします。

手順 11: GPU ドライバーをインストールする (任意)

Deep Learning を使用した Skill の学習用に GPU ワーカーをデプロイする予定がある場合:

ansible-playbook -i inventories/azure -v \
  playbooks/infrastructure/azure/02_install_gpu_driver.yml

GPU のデプロイ要件については、システム要件を参照してください。

作成されるリソースの概要

これらの手順を完了すると、次のリソースが作成されます。

リソース	用途
Resource Group	すべての Vantage リソースを格納するコンテナー
AKS Cluster	Vantage を実行する Kubernetes クラスター
Services Node Pool	Vantage プラットフォームサービスを実行
Workers Node Pool	文書処理ワーカーを実行
Skills Storage Account	Skill の定義と構成を保存
Processing Storage Account	処理中の文書を保存
Temporary Storage Account	トランザクションを一時保存
Shared Folders Storage Account	インポート/エクスポート用共有フォルダーへのアクセス
Archive Storage Account	文書の長期アーカイブを保存
Azure SQL Server	データベースサーバー
Azure SQL Database	Vantage の運用データベース
Public IP Address	Vantage への外部アクセス

次のステップ

インフラストラクチャを作成したら:

env_specific.yml を設定 - このガイドに記載されている値を設定します。設定形式の詳細については、インストールを参照してください。
コンテナーイメージをダウンロード - Vantage のイメージをContainer Registryに同期します。
インストールを実行 - プレイブックを使用してインストールを完了します。

完全なインストール手順については、インストールを参照してください。

トラブルシューティング

デプロイが権限エラーで失敗する

Azure アカウントに次の権限があることを確認してください。

サブスクリプションまたはリソースグループに対する共同作成者アクセス
AKS クラスター、ストレージアカウント、SQL データベースを作成する権限

クラスター名が長すぎます

クラスター名は15文字以内にしてください。より短い名前を使用してください。

ストレージアカウント名は既に存在します

Azure ストレージアカウント名はグローバルで一意である必要があります。ARM テンプレートはクラスター名に基づいて名前を生成します。競合が発生する場合は、別のクラスター名を試してください。

SQL Database に接続できない

Azure SQL Database のファイアウォールルールで、AKS クラスターの送信元 IP アドレスからの接続が許可されていることを確認してください。仮想ネットワークルールを追加するか、Azure サービスを許可する必要がある場合があります。

システム要件 - インフラストラクチャ要件の詳細
インストール - インストールガイドの詳細
FIPS コンプライアンス - FIPS 対応のデプロイメント
パフォーマンスガイド - スケーリングとパフォーマンスチューニング

Installation

Microsoft Azure

Azure インフラストラクチャの作成

概要

前提条件

インフラストラクチャコンポーネント

ステップ 1: インストーラーイメージをダウンロードする

手順 2: インストーラーコンテナーを実行する

Step 3: Azure にログインする

Step 4: リソースグループを作成する

Step 5: AKS Cluster を作成する

デプロイのプレビュー

クラスターの作成

Step 6: ストレージアカウントを作成する

デプロイ内容を事前確認する

ストレージアカウントの作成

ストレージアカウントキーを取得する

Step 7: Azure SQL Serverを作成する

デプロイをプレビューする

SQL Server を作成する

Step 8: Azure SQL Database の作成

デプロイをプレビューする

データベースを作成

Step 9: ノードのリソースグループを取得する

ステップ 10: パブリック IP アドレスを設定する

手順 11: GPU ドライバーをインストールする (任意)

作成されるリソースの概要

次のステップ

トラブルシューティング

デプロイが権限エラーで失敗する

クラスター名が長すぎます

ストレージアカウント名は既に存在します

SQL Database に接続できない

​概要

​前提条件

​インフラストラクチャ コンポーネント

​ステップ 1: インストーラーイメージをダウンロードする

​手順 2: インストーラー コンテナーを実行する

​Step 3: Azure にログインする

​Step 4: リソース グループを作成する

​Step 5: AKS Cluster を作成する

​デプロイのプレビュー

​クラスターの作成

​Step 6: ストレージ アカウントを作成する

​デプロイ内容を事前確認する

​ストレージ アカウントの作成

​ストレージ アカウント キーを取得する

​Step 7: Azure SQL Serverを作成する

​デプロイをプレビューする

​SQL Server を作成する

​Step 8: Azure SQL Database の作成

​デプロイをプレビューする

​データベースを作成

​Step 9: ノードの リソース グループ を取得する

​ステップ 10: パブリック IP アドレスを設定する

​手順 11: GPU ドライバーをインストールする (任意)

​作成されるリソースの概要

​次のステップ

​トラブルシューティング

​デプロイが権限エラーで失敗する

​クラスター名が長すぎます

​ストレージ アカウント名は既に存在します

​SQL Database に接続できない

​関連 Documentation

概要

前提条件

インフラストラクチャコンポーネント

ステップ 1: インストーラーイメージをダウンロードする

手順 2: インストーラーコンテナーを実行する

Step 3: Azure にログインする

Step 4: リソースグループを作成する

Step 5: AKS Cluster を作成する

デプロイのプレビュー

クラスターの作成

Step 6: ストレージアカウントを作成する

デプロイ内容を事前確認する

ストレージアカウントの作成

ストレージアカウントキーを取得する

Step 7: Azure SQL Serverを作成する

デプロイをプレビューする

SQL Server を作成する

Step 8: Azure SQL Database の作成

デプロイをプレビューする

データベースを作成

Step 9: ノードのリソースグループを取得する

ステップ 10: パブリック IP アドレスを設定する

手順 11: GPU ドライバーをインストールする (任意)

作成されるリソースの概要

次のステップ

トラブルシューティング

デプロイが権限エラーで失敗する

クラスター名が長すぎます

ストレージアカウント名は既に存在します

SQL Database に接続できない

関連 Documentation