KEDA を使用したオートスケーリング

​

オートスケーリングの仕組み

​

スケーリング戦略

​

CPU 使用率トリガー

kubectl top nodes
kubectl top pods -n $install_namespace

​

Prometheus トリガー

application_worker_priority_queue_length{namespace="<install-namespace>"}
application_worker_active_threads{namespace="<install-namespace>"}

• application_worker_priority_queue_length は、ワーカーの種類ごとに待機中の作業量を示します。
• application_worker_active_threads は、アクティブな処理スレッド数を示します。一部の自動生成されたワーカー設定では、キューの深さに加えて、これを 2 つ目の Prometheus トリガーとして使用します。これにより、空きの処理スレッドがなくなった時点でワーカーを先回りしてスケールアップし、新たに到着したタスクを、キューの滞留がたまるまで待たせることなく、すぐに処理できるようにします。

​

Skill 構成に応じてワーカータイプをスケールさせる

​

前提条件

1. KEDA 2.17.3 がインストールされており、その operator と metrics API server が正常に稼働していること。
2. Kubernetes の resource metrics API が CPU データを返すこと。
3. Prometheus に http://prometheus-operated.observability.svc.cluster.local:9090 でアクセスできること。
4. Vantage の ServiceMonitor が存在し、Prometheus が Vantage の /metrics-text ターゲットを UP と報告していること。
5. Prometheus が Vantage ワーカー メトリクスの現在の値を返すこと。
6. cluster に、TechCore ワーカー 用のラベルが付いた nodes を含め、追加レプリカをスケジュールできる十分な空き容量があること。

kubectl get deployment --all-namespaces | grep keda-operator
kubectl -n observability get service prometheus-operated
kubectl -n $install_namespace get servicemonitor

application_worker_priority_queue_length{namespace="<install-namespace>"}
application_worker_active_threads{namespace="<install-namespace>"}

​

オートスケーリングを有効にする

vantage:
  keda:
    enabled: true

observability:
  prometheus:
    namespace: observability
    serviceMonitor:
      create: true

​

オートスケーリングを確認する

kubectl -n $install_namespace get scaledobjects.keda.sh
kubectl -n $install_namespace get hpa

kubectl -n $install_namespace wait \
  --for=condition=Ready scaledobjects.keda.sh \
  --all \
  --timeout=5m

kubectl -n $install_namespace describe scaledobject <scaledobject-name>
kubectl -n $install_namespace get scaledobject <scaledobject-name> -o yaml
kubectl -n $install_namespace describe hpa <hpa-name>

• Ready=True は、KEDA がトリガー構成を受け入れたことを示します。
• Active=True は、少なくとも 1 つのトリガーが現在スケーリングを要求していることを示します。
• トラフィックやキュー内の処理がない場合、Active=False は正常なことがあります。
• HPA のメトリック値が <unknown> の場合、Kubernetes はそのメトリックの現在値を取得できないことを示します。

kubectl -n $install_namespace get deployment,hpa,pod --watch

​

生成された動作を理解する

• トリガーしきい値と Prometheus クエリ。
• レプリカ数の最小値と最大値。
• スケールアップ速度と安定化動作。
• スケールダウン速度と安定化動作。

​

クラスター容量を計画する

• ドキュメントの最大到着率と、許容可能なキュー待機時間。
• 代表的なドキュメントとSkillに対する、平均処理時間と上位パーセンタイルの処理時間。
• pod の起動時間とModelのウォームアップ時間。
• 同時にスケーリングする各ワークロードの CPU とメモリのリクエスト値。Sizing ページの本番環境の数値を出発点としてください。
• ノードオートスケーラーのプロビジョニング時間と、ノードプールの最大サイズ。
• 名前空間のクォータ、クラスターの上限、レジストリのプルのスループット。
• TechCore ノードのラベル、taint、アクセラレーター、学習ワーカーの分離。
• ノードまたはアベイラビリティゾーンが利用できない場合の障害許容性。

​

トラブルシューティング

​

次のステップ