FineParser が ABBYY に送信する情報
- License の検証。 ドキュメントの処理時に、FineParser はアカウントに残っているページ残高を確認し、解析したページ数を差し引きます。これが課金記録となります。差し引き処理が完了しない場合、結果は保留されます。
- テレメトリ。 FineParser はジョブごとに 1 つのトレース span と 1 組のメトリクス記録を送信します。これにより ABBYY は使用状況をお客様のアカウントに紐付け、製品の利用状況を把握できます。テレメトリは利用状況を示すシグナルであり、課金の仕組みではありません。また、リリースビルドでは常に有効です。
テレメトリに含まれる内容
FineParser は OpenTelemetry を使用し、2 種類のシグナルを出力します。1 つは、集計されたカウントとヒストグラムからなるメトリクスです。もう 1 つは、job ごとに 1 つの span を持つトレースです。いずれも、同じ少数の 属性 を使用します。すべてのシグナルに付与される属性
これらの値はコンテナーの起動時に確定し、コンテナーが出力するすべてのシグナルに付与されます。ジョブ単位の属性
ジョブ単位の属性はいずれも、あらかじめ定められた許可値の集合から選ばれます。集合に含まれない値は送出されずに破棄されるため、呼び出し側コードの不具合によって任意の文字列がシグナルに載ることはありません。outcome が rejected の場合は、処理が一切行われる前にリクエストが拒否されたことを意味します。たとえば、ファイルがアタッチされていない、出力形式がサポートされていない、アップロードが不正である、といった場合です。これを error と区別しているのは、クライアント側のAPIの誤用がFineParserの障害として扱われないようにするためです。
decision が unknown の場合は、ライセンスサーバーがコンテナーの認識できないステータスを返したことを意味します。この場合、FineParserはジョブを拒否します。既定で拒否することが本製品の方針であり、その判定は破棄されるのではなく報告されます。
メトリクス
License Key は、各メトリクスの記録に加えてコンテナーレベルの属性にもアタッチされます。そのため、下流のバックエンドがリソース属性をどのようにマッピングするかにかかわらず、使用状況を License 単位でグループ化できます。
トレース
job span のステータスがエラーになるのは、結果が
error の場合のみです。
FineParser が収集しないもの
FineParser は、ドキュメントの内容、認識されたテキスト、ファイル名、ファイルパス、ファイルサイズ、顧客名、メールアドレス、アカウント識別子、ユーザー ID、IP アドレスを一切収集しません。 ファイル名がテレメトリモジュールに渡る経路は、ただ 1 つの function に限られます。この function は拡張子だけを読み取ってdoc_type の分類を返し、それ以外はすべて破棄します。FineParser のテストスイートには不正入力のテストがあり、人名、社会保障番号 (SSN) 形式の文字列、メールアドレス、一時パスをモジュールに渡したうえで、そのいずれもシンクに到達しないことを検証します。
License Key は、アカウントに意図的に紐付けられる唯一の値です。languages 属性は顧客データではなく deployment の設定であり、起動時に固定され、コンテナーが処理するすべての job で同一です。
このモジュールが送出できるのは、このページに記載された 11 個の属性キーのみです。任意の属性マップを受け取るエクスポート済みの function は存在しないため、field を追加するには許可リストのコードを変更する必要があります。
ストリームの確認とコピー
このページの記述を鵜呑みにする必要はありません。2つの環境変数でストリームを実際に確認でき、3つの環境変数でそのコピーを任意の宛先に送信できます。
送信先は追加できますが、削除はできません。お客様のエンドポイントとABBYYのエンドポイントは同一のストリームを受信します。これは方針ではなく、コードの構造そのものによって担保されています。テレメトリモジュールのどこにも、ABBYY専用の属性や2つ目のコードパスは存在しません。標準出力やお客様自身のコレクターで見える内容が、そのままABBYYが受け取る内容です。
FineParserはPrometheusのスクレイプエンドポイントを公開せず、OpenTelemetryのログシグナルも出力しません。ジョブ単位のイベントは、代わりにスパン属性として伝達されます。
未課金ページ
fineparser.pages.unbilled カウンターは、課金が確定しないまま提供されたページを記録します。これが発生するのは、処理完了後にライセンスサーバーが 5xx エラーまたは 404 を返した場合のみで、このとき FineParser は完成した結果を保留せずに引き渡します。タイムアウトや証明書エラーの場合は結果自体がブロックされるため、このカウンターが支払いの回避を示すことはありません。値がゼロを上回っているのは、ライセンスベンダー側に不調があったことを意味し、利用者側に問題があったわけではありません。
既知の制限事項
job を処理してから約 1 分以内に停止されたコンテナーでは、その job のテレメトリが失われます。これは、エクスポーターのシャットダウン時に最後の HTTP レスポンスを待機しないためです。長時間稼働するコンテナーの場合はすべて送信されます。License の計測には影響がなく、引き続き課金の記録として使用されるため、早期に停止した場合の影響は、ABBYY の使用状況ダッシュボードでの集計がわずかに少なくなる点のみです。ネットワーク要件
コンテナーは、ABBYY のライセンス管理基盤に常時接続できる必要があります。ファイアウォールまたは送信プロキシで、次の 2 つの範囲への送信トラフィックを許可してください。
この接続を経由するのは、ライセンス検証とテレメトリのみです。ドキュメントの内容が送信されることはありません。