跳轉到主要內容

​
概述

ABBYY Vantage 中的 LLM 連線可讓你將 OpenAI、Microsoft Foundry 等提供者的強大語言模型，直接整合到文件處理工作流程中。這些連線可讓你的文件 Skill 利用最先進的 AI，更精準地進行複雜文件的擷取、分類與理解。 你將完成以下事項：
  • 存取 Connections 設定
  • 新增一個 LLM 連線
  • 設定連線的認證資訊與參數
  • 測試你的連線
完成時間：約 10–15 分鐘 支援的 LLM 提供者：
  • OpenAI ChatGPT
  • Microsoft Foundry
注意： 目前 LLM 連線只能透過 ABBYY Advanced Designer 用於文件 Skill 中。

​
先決條件

在開始之前，請先確認您已具備：
  1. ABBYY Vantage Configuration 的系統管理員權限。
  2. 由您選擇的 LLM 服務供應商提供的API 認證資訊：
    • OpenAI： 您的 OpenAI 帳戶所產生的 API key
    • Microsoft Foundry： 來自 Azure 中 Microsoft Foundry 的 API key、完整端點 URL（包含 /chat/completions 路徑與 API 版本），以及模型名稱。
  3. 與您的 LLM 服務供應商之間的有效訂閱。
注意： LLM 連線是在租戶層級進行管理，可供您組織中的所有 skill 設計人員使用。目前，LLM 連線只能透過 ABBYY Advanced Designer 整合到文件 Skill 中。

​
步驟 1：進入組態設定

前往 Configuration 區域，以管理 LLM 連線。
  1. 在 ABBYY Vantage 介面左側邊欄中，找到 ADMIN 區段。
  2. 按一下 Configuration（齒輪圖示）。
Accessing Configuration 您會看到組態頁面，左側選單中有多個選項：
  • General
  • Connections（本節將在此進行設定）
  • Identity Provider
  • Public API Client
  • Security Log
  • Environment Variables
  • IP Restrictions

​
步驟 2：前往 Connections

進入 Connections 管理介面。
  1. 在左側的 Configuration 功能表中，點選 Connections。
Connections Page Connections 頁面會顯示：
  • 現有連線清單（如果有的話）
  • 連線詳細資訊：Name、Description、Used in Skills、Last Updated
  • 管理按鈕：Add Connection、Test、Edit、Delete
  • 用於搜尋特定連線的搜尋功能
**注意：**Connections 為共用資源。您租戶中的所有 skill 設計人員都可以在其 skill 中使用這些連線。

​
步驟 3：新增 LLM 連線

開始建立與 LLM 供應商的新連線。
  1. 在 Connections 頁面頂端按一下 + Add Connection 按鈕。
  2. 會顯示 Add Connection 對話方塊，列出可用的 LLM 供應商：
    • OpenAI ChatGPT - 直接連線至 OpenAI 的 API
    • Microsoft Foundry - 部署於 Microsoft Azure 基礎架構上的 OpenAI 與其他 AI 模型
  3. 選取所需的供應商（在本範例中，我們將使用 Microsoft Foundry）。
  4. 按一下 Next.
注意： 每個供應商都有不同的設定需求。請選擇與貴組織 LLM 訂閱相符的供應商。

​
步驟 4：設定連線詳細資料

填寫建立 LLM 連線所需的資訊。 Connection Configuration

​
一般設定

Name
  • 此連線的唯一識別名稱
  • 範例：Microsoft Foundry 或 Production GPT-4
  • 在文件 Skill 中選取連線時會顯示此名稱。
Description
  • 非必填，但建議填寫。
  • 提供關於此連線的實用背景資訊。
  • 範例：“Microsoft Foundry Connection 1” 或 “GPT-4 Production API”。
  • 重要： 請勿在描述中包含任何機密憑證資訊。
注意： 請選擇具有描述性的名稱，以協助 Skill 設計人員了解在不同用途下應使用哪一個連線。

​
連線設定

必填欄位會因您的 LLM 供應商而異：

​
適用於 Microsoft Foundry：

Api Key
  • 來自 Azure 入口網站的 Microsoft Foundry API 金鑰。
  • 可在以下位置找到：Azure Portal → 您的 Microsoft Foundry Resource → Keys and Endpoint。
  • 格式：一長串英數字元。
  • 範例佔位符文字：[API Key Here]
Url
  • 您的 Microsoft Foundry 端點 url。
  • 可在以下位置找到：Azure Portal → 您的 Microsoft Foundry Resource → Keys and Endpoint。
  • 格式：https://[resource].cognitiveservices.azure.com/openai/deployments/[model-name]/chat/completions?api-version=2025-01-01-preview
  • 範例：https://[redacted]resource.cognitiveservices.azure.com/openai/deployments/gpt-4.1-nano/chat/completions?api-version=2025-01-01-preview
Model Name
  • 您在 Microsoft Foundry 中已部署模型的名稱。
  • 可在以下位置找到：Azure Portal → 您的 Microsoft Foundry Resource → Deployments。
  • 範例：gpt-4.1-nano、gpt-35-turbo、gpt-4
  • 必須與您的部署名稱完全相符。

​
對於 OpenAI ChatGPT：

Api Key
  • 您在 platform.openai.com 取得的 OpenAI API 金鑰。
  • 可在以下位置找到：OpenAI Platform → API Keys。
  • 格式：以 sk- 開頭
Model
  • 要使用的特定模型（例如：gpt-4、gpt-3.5-turbo）
警告： 絕對不要分享 API 金鑰或將其包含在描述中。這些憑證可用來存取您的 LLM 服務並導致產生相關費用。

​
步驟 5：測試您的連線

在儲存之前，請先確認您的連線已正確設定。
  1. 輸入所有必要資訊後，按一下 Test 按鈕。
Testing Connection
  1. Vantage 會使用您提供的認證資訊嘗試連線到您的 LLM 服務供應商。
  2. 檢視測試結果：
    • Success（綠色勾號）： 連線運作正常。
    • Failure（紅色 X 或錯誤訊息）： 請檢查您的認證資訊並再試一次。

​
測試結果

測試成功：
  • 連線旁會出現綠色核取標記。
  • 您現在可以儲存此連線。
  • 此連線已可在文件 Skill 中使用。
測試失敗：
  • 檢視錯誤訊息以了解具體問題。
  • 常見問題：
    • 錯誤的 API 金鑰
    • 無效的端點 URL
    • 錯誤的模型名稱
    • 網路連線問題
    • 權限或額度不足
注意： 在儲存前務必先測試您的連線。這可確保您的文件 Skill 能夠成功使用該 LLM 服務提供者。

​
步驟 6：儲存您的連線

完成連線設定。
  1. 測試成功後，按一下 Add 按鈕。
  2. 您的連線現在會顯示在 Connections 清單中。
  3. 此連線會立即提供給您租戶中的所有 Skill Designer 使用者使用。
Connections 頁面現在會顯示：
  • Connection name： 您所指定的名稱
  • Description： 您輸入的說明
  • Used in Skills： 會顯示哪些技能正在使用此連線
  • Last Updated： 目前的時間戳記

​
管理現有連線

在建立連線之後，您可以對其進行管理。

​
編輯連線

  1. 從清單中選取連線。
  2. 按一下 Edit（鉛筆圖示）按鈕。
  3. 更新必要的欄位。
  4. 再次測試連線。
  5. 按一下 Save。
警告： 編輯連線會影響所有使用該連線的技能。進行變更後請徹底測試。

​
測試連線

  1. 從清單中選取該連線。
  2. 按一下 Test 按鈕（重新整理圖示）。
  3. 確認連線仍可正常運作。
  4. 這對於疑難排解或驗證認證資料很有幫助。

​
刪除連線

  1. 從清單中選取該連線。
  2. 按一下 Delete 按鈕（垃圾桶 icon）。
  3. 確認刪除。
警告： 您無法刪除目前正在使用中的 skills 所使用的連線。請先從所有 skills 中移除該連線。

​
疑難排解

​
連線測試失敗

問題： 連線測試傳回錯誤。 解決方案：
  • 無效的 API 金鑰 (API Key)：
    • 確認已完整且正確地複製金鑰。
    • 檢查是否有多餘的空白或字元。
    • 視需要在提供者的入口網站中重新產生金鑰。
  • 無效的端點 URL：
    • 確認 URL 完整且格式正確。
    • 驗證該 URL 是否對應到你的 Azure 資源。
    • 檢查部署路徑中是否有拼寫錯誤。
  • 錯誤的模型名稱：
    • 確認該部署已在你的 Azure 入口網站中建立。
    • 檢查拼字與大小寫（區分大小寫）。
    • 驗證部署目前為啟用且可用狀態。
  • 網路問題：
    • 檢查你的網際網路連線。
    • 確認防火牆設定允許向外的 HTTPS 連線。
    • 確認你的 Vantage 執行個體可以連線至 LLM 提供者。
  • 額度或權限問題：
    • 驗證你的訂閱目前為啟用狀態。
    • 檢查是否已超出速率限制。
    • 確認你的 API 金鑰具有必要的權限。

​
測試中連線正常，但在技能中失敗

問題： 測試成功，但 skill 無法使用該連線。 解決方案：
  • 重新整理 Skill Designer 頁面。
  • 在 skill 組態中重新選擇該連線。
  • 檢查 skill 的錯誤記錄以查看詳細訊息。
  • 確認 skill 已發佈且非草稿模式。

​
API 成本高於預期

問題： 來自 LLM 供應商的費用超出預期。 解決方案：
  • 檢視哪些 skill 正在使用該連線。
  • 檢查處理量與處理頻率。
  • 考慮實作速率限制（rate limiting）。
  • 透過供應商的儀表板監控用量。
  • 在測試時使用更具成本效益的模型。

​
最佳做法

​
安全性

  • 切勿在明文電子郵件或聊天中分享 API 金鑰。
  • 定期輪換憑證（建議每 90 天一次）。
  • 為開發與正式環境分別使用獨立連線。
  • 在 LLM 供應商的儀表板上監控存取日誌。
  • 實作最小權限存取原則——只授予必要的許可權。
  • 將備用憑證安全儲存，以因應緊急情況。

​
連線管理

  • 使用具描述意義的名稱，以說明用途或環境。
    • 良好範例：“Production GPT-4”、“Development Microsoft Foundry”
    • 避免：“Connection 1”、“Test”
  • 在描述欄位中標註清楚每個連線的用途
    • 包含：環境、使用情境、負責人聯絡方式
    • 排除：憑證資訊、敏感資訊
  • 定期測試連線，及早發現問題
    • 設定每月檢查排程。
    • 在任何憑證資訊變更後進行測試。
  • 追蹤使用情況以了解哪些連線目前仍在使用
    • 檢閱「用於技能」欄。
    • 將未使用的連線封存或刪除。

​
成本管理

  • 為每個使用情境選擇合適的模型
    • 針對簡單任務使用較小且較快速的模型。
    • 將進階模型保留給複雜的擷取作業。
  • 實施速率限制（若您的服務提供者支援）
    • 防止發生意外的成本飆升。
    • 防範失控的處理流程。
  • 監控使用模式
    • 在服務提供者的主控台中設定帳單警示。
    • 檢視每月成本與使用量。
  • 在您的文件 Skill 中最佳化提示詞
    • 有效率的提示詞可減少 token 使用量。
    • 透過測試與調整，在最低成本下取得最佳結果。

​
工作流程最佳化

  • 將相似的文件類型分組在一起
  • 為您的使用情境設定合適的文件 Skill
  • 在正式使用前以範例文件進行測試
  • 將您的工作流程文件化，供團隊參考

​
瞭解連接類型

​
OpenAI ChatGPT

最適用於：
  • 直接存取最新的 OpenAI 模型
  • 只需 API 金鑰即可完成設定
  • 已經使用 OpenAI 平台的組織
考量事項：
  • 資料由 OpenAI 的基礎架構處理
  • 受 OpenAI 的條款與資料政策規範
  • 需要 OpenAI 帳戶與 API 存取權

​
Microsoft Foundry

最適用於：
  • 採用 Azure 基礎架構的企業部署
  • 需要資料駐留（data residency）管控的組織
  • 與其他 Azure 服務的整合
  • 加強的安全性與法規遵循功能
  • 透過 Azure 存取 OpenAI 與其他 AI 模型
  • 已有 Azure 訂閱的組織
注意事項：
  • 需要 Azure 訂閱與完成 Microsoft Foundry 設定
  • 需更多設定（包含完整路徑的 endpoint URL、模型名稱、API 版本）
  • 可用模型可能與直接使用 OpenAI 時不同
  • URL 必須包含完整路徑：/openai/deployments/[model-name]/chat/completions?api-version=...
  • 可能提供專用功能與自訂模型託管

​
其他資源

​
摘要

您已成功完成以下操作：
  • ✅ 存取組態設定
  • ✅ 前往連線管理
  • ✅ 新增一個 LLM 連線
  • ✅ 設定連線認證資訊與相關參數
  • ✅ 測試您的連線
  • ✅ 學會如何管理連線
您的 LLM 連線現已就緒，可為 ABBYY Vantage 的文件 Skill 提供進階 AI 功能！