跳转到主要内容

​
概览

ABBYY Vantage 中的 LLM Connections 允许您将来自 OpenAI 和 Microsoft Foundry 等提供商的强大语言模型，直接集成到文档处理工作流程中。通过这些连接，您的 Document Skills 可以利用前沿 AI，更准确地完成复杂文档的提取、分类和理解。 您将完成以下任务：
  • 访问 Connections 配置
  • 添加新的 LLM 连接
  • 配置连接凭据和设置
  • 测试连接
预计完成时间： 10–15 分钟 支持的 LLM 提供商：
  • OpenAI ChatGPT
  • Microsoft Foundry
注意： 当前 LLM 连接只能通过 ABBYY Advanced Designer 在 Document Skills 中使用。

​
先决条件

在开始之前，请确认您已具备以下内容：
  1. 对 ABBYY Vantage Configuration 的管理员访问权限。
  2. 来自所选 LLM 提供商的API 凭据：
    • OpenAI： 您的 OpenAI 账户中的 API 密钥
    • Microsoft Foundry： 来自 Azure 中 Microsoft Foundry 的 API 密钥、完整的 endpoint URL（包含 /chat/completions 路径和 API 版本）以及模型名称。
  3. 与 LLM 提供商的有效订阅。
注意： LLM 连接在租户级进行管理，可供组织中所有 Skill 设计人员使用。目前，LLM 连接只能通过 ABBYY Advanced Designer 集成到 Document Skill 中。

​
步骤 1：访问配置设置

前往用于管理 LLM 连接的 Configuration 区域。
  1. 在 ABBYY Vantage 界面中，在左侧边栏找到 ADMIN 部分。
  2. 点击 Configuration（齿轮图标）。
Accessing Configuration 此时会看到 Configuration 页面，左侧菜单中包含多个选项：
  • General
  • Connections（这是我们将要使用的部分）
  • Identity Provider
  • Public API Client
  • Security Log
  • Environment Variables
  • IP Restrictions

​
步骤 2：进入 Connections

打开 Connections 管理界面。
  1. 在左侧的 Configuration 菜单中，单击 Connections。
Connections Page Connections 页面显示以下内容：
  • 现有连接列表（如有）
  • 连接详细信息：Name、Description、Used in Skills、Last Updated
  • 管理按钮：Add Connection、Test、Edit、Delete
  • 用于查找特定连接的搜索功能
**注意：**Connections 是共享资源。租户中的所有 Skill 设计人员都可以在其 Skill 中使用这些 Connections。

​
步骤 3：添加新的 LLM 连接

开始为 LLM 提供方创建新连接。
  1. 在 Connections 页面的顶部单击 + Add Connection 按钮。
  2. 将弹出 Add Connection 对话框，显示可用的 LLM 提供方：
    • OpenAI ChatGPT - 直接连接到 OpenAI 的 API
    • Microsoft Foundry - 托管在 Microsoft Azure 基础设施上的 OpenAI 及其他 AI 模型
  3. 选择所需的提供方（在本示例中，将使用 Microsoft Foundry）。
  4. 单击 Next.
注意： 不同提供方有不同的配置要求。请选择与本组织 LLM 订阅相匹配的提供方。

​
步骤 4：配置连接详细信息

填写 LLM 连接所需的必要信息。 连接配置

​
常规设置

名称
  • 此连接的唯一标识符
  • 示例：Microsoft Foundry 或 Production GPT-4
  • 在 Document Skills 中选择连接时会显示此名称。
描述
  • 可选，但推荐填写。
  • 提供有关该连接的说明信息。
  • 示例：“Microsoft Foundry Connection 1” 或 “GPT-4 Production API”。
  • **重要提示：**不要在描述中包含敏感凭据。
**注意：**请选择具有描述性的名称，以帮助 Skill 设计人员理解在不同用途下应使用哪个连接。

​
连接设置

所需的 field 取决于你所使用的 LLM 提供商：

​
适用于 Microsoft Foundry：

Api Key
  • 来自 Azure 门户的 Microsoft Foundry API 密钥。
  • 查找路径：Azure 门户 → 您的 Microsoft Foundry 资源 → Keys and Endpoint。
  • 格式：一长串字母和数字组成的字符串。
  • 示例占位符：[API Key Here]
Url
  • 您的 Microsoft Foundry endpoint URL。
  • 查找路径：Azure 门户 → 您的 Microsoft Foundry 资源 → Keys and Endpoint。
  • 格式：https://[resource].cognitiveservices.azure.com/openai/deployments/[model-name]/chat/completions?api-version=2025-01-01-preview
  • 示例：https://[redacted]resource.cognitiveservices.azure.com/openai/deployments/gpt-4.1-nano/chat/completions?api-version=2025-01-01-preview
Model Name
  • 您在 Microsoft Foundry 中已部署模型的名称。
  • 查找路径：Azure 门户 → 您的 Microsoft Foundry 资源 → Deployments。
  • 示例：gpt-4.1-nano, gpt-35-turbo, gpt-4
  • 此名称必须与您的部署完全一致。

​
对于 OpenAI ChatGPT：

API 密钥
  • 您在 platform.openai.com 上的 OpenAI API 密钥。
  • 查找路径：OpenAI Platform → API Keys。
  • 格式：以 sk- 开头
模型
  • 要使用的具体模型（例如：gpt-4、gpt-3.5-turbo）
警告： 切勿共享 API 密钥，也不要将其写入描述中。这些凭据可用于访问您的 LLM 服务，并会产生相关费用。

​
步骤 5：测试您的连接

在保存之前，请确保您的连接已正确配置。
  1. 输入所有必填信息后，单击 Test 按钮。
Testing Connection
  1. Vantage 将使用您提供的凭据尝试连接到您的 LLM 提供商。
  2. 查看测试结果：
    • 成功（绿色勾号）： 连接正常可用。
    • 失败（红色 X 或错误消息）： 请检查您的凭据，然后重试。

​
测试结果

测试成功：
  • 您的连接旁会显示绿色对号图标。
  • 您现在可以保存该连接。
  • 此连接已经可以在 Document Skills 中使用。
测试失败：
  • 查看错误消息以了解具体问题。
  • 常见问题包括：
    • API key 不正确
    • endpoint URL 无效
    • 模型名称错误
    • 网络连接问题
    • 权限或配额不足
注意： 在保存之前务必先测试您的连接。这样可以确保您的 Document Skills 能够成功使用该 LLM 提供商。

​
步骤 6：保存连接

完成连接设置。
  1. 测试成功后，单击 Add 按钮。
  2. 您的连接现在会出现在 Connections 列表中。
  3. 此连接会立即可供租户中所有 Skill 设计者使用。
Connections 页面现在会显示：
  • Connection name： 按您指定的名称
  • Description： 您填写的说明
  • Used in Skills： 将显示哪些 Skill 正在使用此连接
  • Last Updated： 当前时间戳

​
管理现有连接

创建连接后，您可以对连接进行管理。

​
编辑连接

  1. 从列表中选择连接。
  2. 点击 Edit 按钮（铅笔图标）。
  3. 更新必要的 field。
  4. 再次测试该连接。
  5. 点击 Save。
警告： 编辑连接会影响所有使用该连接的 Skill。修改后请进行充分测试。

​
测试连接

  1. 从列表中选择该连接。
  2. 单击 Test 按钮（带刷新图标）。
  3. 确认该连接仍在正常工作。
  4. 这对于排查问题或验证凭据非常有用。

​
删除连接

  1. 从列表中选择该连接。
  2. 点击 Delete 按钮（垃圾桶图标）。
  3. 确认删除。
警告： 无法删除当前正被处于活动状态的 Skill 使用的连接。请先在所有 Skill 中移除该连接。

​
故障排除

​
连接测试失败

问题： 连接测试返回错误。 解决方案：
  • API 密钥无效：
    • 确认已完整且正确地复制密钥。
    • 检查是否存在多余空格或字符。
    • 如有需要，在提供方门户中重新生成密钥。
  • 终结点 URL 无效：
    • 确保 URL 完整且格式正确。
    • 验证该 URL 与您的 Azure 资源匹配。
    • 检查部署路径中是否有拼写错误。
  • 模型名称错误：
    • 确认该部署在您的 Azure 门户中已存在。
    • 检查拼写和大小写（区分大小写）。
    • 验证部署处于启用状态且可用。
  • 网络问题：
    • 检查您的互联网连接。
    • 验证防火墙设置允许出站 HTTPS 连接。
    • 确认您的 Vantage 实例可以访问 LLM 提供商。
  • 配额或权限问题：
    • 验证您的订阅处于激活状态。
    • 检查是否已超出请求速率限制。
    • 确保您的 API 密钥具有所需权限。

​
连接测试通过但在 Skills 中失败

问题： 测试成功，但 Skills 无法使用该连接。 解决方案：
  • 刷新 Skill Designer 页面。
  • 在 Skill 配置中重新选择该连接。
  • 检查 Skill 的错误日志以获取具体错误信息。
  • 确认该 Skill 已发布，而不是处于草稿模式。

​
API 成本高于预期

问题： LLM 提供商收取了超出预期的费用。 解决方案：
  • 查看当前哪些 Skill 在使用该连接。
  • 检查处理量和处理频率。
  • 考虑实施请求速率限制（限流）。
  • 通过提供商的控制台/仪表板监控使用情况。
  • 在测试阶段使用更具成本效益的模型。

​
最佳实践

​
安全性

  • 切勿共享 API 密钥，尤其不要通过明文电子邮件或聊天工具发送。
  • 定期轮换凭据（建议每 90 天一次）。
  • 为开发和生产环境使用单独的连接。
  • 在 LLM 提供商的仪表板中监控访问日志。
  • 实施最小权限访问原则——只授予必要的权限。
  • 将备份凭据安全存储，以备紧急情况使用。

​
连接管理

  • 使用具有描述性的名称 来指明用途或环境。
    • 示例（推荐）：“Production GPT-4”、“Development Microsoft Foundry”
    • 避免使用：“Connection 1”、“Test”
  • 在描述中注明 每个连接的用途
    • 包含：环境、使用场景、所有者联系方式
    • 不包含：凭据、敏感信息
  • 定期测试连接 以便及早发现问题
    • 设置每月检查计划。
    • 在任何凭据变更后进行测试。
  • 跟踪使用情况 以了解哪些连接正在使用
    • 查看“Used in Skills”列。
    • 归档或删除未使用的连接。

​
成本管理

  • 为每个用例选择合适的模型。
    • 对于简单任务使用更小、更快速的模型。
    • 将高级模型保留用于复杂的抽取场景。
  • 实施限流/速率限制（如果你的服务提供商支持）。
    • 防止出现意外的成本激增。
    • 防止处理任务失控。
  • 监控使用情况和模式
    • 在服务提供商的管理控制台中设置计费提醒。
    • 定期审查每月成本和用量。
  • 在你的 Document Skills 中优化提示（prompts）。
    • 高效的提示可以减少 token 使用量。
    • 通过测试和迭代优化，在尽可能降低成本的前提下获得最佳结果。

​
工作流优化

  • 将相似的文档类型归为一组
  • 针对您的用例配置合适的 Document skill
  • 在投入生产前使用示例文档进行测试
  • 将您的工作流记录成文档，供团队参考

​
了解连接类型

​
OpenAI ChatGPT

最适用于：
  • 直接访问最新的 OpenAI 模型
  • 配置简单，只需一个 API 密钥
  • 已经在使用 OpenAI 平台的组织
注意事项：
  • 数据在 OpenAI 的基础设施上处理
  • 受 OpenAI 条款和数据政策约束
  • 需要 OpenAI 账户和 API 访问权限

​
Microsoft Foundry

最适合：
  • 基于 Azure 基础设施的企业级部署
  • 需要数据属地/数据驻留控制的组织
  • 需要与其他 Azure 服务集成的组织
  • 对增强型安全性和合规特性有要求的环境
  • 通过 Azure 访问 OpenAI 和其他 AI 模型的场景
  • 已有 Azure 订阅的组织
注意事项：
  • 需要 Azure 订阅并完成 Microsoft Foundry 的设置
  • 需要更多配置（带完整路径的 endpoint URL、model 名称、API 版本）
  • 可用模型可能与直接使用 OpenAI 的有所不同
  • URL 必须包含完整路径：/openai/deployments/[model-name]/chat/completions?api-version=...
  • 可能提供更专业的能力以及自定义模型托管选项

​
其他资源

​
总结

你已成功完成以下步骤：
  • ✅ 已打开 Configuration 设置
  • ✅ 已进入 Connections 管理
  • ✅ 已添加新的 LLM 连接
  • ✅ 已配置连接凭据和相关设置
  • ✅ 已测试连接
  • ✅ 已学习如何管理连接
你的 LLM 连接现已准备就绪，可以为 ABBYY Vantage 中的 Document Skill 提供高级 AI 能力支持！