跳转到主要内容

​
概述

ABBYY Vantage 中的 LLM 连接允许您将来自 OpenAI 和 Microsoft Foundry 等提供商的强大语言模型直接集成到文档处理工作流中。通过这些连接，您的 Document Skill 可以利用前沿 AI，更精准地完成对复杂文档的提取、分类和理解。 您将完成以下操作：
  • 进入 Connections 配置
  • 添加新的 LLM 连接
  • 配置连接凭据和相关设置
  • 测试连接
预计完成时间： 10–15 分钟 支持的 LLM 提供商：
  • OpenAI ChatGPT
  • Microsoft Foundry
注意： 目前，LLM 连接仅能通过 ABBYY Advanced Designer 在 Document Skill 中使用。

​
先决条件

在开始之前，请确保已具备：
  1. 对 ABBYY Vantage Configuration 的管理员访问权限。
  2. 来自所选 LLM 提供商的API 凭据：
    • OpenAI： 来自 OpenAI 帐户的 API 密钥
    • Microsoft Foundry： 来自 Azure 中 Microsoft Foundry 的 API 密钥、完整的 endpoint URL（包含 /chat/completions 路径和 API 版本）以及模型名称。
  3. 与 LLM 提供商的有效订阅服务。
**注意：**LLM 连接在租户级别进行管理，可供组织中的所有 Skill 设计者使用。目前，LLM 连接只能通过 ABBYY Advanced Designer 集成到 Document Skills 中。

​
步骤 1：访问配置设置

导航到 Configuration 区域，以管理 LLM 连接。
  1. 在 ABBYY Vantage 界面中，在左侧边栏找到 ADMIN 部分。
  2. 单击 Configuration（齿轮图标）。
Accessing Configuration 此时会看到 Configuration 页面，左侧菜单中包含多个选项：
  • General
  • Connections（后续操作将在此进行）
  • Identity Provider
  • Public API Client
  • Security Log
  • Environment Variables
  • IP Restrictions

​
步骤 2：导航到 Connections

进入 Connections 管理界面。
  1. 在左侧 Configuration 菜单中，点击 Connections。
Connections Page Connections 页面显示如下内容：
  • 现有连接列表（如有）
  • 连接详细信息：Name、Description、Used in Skills、Last Updated
  • 管理按钮：Add Connection、Test、Edit、Delete
  • 搜索功能，用于查找特定连接
**注意：**Connections 是共享资源。租户中的所有 Skill 设计人员都可以在其 Skill 中使用这些连接。

​
步骤 3：添加新的 LLM 连接

开始创建到 LLM 提供商的新连接。
  1. 单击 Connections 页面顶部的 + Add Connection 按钮。
  2. 会弹出 Add Connection 对话框，显示可用的 LLM 提供商：
    • OpenAI ChatGPT - 直接连接到 OpenAI 的 API
    • Microsoft Foundry - 托管在 Microsoft Azure 基础架构上的 OpenAI 和其他 AI 模型
  3. 选择你需要的提供商（在本示例中，我们将使用 Microsoft Foundry）。
  4. 单击 Next.
注意： 每个提供商都有不同的配置要求。请选择与你的组织所订阅的 LLM 服务相匹配的提供商。

​
步骤 4：配置连接详情

填写 LLM 连接所需的配置信息。 连接配置

​
常规设置

名称
  • 此连接的唯一标识符
  • 示例：Microsoft Foundry 或 Production GPT-4
  • 在 Document skill 中选择连接时会显示此名称。
描述
  • 可选，但推荐填写。
  • 提供有关该连接的有用背景信息。
  • 示例：“Microsoft Foundry Connection 1” 或 “GPT-4 Production API”。
  • **重要：**不要在描述中包含敏感凭证信息。
**注意：**请选择具有描述性的名称，以帮助 Skill 设计人员了解在不同用途下应使用哪个连接。

​
连接设置

所需的 field 取决于您的 LLM 提供商：

​
适用于 Microsoft Foundry：

API Key
  • 你在 Azure 门户中的 Microsoft Foundry API 密钥。
  • 位置：Azure 门户 → 你的 Microsoft Foundry 资源 → Keys and Endpoint。
  • 格式：一个由字母和数字组成的长字符串。
  • 示例占位符：[API Key Here]
Url
  • 你的 Microsoft Foundry 终结点 URL。
  • 位置：Azure 门户 → 你的 Microsoft Foundry 资源 → Keys and Endpoint。
  • 格式：https://[resource].cognitiveservices.azure.com/openai/deployments/[model-name]/chat/completions?api-version=2025-01-01-preview
  • 示例：https://[redacted]resource.cognitiveservices.azure.com/openai/deployments/gpt-4.1-nano/chat/completions?api-version=2025-01-01-preview
Model Name
  • 你在 Microsoft Foundry 中部署的模型名称。
  • 位置：Azure 门户 → 你的 Microsoft Foundry 资源 → Deployments。
  • 示例：gpt-4.1-nano、gpt-35-turbo、gpt-4
  • 该名称必须与你的部署完全一致。

​
对于 OpenAI ChatGPT：

API Key
  • 您在 platform.openai.com 上的 OpenAI API 密钥。
  • 查找路径：OpenAI Platform → API Keys。
  • 格式：以 sk- 开头
Model
  • 要使用的具体模型（例如：gpt-4、gpt-3.5-turbo）
警告： 切勿共享 API 密钥，也不要将其写入说明或描述中。这些凭据可用于访问您的 LLM 服务，并会产生相应费用。

​
步骤 5：测试您的连接

在保存之前，请先确认您的连接已正确配置。
  1. 输入所有必填信息后，单击 Test 按钮。
Testing Connection
  1. Vantage 将使用您提供的凭据尝试连接到您的 LLM 提供商。
  2. 查看测试结果：
    • Success（绿色对勾）： 连接配置正确，可正常使用。
    • Failure（红色 X 或错误消息）： 请检查您的凭据，然后重试。

​
测试结果

测试成功：
  • 您的连接旁会显示绿色勾选标记。
  • 现在您可以保存该连接。
  • 该连接已可在 Document Skills 中使用。
测试失败：
  • 查看错误信息以了解具体问题。
  • 常见问题：
    • API key 不正确
    • endpoint URL 无效
    • 模型名称错误
    • 网络连接问题
    • 权限或配额不足
注意： 在保存之前务必先测试您的连接。这样可以确保您的 Document Skills 能够成功使用该 LLM 提供商。

​
步骤 6：保存连接

完成连接设置。
  1. 测试成功后，单击 Add 按钮。
  2. 该连接现在会显示在 Connections 列表中。
  3. 此连接会立即对租户中的所有 Skill 设计人员开放使用。
Connections 页面现在会显示：
  • Connection name： 按您指定的名称
  • Description： 您填写的说明
  • Used in Skills： 显示正在使用此连接的 Skill
  • Last Updated： 当前时间戳

​
管理现有连接

创建连接后，您可以对其进行管理。

​
编辑连接

  1. 从列表中选择该连接。
  2. 点击 Edit 按钮（铅笔 icon）。
  3. 更新必要的字段。
  4. 再次测试该连接。
  5. 点击 Save。
警告： 编辑连接会影响所有使用它的 Skill。更改后请务必进行充分测试。

​
测试连接

  1. 从列表中选择该连接。
  2. 单击 Test 按钮（刷新图标）。
  3. 确认该连接仍在正常工作。
  4. 这对于排查问题或验证凭据非常有用。

​
删除连接

  1. 从列表中选择该连接。
  2. 点击 Delete 按钮（垃圾桶图标）。
  3. 确认删除。
警告： 无法删除当前正被活动 Skill 使用的连接。请先在所有 Skill 中移除该连接。

​
故障排除

​
连接测试失败

问题： 连接测试返回错误信息。 解决方案：
  • API 密钥无效：
    • 确认已完整、准确地复制了整个密钥。
    • 检查是否存在多余的空格或字符。
    • 如有需要，在提供商门户中重新生成密钥。
  • 终结点 URL 无效：
    • 确保 URL 完整且格式正确。
    • 验证该 URL 与您的 Azure 资源匹配。
    • 检查部署路径中是否存在拼写错误。
  • 模型名称错误：
    • 确认该部署已在 Azure 门户中创建。
    • 检查拼写和大小写（区分大小写）。
    • 验证该部署处于活动且可用的状态。
  • 网络问题：
    • 检查您的互联网连接。
    • 验证防火墙设置是否允许出站 HTTPS 连接。
    • 确认您的 Vantage 实例可以访问 LLM 提供商。
  • 配额或权限问题：
    • 验证您的订阅处于有效状态。
    • 检查是否已超出速率限制。
    • 确保您的 API 密钥具有必要的权限。

​
在测试中连接正常但在 Skills 中失败

问题： 测试成功，但 Skill 无法使用该连接。 解决方案：
  • 刷新 Skill Designer 页面。
  • 在 Skill 配置中重新选择该连接。
  • 检查 Skill 的错误日志以获取具体报错信息。
  • 确认 Skill 已发布且不处于草稿状态。

​
API 成本高于预期

问题： 来自 LLM 提供商的超出预期费用。 解决方案：
  • 检查哪些 Skill 正在使用该连接。
  • 检查处理量和处理频率。
  • 考虑实施限流策略。
  • 通过提供商的控制台监控使用情况。
  • 在测试阶段使用更具成本效益的模型。

​
最佳实践

​
安全性

  • 切勿共享 API 密钥，尤其不要通过明文电子邮件或聊天工具发送。
  • 定期轮换凭据（建议每 90 天一次）。
  • 为开发与生产环境分别使用独立连接。
  • 在 LLM 提供商的控制台中监控访问日志。
  • 实施最小权限访问原则——只授予必需的权限。
  • 将备份凭据安全存储，以备紧急情况使用。

​
连接管理

  • 使用具有描述性的名称 来表明用途或环境。
    • 推荐示例：“Production GPT-4”、“Development Microsoft Foundry”
    • 避免：“Connection 1”、“Test”
  • 在描述字段中记录 每个连接的用途
    • 包含：环境、用例、负责人联系方式
    • 不包含：凭据、敏感信息
  • 定期测试连接，以尽早发现问题
    • 设定每月评审计划。
    • 在任何凭据变更后进行测试。
  • 跟踪使用情况，以了解哪些连接正在使用
    • 查看“Used in Skills”列。
    • 归档或删除未使用的连接。

​
成本管理

  • 为每个用例选择合适的模型
    • 对于简单任务使用更小、更快速的模型。
    • 将高级模型保留用于复杂的数据提取。
  • 实现速率限制（如果你的服务提供商支持）
    • 防止出现意外的成本激增。
    • 保护系统免受失控处理的影响。
  • 监控使用模式
    • 在服务提供商的控制台中设置计费告警。
    • 定期审查每月成本和使用情况。
  • 优化 Document Skills 中的提示词
    • 高效的提示词可以减少 token 使用量。
    • 通过测试和迭代优化，以在最低成本下获得最佳结果。

​
工作流优化

  • 将相似的文档类型归类在一起
  • 为你的用例配置合适的 Document Skill
  • 在投入生产前使用示例文档进行测试
  • 将你的工作流记录成文档，供团队参考

​
了解连接类型

​
OpenAI ChatGPT

最适用于：
  • 直接访问最新的 OpenAI 模型
  • 只需 API 密钥即可完成的简单设置
  • 已在使用 OpenAI 平台的组织
注意事项：
  • 数据由 OpenAI 的基础设施进行处理
  • 受 OpenAI 条款和数据政策约束
  • 需要 OpenAI 账户和 API 访问权限

​
Microsoft Foundry

最适合：
  • 基于 Azure 基础架构的企业级部署
  • 有数据驻留要求的组织
  • 需要与其他 Azure 服务集成的场景
  • 需要增强安全性和合规功能的环境
  • 通过 Azure 访问 OpenAI 及其他 AI 模型
  • 已经拥有 Azure 订阅的组织
注意事项：
  • 需要 Azure 订阅以及 Microsoft Foundry 的部署和配置
  • 需要更多配置（带完整路径的端点 URL、模型名称、API 版本）
  • 可用模型可能与直接使用 OpenAI 时有所不同
  • URL 必须包含完整路径：/openai/deployments/[model-name]/chat/completions?api-version=...
  • 可能提供专用能力和自定义模型托管

​
其他资源

​
总结

您已经成功完成了以下操作：
  • ✅ 访问 Configuration 设置
  • ✅ 进入 Connections 管理
  • ✅ 添加新的 LLM 连接
  • ✅ 配置连接凭据和相关设置
  • ✅ 测试连接
  • ✅ 学习如何管理连接
现在，您的 LLM 连接已经可以为 ABBYY Vantage 中的 Document Skills 提供高级 AI 功能支持了！