Zum Hauptinhalt springen

​
Übersicht

LLM-Verbindungen in ABBYY Vantage ermöglichen Ihnen, leistungsstarke Sprachmodelle von Anbietern wie OpenAI und Microsoft Foundry direkt in Ihre Dokumentenverarbeitungsworkflows zu integrieren. Diese Verbindungen versetzen Ihre Document-Skills in die Lage, modernste KI für eine präzisere Extraktion, Klassifizierung und ein besseres Verständnis komplexer Dokumente zu nutzen. Was Sie in diesem Abschnitt tun werden:
  • Auf die Connections-Konfiguration zugreifen
  • Eine neue LLM-Verbindung hinzufügen
  • Anmeldeinformationen und Einstellungen für die Verbindung konfigurieren
  • Ihre Verbindung testen
Benötigte Zeit: 10–15 Minuten Unterstützte LLM-Anbieter:
  • OpenAI ChatGPT
  • Microsoft Foundry
Hinweis: LLM-Verbindungen können derzeit nur in Document-Skills im ABBYY Advanced Designer verwendet werden.

​
Voraussetzungen

Stellen Sie vor Beginn sicher, dass Sie Folgendes haben:
  1. Administratorzugriff auf die ABBYY Vantage-Konfiguration.
  2. API-Anmeldedaten von Ihrem ausgewählten LLM-Anbieter:
    • OpenAI: API-Schlüssel aus Ihrem OpenAI-Konto
    • Microsoft Foundry: API-Schlüssel, vollständige Endpoint-URL (einschließlich /chat/completions-Pfad und API-Version) und Modellname aus Microsoft Foundry in Azure.
  3. Aktives Abonnement bei Ihrem LLM-Anbieter.
Hinweis: LLM-Verbindungen werden auf Mandantenebene verwaltet und können von allen Skill-Designern in Ihrer Organisation verwendet werden. Derzeit können LLM-Verbindungen nur über ABBYY Advanced Designer in Document Skills integriert werden.

​
Schritt 1: Konfigurationseinstellungen aufrufen

Navigieren Sie zum Bereich Configuration, über den Sie LLM-Verbindungen verwalten.
  1. Suchen Sie in der ABBYY Vantage-Oberfläche den Abschnitt ADMIN in der linken Seitenleiste.
  2. Klicken Sie auf Configuration (Zahnrad-Symbol).
Accessing Configuration Sie sehen die Seite Configuration mit mehreren Optionen im linken Menü:
  • General
  • Connections (hier werden wir arbeiten)
  • Identity Provider
  • Public API Client
  • Security Log
  • Environment Variables
  • IP Restrictions

​
Schritt 2: Zu Connections wechseln

Greifen Sie auf die Schnittstelle zur Verwaltung von Connections zu.
  1. Klicken Sie im linken Menü Configuration auf Connections.
Connections Page Die Seite Connections zeigt Folgendes an:
  • Liste der vorhandenen Verbindungen (falls vorhanden)
  • Verbindungsdetails: Name, Beschreibung, Verwendet in Skills, Zuletzt aktualisiert
  • Verwaltungsschaltflächen: Add Connection, Test, Edit, Delete
  • Suchfunktion zum Auffinden bestimmter Verbindungen
Hinweis: Verbindungen sind freigegebene Ressourcen. Alle Skill Designer in Ihrem Mandanten können diese Verbindungen in ihren Skills verwenden.

​
Schritt 3: Neue LLM-Verbindung hinzufügen

Beginnen Sie mit dem Einrichten einer neuen Verbindung zu Ihrem LLM-Anbieter.
  1. Klicken Sie oben auf der Seite Connections auf die Schaltfläche + Add Connection.
  2. Das Dialogfeld Add Connection wird angezeigt und zeigt die verfügbaren LLM-Anbieter an:
    • OpenAI ChatGPT – Direkte Verbindung zur API von OpenAI
    • Microsoft Foundry – OpenAI und andere KI-Modelle, die auf der Azure-Infrastruktur von Microsoft gehostet werden
  3. Wählen Sie den gewünschten Anbieter aus (in diesem Beispiel verwenden wir Microsoft Foundry).
  4. Klicken Sie auf Next.
Hinweis: Jeder Anbieter hat unterschiedliche Konfigurationsanforderungen. Wählen Sie den Anbieter, der zu dem LLM-Abonnement Ihrer Organisation passt.

​
Schritt 4: Verbindungsdetails konfigurieren

Geben Sie die erforderlichen Informationen für Ihre LLM-Verbindung ein. Connection Configuration

​
Allgemeine Einstellungen

Name
  • Eine eindeutige Kennung für diese Verbindung
  • Beispiel: Microsoft Foundry oder Production GPT-4
  • Dieser Name wird beim Auswählen von Verbindungen in Document-Skills angezeigt.
Beschreibung
  • Optional, aber empfohlen.
  • Geben Sie nützliche Kontextinformationen zu der Verbindung an.
  • Beispiel: „Microsoft Foundry Connection 1“ oder „GPT-4 Production API“.
  • Wichtig: Nehmen Sie keine sensiblen Zugangsdaten in die Beschreibung auf.
Hinweis: Wählen Sie aussagekräftige Namen, die Skill-Designern helfen zu verstehen, welche Verbindung sie für unterschiedliche Zwecke verwenden sollen.

​
Verbindungseinstellungen

Die erforderlichen Felder hängen von Ihrem LLM-Anbieter ab:

​
Für Microsoft Foundry:

Api Key
  • Ihr Microsoft Foundry API-Schlüssel aus dem Azure-Portal.
  • Zu finden in: Azure Portal → Your Microsoft Foundry Resource → Keys and Endpoint.
  • Format: Eine lange alphanumerische Zeichenfolge.
  • Beispiel-Platzhalter: [API Key Here]
Url
  • Ihre Microsoft Foundry-Endpunkt-URL.
  • Zu finden in: Azure Portal → Your Microsoft Foundry Resource → Keys and Endpoint.
  • Format: https://[resource].cognitiveservices.azure.com/openai/deployments/[model-name]/chat/completions?api-version=2025-01-01-preview
  • Beispiel: https://[redacted]resource.cognitiveservices.azure.com/openai/deployments/gpt-4.1-nano/chat/completions?api-version=2025-01-01-preview
Model Name
  • Der Name Ihres bereitgestellten Modells in Microsoft Foundry.
  • Zu finden in: Azure Portal → Your Microsoft Foundry Resource → Deployments.
  • Beispiele: gpt-4.1-nano, gpt-35-turbo, gpt-4
  • Dieser Name muss exakt mit Ihrem Deployment übereinstimmen.

​
Für OpenAI ChatGPT:

API-Schlüssel
  • Ihr OpenAI API-Schlüssel von platform.openai.com.
  • Zu finden unter: OpenAI Platform → API Keys.
  • Format: Beginnt mit sk-
Modell
  • Das zu verwendende Modell (z. B. gpt-4, gpt-3.5-turbo)
Warnung: Geben Sie niemals API-Schlüssel weiter oder fügen Sie sie in Beschreibungen ein. Diese Zugangsdaten gewähren Zugriff auf Ihre LLM-Dienste und die damit verbundenen Kosten.

​
Schritt 5: Testen Sie Ihre Verbindung

Stellen Sie sicher, dass Ihre Verbindung korrekt konfiguriert ist, bevor Sie sie speichern.
  1. Nachdem Sie alle erforderlichen Informationen eingegeben haben, klicken Sie auf Test.
Testing Connection
  1. Vantage versucht, mithilfe der von Ihnen angegebenen Anmeldedaten eine Verbindung zu Ihrem LLM-Anbieter herzustellen.
  2. Achten Sie auf das Testergebnis:
    • Erfolg (grünes Häkchen): Die Verbindung funktioniert korrekt.
    • Fehler (rotes X oder Fehlermeldung): Überprüfen Sie Ihre Anmeldedaten und versuchen Sie es erneut.

​
Testergebnisse

Erfolgreicher Test:
  • Ein grünes Häkchen erscheint neben Ihrer Verbindung.
  • Sie können die Verbindung jetzt speichern.
  • Die Verbindung ist bereit zur Verwendung in Document-Skills.
Fehlgeschlagener Test:
  • Überprüfen Sie die Fehlermeldung auf spezifische Probleme.
  • Häufige Ursachen:
    • Falscher API-Schlüssel
    • Ungültige Endpoint-URL
    • Falscher Modellname
    • Netzwerkverbindungsprobleme
    • Unzureichende Berechtigungen oder Kontingente
Hinweis: Testen Sie Ihre Verbindung immer, bevor Sie sie speichern. So stellen Sie sicher, dass Ihre Document-Skills den LLM-Provider erfolgreich verwenden können.

​
Schritt 6: Verbindung speichern

Schließen Sie die Einrichtung der Verbindung ab.
  1. Sobald der Test erfolgreich abgeschlossen wurde, klicken Sie auf die Schaltfläche Add.
  2. Ihre Verbindung wird nun in der Liste Connections angezeigt.
  3. Die Verbindung steht sofort allen Skill Designern in Ihrem Mandanten zur Verfügung.
Die Seite Connections zeigt jetzt Folgendes an:
  • Connection name: Wie von Ihnen angegeben
  • Description: Ihre hilfreiche Beschreibung
  • Used in Skills: Zeigt an, welche Skills diese Verbindung verwenden
  • Last Updated: Aktueller Zeitstempel

​
Bestehende Verbindungen verwalten

Sie können Ihre Verbindungen verwalten, sobald sie erstellt wurden.

​
Eine Verbindung bearbeiten

  1. Wählen Sie die Verbindung in der Liste aus.
  2. Klicken Sie auf die Schaltfläche Edit (Stift-Symbol).
  3. Aktualisieren Sie die erforderlichen Felder.
  4. Testen Sie die Verbindung erneut.
  5. Klicken Sie auf Save.
Warnung: Das Bearbeiten einer Verbindung wirkt sich auf alle Skills aus, die diese Verbindung verwenden. Testen Sie sie nach den Änderungen gründlich.

​
Verbindung testen

  1. Wählen Sie die Verbindung aus der Liste aus.
  2. Klicken Sie auf die Schaltfläche Test (Aktualisierungssymbol).
  3. Überprüfen Sie, ob die Verbindung noch funktioniert.
  4. Dies ist hilfreich für die Fehlerbehebung oder zur Überprüfung von Zugangsdaten.

​
Eine Verbindung löschen

  1. Wählen Sie die Verbindung in der Liste aus.
  2. Klicken Sie auf die Schaltfläche Delete (Papierkorbsymbol).
  3. Bestätigen Sie das Löschen.
Warnung: Sie können eine Verbindung, die derzeit in aktiven Skills verwendet wird, nicht löschen. Entfernen Sie die Verbindung zunächst aus allen Skills.

​
Fehlerbehebung

​
Verbindungstest schlägt fehl

Problem: Der Verbindungstest meldet einen Fehler. Lösungen:
  • Ungültiger API-Schlüssel:
    • Überprüfen Sie, ob Sie den gesamten Schlüssel korrekt kopiert haben.
    • Prüfen Sie auf zusätzliche Leerzeichen oder Zeichen.
    • Generieren Sie den Schlüssel bei Bedarf im Portal Ihres Anbieters neu.
  • Ungültige Endpunkt-URL:
    • Stellen Sie sicher, dass die URL vollständig und korrekt formatiert ist.
    • Verifizieren Sie, dass die URL Ihrer Azure-Ressource entspricht.
    • Prüfen Sie auf Tippfehler im Deployment-Pfad.
  • Falscher Modellname:
    • Vergewissern Sie sich, dass das Deployment in Ihrem Azure-Portal vorhanden ist.
    • Prüfen Sie Schreibweise und Groß-/Kleinschreibung (Groß-/Kleinschreibung wird unterschieden).
    • Vergewissern Sie sich, dass das Deployment aktiv und verfügbar ist.
  • Netzwerkprobleme:
    • Überprüfen Sie Ihre Internetverbindung.
    • Stellen Sie sicher, dass die Firewall-Einstellungen ausgehende HTTPS-Verbindungen zulassen.
    • Vergewissern Sie sich, dass Ihre Vantage-Instanz den LLM-Anbieter erreichen kann.
  • Kontingente oder Berechtigungen:
    • Vergewissern Sie sich, dass Ihr Abonnement aktiv ist.
    • Prüfen Sie, dass Sie keine Rate-Limits überschritten haben.
    • Stellen Sie sicher, dass Ihr API-Schlüssel über die notwendigen Berechtigungen verfügt.

​
Verbindung funktioniert im Test, schlägt aber in Skills fehl

Problem: Der Test ist erfolgreich, aber Skills können die Verbindung nicht verwenden. Lösungen:
  • Aktualisieren Sie die Skill-Designer-Seite.
  • Wählen Sie die Verbindung in der Konfiguration des Skills erneut aus.
  • Prüfen Sie die Fehlerprotokolle des Skills auf spezifische Meldungen.
  • Stellen Sie sicher, dass der Skill veröffentlicht ist und sich nicht im Entwurfsmodus befindet.

​
API-Kosten höher als erwartet

Problem: Unerwartete Kosten von Ihrem LLM-Anbieter. Lösungen:
  • Überprüfen Sie, welche Skills die Verbindung nutzen.
  • Prüfen Sie Verarbeitungsvolumen und -häufigkeit.
  • Erwägen Sie die Einführung von Rate-Limiting.
  • Überwachen Sie die Nutzung über das Dashboard Ihres Anbieters.
  • Verwenden Sie kostengünstigere Modelle für Tests.

​
Bewährte Verfahren

​
Sicherheit

  • API-Schlüssel niemals in Klartext per E-Mail oder Chat weitergeben.
  • Zugangsdaten regelmäßig ändern (alle 90 Tage empfohlen).
  • Separate Verbindungen für Entwicklung und Produktion verwenden.
  • Zugriffsprotokolle im Dashboard Ihres LLM-Anbieters überwachen.
  • Least-Privilege-Prinzip umsetzen – nur unbedingt erforderliche Berechtigungen vergeben.
  • Backup-Zugangsdaten für Notfälle sicher aufbewahren.

​
Verbindungsverwaltung

  • Verwenden Sie aussagekräftige Namen, die Zweck oder Umgebung erkennen lassen.
    • Gut: „Production GPT-4“, „Development Microsoft Foundry“
    • Vermeiden Sie: „Connection 1“, „Test“
  • Dokumentieren Sie in den Beschreibungen, wofür jede Verbindung verwendet wird.
    • Geben Sie an: Umgebung, Anwendungsfall, Kontakt der verantwortlichen Person
    • Lassen Sie weg: Zugangsdaten, vertrauliche Informationen
  • Testen Sie die Verbindungen regelmäßig, um Probleme frühzeitig zu erkennen.
    • Richten Sie einen monatlichen Prüfplan ein.
    • Testen Sie nach jeder Änderung der Zugangsdaten.
  • Verfolgen Sie die Nutzung, um zu verstehen, welche Verbindungen aktiv sind.
    • Überprüfen Sie die Spalte „Used in Skills“.
    • Archivieren oder löschen Sie nicht verwendete Verbindungen.

​
Kostenmanagement

  • Wählen Sie geeignete Modelle für jeden Anwendungsfall.
    • Verwenden Sie kleinere, schnellere Modelle für einfache Aufgaben.
    • Reservieren Sie leistungsstarke Modelle für komplexe Extraktionen.
  • Implementieren Sie eine Ratenbegrenzung (Rate-Limiting), falls Ihr Anbieter dies unterstützt.
    • Verhindert unerwartete Kostenspitzen.
    • Schützt vor unkontrollierter Verarbeitung.
  • Überwachen Sie Nutzungsmuster
    • Richten Sie Abrechnungsbenachrichtigungen im Dashboard Ihres Anbieters ein.
    • Überprüfen Sie Kosten und Nutzung regelmäßig auf Monatsbasis.
  • Optimieren Sie Prompts in Ihren Document-Skills.
    • Effiziente Prompts reduzieren den Token-Verbrauch.
    • Testen und verfeinern Sie sie, um bei möglichst geringen Kosten die besten Ergebnisse zu erzielen.

​
Workflow-Optimierung

  • Gruppieren Sie ähnliche Dokumenttypen
  • Konfigurieren Sie passende Document-Skills für Ihren Anwendungsfall
  • Testen Sie mit Beispieldokumenten vor dem Einsatz in der Produktion
  • Dokumentieren Sie Ihren Workflow als Referenz für das Team

​
Verbindungsarten verstehen

​
OpenAI ChatGPT

Am besten geeignet für:
  • Direkten Zugriff auf die neuesten OpenAI-Modelle
  • Einfache Einrichtung mit nur einem API-Schlüssel
  • Organisationen, die bereits die OpenAI-Plattform nutzen
Zu beachten:
  • Daten werden über die Infrastruktur von OpenAI verarbeitet
  • Unterliegt den Nutzungsbedingungen und Datenschutzrichtlinien von OpenAI
  • Erfordert ein OpenAI-Konto und API-Zugriff

​
Microsoft Foundry

Am besten geeignet für:
  • Enterprise-Bereitstellungen mit Azure-Infrastruktur
  • Organisationen mit Anforderungen an Datenstandorte und -residenz
  • Integration mit anderen Azure-Diensten
  • Erweiterte Sicherheits- und Compliance-Funktionen
  • Zugriff auf OpenAI- und andere KI-Modelle über Azure
  • Organisationen mit bestehenden Azure-Abonnements
Zu beachten:
  • Erfordert ein Azure-Abonnement und die Einrichtung von Microsoft Foundry
  • Mehr Konfiguration erforderlich (Endpoint-URL mit vollständigem Pfad, Modellname, API-Version)
  • Verfügbare Modelle können sich vom direkten OpenAI-Zugriff unterscheiden
  • Die URL muss den vollständigen Pfad enthalten: /openai/deployments/[model-name]/chat/completions?api-version=...
  • Kann spezialisierte Funktionen und kundenspezifisches Modellhosting bieten

​
Zusätzliche Ressourcen

​
Zusammenfassung

Sie haben erfolgreich:
  • ✅ Die Konfigurationseinstellungen geöffnet
  • ✅ Die Verbindungsverwaltung aufgerufen
  • ✅ Eine neue LLM-Verbindung hinzugefügt
  • ✅ Anmeldeinformationen und Einstellungen für die Verbindung konfiguriert
  • ✅ Ihre Verbindung getestet
  • ✅ Gelernt, wie Sie Verbindungen verwalten
Ihre LLM-Verbindung ist nun bereit, erweiterte KI-Funktionen in Ihren ABBYY Vantage Document-Skills zu unterstützen!