Skip to main content

​
Übersicht

Mit LLM-Verbindungen in ABBYY Vantage können Sie leistungsstarke Sprachmodelle von Anbietern wie OpenAI und Microsoft Foundry direkt in Ihre Dokumentenverarbeitungsworkflows integrieren. Diese Verbindungen ermöglichen es Ihren Document-Skills, modernste KI für eine genauere Extraktion, Klassifizierung und das bessere Verständnis komplexer Dokumente zu nutzen. Was Sie erreichen werden:
  • Zugriff auf die Konfiguration von Connections
  • Hinzufügen einer neuen LLM-Verbindung
  • Konfiguration von Anmeldedaten und Einstellungen für die Verbindung
  • Testen Ihrer Verbindung
Benötigte Zeit: 10–15 Minuten Unterstützte LLM-Anbieter:
  • OpenAI ChatGPT
  • Microsoft Foundry
Hinweis: LLM-Verbindungen können derzeit in Document-Skills nur über ABBYY Advanced Designer verwendet werden.

​
Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Folgendes vorhanden ist:
  1. Administratorzugriff auf ABBYY Vantage Configuration.
  2. API-Zugangsdaten von Ihrem ausgewählten LLM-Anbieter:
    • OpenAI: API-Schlüssel aus Ihrem OpenAI-Konto
    • Microsoft Foundry: API-Schlüssel, vollständige Endpoint-URL (einschließlich /chat/completions-Pfad und API-Version) sowie Modellname aus Microsoft Foundry in Azure.
  3. Aktives Abonnement bei Ihrem LLM-Anbieter.
Hinweis: LLM-Verbindungen werden auf Mandantenebene verwaltet und können von allen Skill-Designern in Ihrem Unternehmen genutzt werden. Derzeit können LLM-Verbindungen nur über ABBYY Advanced Designer in Document-Skills integriert werden.

​
Schritt 1: Konfigurationseinstellungen aufrufen

Navigieren Sie zum Bereich Configuration, in dem Sie LLM-Verbindungen verwalten.
  1. Suchen Sie in der ABBYY Vantage-Oberfläche den Abschnitt ADMIN in der linken Seitenleiste.
  2. Klicken Sie auf Configuration (Zahnrad-Symbol).
Accessing Configuration Sie sehen die Configuration-Seite mit mehreren Optionen im linken Menü:
  • General
  • Connections (hier werden wir arbeiten)
  • Identity Provider
  • Public API Client
  • Security Log
  • Environment Variables
  • IP Restrictions

​
Schritt 2: Zu Connections navigieren

Rufen Sie die Verwaltungsoberfläche für Connections auf.
  1. Klicken Sie im linken Menü Configuration auf Connections.
Connections Page Die Seite Connections zeigt Folgendes an:
  • Liste vorhandener Connections (falls vorhanden)
  • Connection-Details: Name, Description, Used in Skills, Last Updated
  • Verwaltungsschaltflächen: Add Connection, Test, Edit, Delete
  • Suchfunktion, um bestimmte Connections zu finden
Hinweis: Connections sind freigegebene Ressourcen. Alle Skill Designer in Ihrem Mandanten können diese Connections in ihren Skills verwenden.

​
Schritt 3: Neue LLM-Verbindung hinzufügen

Beginnen Sie mit dem Einrichten einer neuen Verbindung zu Ihrem LLM-Anbieter.
  1. Klicken Sie auf die Schaltfläche + Add Connection oben auf der Seite Connections.
  2. Das Dialogfeld Add Connection wird angezeigt und zeigt verfügbare LLM-Anbieter an:
    • OpenAI ChatGPT – Direkte Verbindung zur API von OpenAI
    • Microsoft Foundry – OpenAI- und andere KI-Modelle, die auf der Azure-Infrastruktur von Microsoft gehostet werden
  3. Wählen Sie den gewünschten Anbieter aus (in diesem Beispiel verwenden wir Microsoft Foundry).
  4. Klicken Sie auf Next.
Hinweis: Jeder Anbieter hat unterschiedliche Konfigurationsanforderungen. Wählen Sie den Anbieter, der dem LLM-Abonnement Ihrer Organisation entspricht.

​
Schritt 4: Verbindungsdetails konfigurieren

Füllen Sie die erforderlichen Informationen für Ihre LLM-Verbindung aus. Verbindungskonfiguration

​
Allgemeine Einstellungen

Name
  • Eine eindeutige Kennung für diese Verbindung
  • Beispiel: Microsoft Foundry oder Production GPT-4
  • Dieser Name wird beim Auswählen von Verbindungen in Document-Skills angezeigt.
Beschreibung
  • Optional, aber empfohlen.
  • Geben Sie hilfreiche Informationen zur Verbindung an.
  • Beispiel: „Microsoft Foundry-Verbindung 1“ oder „GPT-4-Produktions-API“.
  • Wichtig: Nehmen Sie keine vertraulichen Zugangsdaten in die Beschreibung auf.
Hinweis: Wählen Sie aussagekräftige Namen, die Skill-Designern helfen zu verstehen, welche Verbindung für welche Zwecke verwendet werden soll.

​
Verbindungseinstellungen

Die erforderlichen Felder sind abhängig von Ihrem LLM-Anbieter:

​
Für Microsoft Foundry:

API-Schlüssel
  • Ihr Microsoft Foundry API-Schlüssel aus dem Azure-Portal.
  • Zu finden unter: Azure-Portal → Ihre Microsoft Foundry-Ressource → Keys and Endpoint.
  • Format: Eine lange alphanumerische Zeichenfolge.
  • Beispielplatzhalter: [API Key Here]
URL
  • Ihre Microsoft Foundry Endpoint-URL.
  • Zu finden unter: Azure-Portal → Ihre Microsoft Foundry-Ressource → Keys and Endpoint.
  • Format: https://[resource].cognitiveservices.azure.com/openai/deployments/[model-name]/chat/completions?api-version=2025-01-01-preview
  • Beispiel: https://[redacted]resource.cognitiveservices.azure.com/openai/deployments/gpt-4.1-nano/chat/completions?api-version=2025-01-01-preview
Modellname
  • Der Name Ihres bereitgestellten Modells in Microsoft Foundry.
  • Zu finden unter: Azure-Portal → Ihre Microsoft Foundry-Ressource → Deployments.
  • Beispiel: gpt-4.1-nano, gpt-35-turbo, gpt-4
  • Dieser muss exakt mit dem Namen Ihrer Bereitstellung übereinstimmen.

​
Für OpenAI ChatGPT:

API-Schlüssel
  • Ihr OpenAI API-Schlüssel von platform.openai.com.
  • Zu finden unter: OpenAI Platform → API Keys.
  • Format: beginnt mit sk-
Modell
  • Das konkrete Modell, das verwendet werden soll (z. B. gpt-4, gpt-3.5-turbo)
Warnung: Geben Sie API-Schlüssel niemals weiter und fügen Sie sie nicht in Beschreibungen ein. Diese Zugangsdaten ermöglichen den Zugriff auf Ihre LLM-Services und verursachen entsprechende Kosten.

​
Schritt 5: Testen Sie Ihre Verbindung

Vergewissern Sie sich, dass Ihre Verbindung korrekt konfiguriert ist, bevor Sie sie speichern.
  1. Nachdem Sie alle erforderlichen Informationen eingegeben haben, klicken Sie auf die Schaltfläche Test.
Verbindung testen
  1. Vantage versucht, mit den von Ihnen angegebenen Anmeldedaten eine Verbindung zu Ihrem LLM-Anbieter herzustellen.
  2. Achten Sie auf das Testergebnis:
    • Erfolg (grünes Häkchen): Die Verbindung funktioniert korrekt.
    • Fehler (rotes X oder Fehlermeldung): Überprüfen Sie Ihre Anmeldedaten und versuchen Sie es erneut.

​
Testergebnisse

Erfolgreicher Test:
  • Ein grünes Häkchen erscheint neben Ihrer Verbindung.
  • Sie können die Verbindung jetzt speichern.
  • Die Verbindung ist bereit zur Verwendung in Document-Skills.
Fehlgeschlagener Test:
  • Prüfen Sie die Fehlermeldung auf konkrete Probleme.
  • Häufige Ursachen:
    • Falscher API-Schlüssel
    • Ungültige Endpoint-URL
    • Falscher Modellname
    • Netzwerkprobleme
    • Unzureichende Berechtigungen oder Kontingent
Hinweis: Testen Sie Ihre Verbindung immer, bevor Sie die Verbindung speichern. So stellen Sie sicher, dass Ihre Document-Skills den LLM-Provider erfolgreich nutzen können.

​
Schritt 6: Ihre Verbindung speichern

Schließen Sie die Konfiguration der Verbindung ab.
  1. Sobald der Test erfolgreich abgeschlossen wurde, klicken Sie auf die Schaltfläche Add.
  2. Ihre Verbindung wird nun in der Verbindungsliste angezeigt.
  3. Die Verbindung steht sofort allen Skill-Designern in Ihrem Mandanten zur Verfügung.
Die Seite „Connections“ zeigt nun:
  • Connection name: Wie von Ihnen angegeben
  • Description: Ihre hilfreiche Beschreibung
  • Used in Skills: Zeigt an, in welchen Skills diese Verbindung verwendet wird
  • Last Updated: Aktueller Zeitstempel

​
Verwalten bestehender Verbindungen

Sie können Ihre Verbindungen verwalten, sobald sie erstellt wurden.

​
Eine Verbindung bearbeiten

  1. Wählen Sie die Verbindung aus der Liste aus.
  2. Klicken Sie auf die Schaltfläche Edit (Stiftsymbol).
  3. Aktualisieren Sie die erforderlichen Felder.
  4. Testen Sie die Verbindung erneut.
  5. Klicken Sie auf Save.
Warnung: Das Bearbeiten einer Verbindung wirkt sich auf alle Skills aus, die diese Verbindung verwenden. Testen Sie nach Ihren Änderungen gründlich.

​
Eine Verbindung testen

  1. Wählen Sie die Verbindung aus der Liste aus.
  2. Klicken Sie auf die Schaltfläche Test (Aktualisierungssymbol).
  3. Überprüfen Sie, ob die Verbindung noch funktioniert.
  4. Dies ist hilfreich für die Fehlerbehebung oder zur Überprüfung von Anmeldeinformationen.

​
Eine Verbindung löschen

  1. Wählen Sie die Verbindung aus der Liste aus.
  2. Klicken Sie auf die Schaltfläche Delete (Papierkorbsymbol).
  3. Bestätigen Sie das Löschen.
Warnung: Sie können keine Verbindung löschen, die derzeit in aktiven Skills verwendet wird. Entfernen Sie die Verbindung zunächst aus allen Skills.

​
Fehlerbehebung

​
Verbindungstest schlägt fehl

Problem: Der Verbindungstest gibt einen Fehler zurück. Lösungen:
  • Ungültiger API-Schlüssel:
    • Überprüfen Sie, ob Sie den gesamten Schlüssel korrekt kopiert haben.
    • Prüfen Sie auf zusätzliche Leerzeichen oder Zeichen.
    • Generieren Sie den Schlüssel bei Bedarf im Portal Ihres Anbieters neu.
  • Ungültige Endpoint-URL:
    • Stellen Sie sicher, dass die URL vollständig und korrekt formatiert ist.
    • Stellen Sie sicher, dass die URL Ihrer Azure-Ressource entspricht.
    • Prüfen Sie auf Tippfehler im Deployment-Pfad.
  • Falscher Modellname:
    • Stellen Sie sicher, dass das Deployment in Ihrem Azure-Portal existiert.
    • Überprüfen Sie Schreibweise und Groß-/Kleinschreibung (case-sensitive).
    • Vergewissern Sie sich, dass das Deployment aktiv und verfügbar ist.
  • Netzwerkprobleme:
    • Prüfen Sie Ihre Internetverbindung.
    • Stellen Sie sicher, dass die Firewall-Einstellungen ausgehende HTTPS-Verbindungen zulassen.
    • Stellen Sie sicher, dass Ihre Vantage-Instanz den LLM-Provider erreichen kann.
  • Kontingent oder Berechtigungen:
    • Überprüfen Sie, ob Ihr Abonnement aktiv ist.
    • Prüfen Sie, dass Sie keine Rate Limits überschritten haben.
    • Stellen Sie sicher, dass Ihr API-Schlüssel über die erforderlichen Berechtigungen verfügt.

​
Verbindung funktioniert im Test, schlägt aber in Skills fehl

Problem: Der Test funktioniert, aber Skills können die Verbindung nicht nutzen. Lösungen:
  • Aktualisieren Sie die Seite des Skill Designers.
  • Wählen Sie die Verbindung in der Skill-Konfiguration erneut aus.
  • Prüfen Sie die Fehlerprotokolle des Skills auf konkrete Meldungen.
  • Vergewissern Sie sich, dass der Skill veröffentlicht ist und sich nicht im Entwurfsmodus befindet.

​
API-Kosten höher als erwartet

Problem: Unerwartete Kosten von Ihrem LLM-Anbieter. Lösungen:
  • Prüfen Sie, welche Skills die Verbindung nutzen.
  • Überprüfen Sie Verarbeitungsvolumen und -häufigkeit.
  • Erwägen Sie die Implementierung von Rate-Limiting.
  • Überwachen Sie die Nutzung über das Dashboard Ihres Anbieters.
  • Verwenden Sie für Tests kostengünstigere Modelle.

​
Bewährte Vorgehensweisen

​
Sicherheit

  • Geben Sie API-Schlüssel niemals im Klartext per E-Mail oder Chat weiter.
  • Wechseln Sie Zugangsdaten regelmäßig (alle 90 Tage empfohlen).
  • Verwenden Sie getrennte Verbindungen für Entwicklung und Produktion.
  • Überwachen Sie Zugriffsprotokolle im Dashboard Ihres LLM-Anbieters.
  • Implementieren Sie das Least-Privilege-Prinzip – gewähren Sie nur die notwendigen Berechtigungen.
  • Speichern Sie Backup-Zugangsdaten sicher für Notfälle.

​
Verbindungsverwaltung

  • Verwenden Sie aussagekräftige Namen, die Zweck oder Umgebung kennzeichnen.
    • Gut: „Production GPT-4“, „Development Microsoft Foundry“
    • Vermeiden: „Connection 1“, „Test“
  • Halten Sie in den Beschreibungen fest, wofür jede Verbindung verwendet wird
    • Angeben: Umgebung, Use Case, Ansprechpartner
    • Weglassen: Anmeldedaten, vertrauliche Informationen
  • Testen Sie die Verbindungen regelmäßig, um Probleme frühzeitig zu erkennen
    • Richten Sie einen monatlichen Überprüfungsplan ein.
    • Testen Sie nach jeder Änderung von Anmeldedaten.
  • Verfolgen Sie die Nutzung, um zu verstehen, welche Verbindungen aktiv sind
    • Überprüfen Sie die Spalte „Used in Skills“.
    • Archivieren oder löschen Sie ungenutzte Verbindungen.

​
Kostenmanagement

  • Wählen Sie geeignete Modelle für jeden Anwendungsfall.
    • Verwenden Sie kleinere, schnellere Modelle für einfache Aufgaben.
    • Reservieren Sie leistungsstärkere Modelle für komplexe Extraktionsaufgaben.
  • Implementieren Sie Rate-Limiting, sofern Ihr Anbieter dies unterstützt.
    • Verhindert unerwartete Kostenspitzen.
    • Schützt vor ausufernder Verarbeitung.
  • Überwachen Sie Nutzungsmuster
    • Richten Sie Abrechnungswarnungen im Dashboard Ihres Anbieters ein.
    • Überprüfen Sie monatliche Kosten und Nutzung.
  • Optimieren Sie Prompts in Ihren Document-Skills.
    • Effiziente Prompts reduzieren den Tokenverbrauch.
    • Testen und verfeinern Sie diese für beste Ergebnisse bei geringsten Kosten.

​
Workflow-Optimierung

  • Ähnliche Dokumenttypen gruppieren
  • Geeignete Document-Skills für Ihren Anwendungsfall konfigurieren
  • Mit Beispieldokumenten testen, bevor Sie den Workflow in der Produktion einsetzen
  • Workflow dokumentieren als Referenz für das Team

​
Grundlagen zu Verbindungstypen

​
OpenAI ChatGPT

Am besten geeignet für:
  • Direkten Zugriff auf die neuesten OpenAI-Modelle
  • Einfache Einrichtung ausschließlich mit einem API-Schlüssel
  • Organisationen, die die OpenAI-Plattform bereits verwenden
Zu beachten:
  • Daten werden über die Infrastruktur von OpenAI verarbeitet
  • Unterliegt den Nutzungsbedingungen und Datenrichtlinien von OpenAI
  • Erfordert ein OpenAI-Konto und API-Zugriff

​
Microsoft Foundry

Am besten geeignet für:
  • Enterprise-Bereitstellungen mit Azure-Infrastruktur
  • Organisationen mit Anforderungen an die Datenresidenz
  • Integration mit anderen Azure-Diensten
  • Erweiterte Sicherheits- und Compliance-Funktionen
  • Zugriff auf OpenAI und andere KI-Modelle über Azure
  • Organisationen mit bestehenden Azure-Abonnements
Zu beachten:
  • Erfordert ein Azure-Abonnement und die Einrichtung von Microsoft Foundry
  • Erhöhte Konfigurationsanforderungen (Endpoint-URL mit vollständigem Pfad, Modellname, API-Version)
  • Verfügbare Modelle können sich vom direkten Zugriff auf OpenAI unterscheiden
  • URL muss den vollständigen Pfad enthalten: /openai/deployments/[model-name]/chat/completions?api-version=...
  • Kann spezialisierte Funktionen und das Hosting benutzerdefinierter Modelle bieten

​
Zusätzliche Ressourcen

​
Zusammenfassung

Sie haben erfolgreich:
  • ✅ Die Konfigurationseinstellungen aufgerufen
  • ✅ Zur Verbindungsverwaltung navigiert
  • ✅ Eine neue LLM-Verbindung hinzugefügt
  • ✅ Anmeldedaten und Einstellungen für die Verbindung konfiguriert
  • ✅ Ihre Verbindung getestet
  • ✅ Gelernt, wie Sie Verbindungen verwalten
Ihre LLM-Verbindung ist nun bereit, erweiterte KI-Funktionen in Ihren ABBYY Vantage Document Skills bereitzustellen!