Zum Hauptinhalt springen

​
Übersicht

LLM-Verbindungen in ABBYY Vantage ermöglichen es Ihnen, leistungsstarke Sprachmodelle von Anbietern wie OpenAI und Microsoft Foundry direkt in Ihre Dokumentenverarbeitungs-Workflows zu integrieren. Diese Verbindungen ermöglichen es Ihren Document-Skills, modernste KI für eine genauere Extraktion, Klassifikation und ein besseres Verständnis komplexer Dokumente zu nutzen. Was Sie in diesem Abschnitt erledigen:
  • Zugriff auf die Verbindungs-Konfiguration
  • Hinzufügen einer neuen LLM-Verbindung
  • Konfiguration von Anmeldedaten und Einstellungen für die Verbindung
  • Testen Ihrer Verbindung
Benötigte Zeit: 10–15 Minuten Unterstützte LLM-Anbieter:
  • OpenAI ChatGPT
  • Microsoft Foundry
Hinweis: LLM-Verbindungen können derzeit nur in Document-Skills über ABBYY Advanced Designer verwendet werden.

​
Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie Folgendes haben:
  1. Administratorzugriff auf die ABBYY Vantage-Konfiguration.
  2. API-Zugangsdaten von Ihrem ausgewählten LLM-Anbieter:
    • OpenAI: API-Schlüssel aus Ihrem OpenAI-Konto
    • Microsoft Foundry: API-Schlüssel, vollständige Endpunkt-URL (einschließlich /chat/completions-Pfad und API-Version) und Modellname aus Microsoft Foundry in Azure.
  3. Aktives Abonnement bei Ihrem LLM-Anbieter.
Hinweis: LLM-Verbindungen werden auf Mandantenebene verwaltet und können von allen Skill-Designern in Ihrer Organisation verwendet werden. Derzeit können LLM-Verbindungen nur über ABBYY Advanced Designer in Document-Skills integriert werden.

​
Schritt 1: Zugriff auf die Konfigurationseinstellungen

Navigieren Sie zum Bereich Configuration, in dem Sie LLM-Verbindungen verwalten.
  1. Suchen Sie in der ABBYY Vantage-Oberfläche den Bereich ADMIN in der linken Seitenleiste.
  2. Klicken Sie auf Configuration (Zahnradsymbol).
Accessing Configuration Sie sehen die Seite Configuration mit mehreren Optionen im linken Menü:
  • General
  • Connections (hier arbeiten wir)
  • Identity Provider
  • Public API Client
  • Security Log
  • Environment Variables
  • IP Restrictions

​
Schritt 2: Zu Connections navigieren

Greifen Sie auf die Verwaltungsoberfläche für Connections zu.
  1. Klicken Sie im linken Menü Configuration auf Connections.
Connections Page Die Seite Connections zeigt Folgendes:
  • Liste vorhandener Connections (falls vorhanden)
  • Connection-Details: Name, Beschreibung, Verwendung in Skills, Zuletzt aktualisiert
  • Verwaltungsschaltflächen: Add Connection, Test, Edit, Delete
  • Suchfunktion zum Auffinden bestimmter Connections
Hinweis: Connections sind gemeinsame Ressourcen. Alle Skill Designer in Ihrem Mandanten können diese Connections in ihren Skills verwenden.

​
Schritt 3: Neue LLM-Verbindung hinzufügen

Beginnen Sie den Prozess zum Erstellen einer neuen Verbindung zu Ihrem LLM-Anbieter.
  1. Klicken Sie oben auf der Seite Connections auf die Schaltfläche + Add Connection.
  2. Das Dialogfeld Add Connection wird angezeigt und zeigt verfügbare LLM-Anbieter an:
    • OpenAI ChatGPT – direkte Verbindung zur API von OpenAI
    • Microsoft Foundry – OpenAI und andere KI-Modelle, die in der Azure-Infrastruktur von Microsoft gehostet werden
  3. Wählen Sie den gewünschten Anbieter aus (in diesem Beispiel verwenden wir Microsoft Foundry).
  4. Klicken Sie auf Next.
Hinweis: Jeder Anbieter hat unterschiedliche Konfigurationsanforderungen. Wählen Sie den Anbieter, der dem LLM-Abonnement Ihrer Organisation entspricht.

​
Schritt 4: Verbindungsdetails konfigurieren

Geben Sie die erforderlichen Informationen für Ihre LLM-Verbindung ein. Connection Configuration

​
Allgemeine Einstellungen

Name
  • Eine eindeutige Kennung für diese Verbindung
  • Beispiel: Microsoft Foundry oder Production GPT-4
  • Dieser Name wird bei der Auswahl von Verbindungen in Document-Skills angezeigt.
Beschreibung
  • Optional, aber empfohlen.
  • Geben Sie hilfreichen Kontext zur Verbindung an.
  • Beispiel: “Microsoft Foundry Connection 1” oder “GPT-4 Production API”.
  • Wichtig: Geben Sie keine sensiblen Zugangsdaten in der Beschreibung an.
Hinweis: Wählen Sie aussagekräftige Namen, die Skill-Designern helfen zu verstehen, welche Verbindung für unterschiedliche Zwecke verwendet werden soll.

​
Verbindungseinstellungen

Die erforderlichen Felder hängen von Ihrem LLM-Provider ab:

​
Für Microsoft Foundry:

API-Schlüssel
  • Ihr Microsoft Foundry-API-Schlüssel aus dem Azure-Portal.
  • Zu finden unter: Azure-Portal → Ihre Microsoft Foundry-Ressource → Keys and Endpoint.
  • Format: Eine lange alphanumerische Zeichenfolge.
  • Platzhalterbeispiel: [API Key Here]
URL
  • Ihre Microsoft Foundry-Endpunkt-URL.
  • Zu finden unter: Azure-Portal → Ihre Microsoft Foundry-Ressource → Keys and Endpoint.
  • Format: https://[resource].cognitiveservices.azure.com/openai/deployments/[model-name]/chat/completions?api-version=2025-01-01-preview
  • Beispiel: https://[redacted]resource.cognitiveservices.azure.com/openai/deployments/gpt-4.1-nano/chat/completions?api-version=2025-01-01-preview
Modellname
  • Der Name Ihres bereitgestellten Modells in Microsoft Foundry.
  • Zu finden unter: Azure-Portal → Ihre Microsoft Foundry-Ressource → Deployments.
  • Beispiel: gpt-4.1-nano, gpt-35-turbo, gpt-4
  • Dieser Name muss exakt mit Ihrer Bereitstellung übereinstimmen.

​
Für OpenAI ChatGPT:

API-Schlüssel
  • Ihr OpenAI API-Schlüssel von platform.openai.com.
  • Sie finden ihn unter: OpenAI Platform → API Keys.
  • Format: Beginnt mit sk-
Modell
  • Das zu verwendende Modell (z. B. gpt-4, gpt-3.5-turbo)
Warnung: Geben Sie Ihre API-Schlüssel niemals weiter und fügen Sie sie nicht in Beschreibungen ein. Diese Anmeldedaten ermöglichen den Zugriff auf Ihre LLM-Dienste und verursachen entsprechende Kosten.

​
Schritt 5: Testen Sie Ihre Verbindung

Stellen Sie sicher, dass Ihre Verbindung korrekt konfiguriert ist, bevor Sie sie speichern.
  1. Nachdem Sie alle erforderlichen Informationen eingegeben haben, klicken Sie auf die Schaltfläche Test.
Testing Connection
  1. Vantage versucht, mit den von Ihnen angegebenen Anmeldedaten eine Verbindung zu Ihrem LLM-Anbieter herzustellen.
  2. Achten Sie auf das Testergebnis:
    • Erfolg (grünes Häkchen): Die Verbindung funktioniert korrekt.
    • Fehler (rotes X oder Fehlermeldung): Überprüfen Sie Ihre Anmeldedaten und versuchen Sie es erneut.

​
Testergebnisse

Erfolgreicher Test:
  • Ein grünes Häkchen erscheint neben Ihrer Verbindung.
  • Sie können die Verbindung jetzt speichern.
  • Die Verbindung ist bereit für die Verwendung in Document-Skills.
Fehlgeschlagener Test:
  • Prüfen Sie die Fehlermeldung auf Details zur Ursache.
  • Häufige Ursachen:
    • Falscher API-Schlüssel
    • Ungültige Endpoint-URL
    • Falscher Modellname
    • Netzwerkverbindungsprobleme
    • Unzureichende Berechtigungen oder Kontingent
Hinweis: Testen Sie Ihre Verbindung immer, bevor Sie sie speichern. So stellen Sie sicher, dass Ihre Document-Skills den LLM-Anbieter erfolgreich verwenden können.

​
Schritt 6: Ihre Verbindung speichern

Schließen Sie die Verbindungseinrichtung ab.
  1. Sobald der Test erfolgreich abgeschlossen wurde, klicken Sie auf die Schaltfläche Add.
  2. Ihre Verbindung erscheint nun in der Verbindungen-Liste.
  3. Die Verbindung steht sofort allen Skill-Designern in Ihrem Mandanten zur Verfügung.
Die Seite „Connections“ zeigt jetzt:
  • Connection name: Wie von Ihnen angegeben
  • Description: Ihre hilfreiche Beschreibung
  • Used in Skills: Zeigt an, welche Skills diese Verbindung verwenden
  • Last Updated: Aktueller Zeitstempel

​
Verwalten bestehender Verbindungen

Sie können Ihre Verbindungen verwalten, nachdem sie erstellt wurden.

​
Eine Verbindung bearbeiten

  1. Wählen Sie die Verbindung aus der Liste aus.
  2. Klicken Sie auf die Schaltfläche Edit (Stiftsymbol).
  3. Aktualisieren Sie die erforderlichen Felder.
  4. Testen Sie die Verbindung erneut.
  5. Klicken Sie auf Save.
Warnung: Das Bearbeiten einer Verbindung wirkt sich auf alle Skills aus, die sie nutzen. Testen Sie die Verbindung nach Änderungen gründlich.

​
Verbindung testen

  1. Wählen Sie die Verbindung aus der Liste aus.
  2. Klicken Sie auf die Schaltfläche Test (Aktualisierungssymbol).
  3. Überprüfen Sie, ob die Verbindung noch funktioniert.
  4. Dies ist nützlich für die Fehlersuche oder zur Überprüfung der Anmeldeinformationen.

​
Eine Verbindung löschen

  1. Wählen Sie die Verbindung aus der Liste aus.
  2. Klicken Sie auf die Schaltfläche Delete (Papierkorb-Symbol).
  3. Bestätigen Sie das Löschen.
Warnung: Sie können eine Verbindung nicht löschen, die derzeit in aktiven Skills verwendet wird. Entfernen Sie die Verbindung zunächst aus allen Skills.

​
Fehlerbehebung

​
Verbindungstest schlägt fehl

Problem: Der Verbindungstest gibt einen Fehler zurück. Lösungen:
  • Ungültiger API-Schlüssel:
    • Überprüfen Sie, ob Sie den gesamten Schlüssel korrekt kopiert haben.
    • Achten Sie auf zusätzliche Leerzeichen oder Zeichen.
    • Generieren Sie den Schlüssel bei Bedarf im Portal Ihres Anbieters neu.
  • Ungültige Endpunkt-URL:
    • Stellen Sie sicher, dass die URL vollständig und korrekt formatiert ist.
    • Überprüfen Sie, dass die URL Ihrer Azure-Ressource entspricht.
    • Prüfen Sie auf Tippfehler im Deployment-Pfad.
  • Falscher Modellname:
    • Überprüfen Sie, ob das Deployment in Ihrem Azure-Portal vorhanden ist.
    • Kontrollieren Sie Rechtschreibung und Groß-/Kleinschreibung (case-sensitive).
    • Vergewissern Sie sich, dass das Deployment aktiv und verfügbar ist.
  • Netzwerkprobleme:
    • Überprüfen Sie Ihre Internetverbindung.
    • Stellen Sie sicher, dass die Firewall-Einstellungen ausgehende HTTPS-Verbindungen zulassen.
    • Stellen Sie sicher, dass Ihre Vantage-Instanz den LLM-Anbieter erreichen kann.
  • Kontingent oder Berechtigungen:
    • Prüfen Sie, ob Ihr Abonnement aktiv ist.
    • Stellen Sie sicher, dass Sie keine Rate Limits überschritten haben.
    • Stellen Sie sicher, dass Ihr API-Schlüssel über die erforderlichen Berechtigungen verfügt.

​
Verbindung funktioniert im Test, schlägt aber in Skills fehl

Problem: Der Test ist erfolgreich, aber Skills können die Verbindung nicht nutzen. Lösungen:
  • Aktualisieren Sie die Skill-Designer-Seite.
  • Wählen Sie die Verbindung in der Skill-Konfiguration erneut aus.
  • Prüfen Sie die Fehlerprotokolle des Skills auf spezifische Meldungen.
  • Vergewissern Sie sich, dass der Skill veröffentlicht ist und sich nicht im Entwurfsmodus befindet.

​
API-Kosten höher als erwartet

Problem: Unerwartete Kosten von Ihrem LLM-Anbieter. Lösungen:
  • Überprüfen Sie, welche Skills die Verbindung nutzen.
  • Prüfen Sie Verarbeitungsvolumen und -häufigkeit.
  • Ziehen Sie die Implementierung einer Rate-Limitierung in Betracht.
  • Überwachen Sie die Nutzung über das Dashboard Ihres Anbieters.
  • Verwenden Sie kosteneffizientere Modelle für Tests.

​
Bewährte Vorgehensweisen

​
Sicherheit

  • API-Schlüssel niemals im Klartext per E-Mail oder Chat weitergeben.
  • Zugangsdaten regelmäßig wechseln (Rotation alle 90 Tage empfohlen).
  • Separate Verbindungen verwenden für Entwicklung und Produktion.
  • Zugriffsprotokolle überwachen im Dashboard des LLM-Anbieters.
  • Prinzip der geringsten Rechte umsetzen – nur notwendige Berechtigungen gewähren.
  • Backup-Zugangsdaten sicher aufbewahren für Notfälle.

​
Verbindungsverwaltung

  • Verwenden Sie aussagekräftige Namen, die Zweck oder Umgebung erkennen lassen.
    • Gut: „Production GPT-4“, „Development Microsoft Foundry“
    • Vermeiden Sie: „Connection 1“, „Test“
  • Halten Sie in Beschreibungen fest, wofür jede Verbindung verwendet wird
    • Geben Sie an: Umgebung, Anwendungsfall, verantwortliche Kontaktperson
    • Geben Sie nicht an: Zugangsdaten, vertrauliche Informationen
  • Testen Sie Verbindungen regelmäßig, um Probleme frühzeitig zu erkennen
    • Richten Sie einen monatlichen Überprüfungsplan ein.
    • Testen Sie nach jeder Änderung von Zugangsdaten.
  • Verfolgen Sie die Nutzung, um nachzuvollziehen, welche Verbindungen aktiv sind
    • Überprüfen Sie die Spalte „Used in Skills“.
    • Archivieren oder löschen Sie ungenutzte Verbindungen.

​
Kostenmanagement

  • Wählen Sie geeignete Modelle für jeden Anwendungsfall.
    • Verwenden Sie kleinere, schnellere Modelle für einfache Aufgaben.
    • Reservieren Sie leistungsstärkere Modelle für komplexe Extraktionsaufgaben.
  • Implementieren Sie eine Ratenbegrenzung (Rate Limiting), sofern Ihr Anbieter dies unterstützt.
    • Verhindert unerwartete Kostenspitzen.
    • Schützt vor unkontrollierter Verarbeitung.
  • Überwachen Sie Nutzungsmuster
    • Richten Sie Abrechnungsbenachrichtigungen im Dashboard Ihres Anbieters ein.
    • Überprüfen Sie monatliche Kosten und Nutzung.
  • Optimieren Sie Prompts in Ihren Document-Skills.
    • Effiziente Prompts verringern den Token-Verbrauch.
    • Testen und verfeinern Sie diese für optimale Ergebnisse bei minimalen Kosten.

​
Workflow-Optimierung

  • Ähnliche Dokumenttypen gruppieren
  • Geeignete Document-Skills für Ihren Anwendungsfall konfigurieren
  • Mit Beispieldokumenten testen vor dem produktiven Einsatz
  • Ihren Workflow dokumentieren als Referenz für das Team

​
Verbindungstypen verstehen

​
OpenAI ChatGPT

Am besten geeignet für:
  • Direkten Zugriff auf die neuesten OpenAI-Modelle
  • Einfache Einrichtung mit nur einem API-Schlüssel
  • Organisationen, die bereits die OpenAI-Plattform nutzen
Zu beachten:
  • Daten werden in der Infrastruktur von OpenAI verarbeitet
  • Unterliegt den Nutzungsbedingungen und Datenschutzrichtlinien von OpenAI
  • Erfordert ein OpenAI-Konto und API-Zugriff

​
Microsoft Foundry

Am besten geeignet für:
  • Enterprise-Bereitstellungen mit Azure-Infrastruktur
  • Organisationen mit Anforderungen an die Datenresidenz
  • Integration mit anderen Azure-Diensten
  • Erweiterte Sicherheits- und Compliance-Funktionen
  • Zugriff auf OpenAI- und andere KI-Modelle über Azure
  • Organisationen mit bestehenden Azure-Abonnements
Zu beachten:
  • Erfordert ein Azure-Abonnement und die Einrichtung von Microsoft Foundry
  • Höherer Konfigurationsaufwand (Endpoint-URL mit vollständigem Pfad, Modellname, API-Version)
  • Verfügbare Modelle können sich vom direkten Zugriff auf OpenAI unterscheiden
  • Die URL muss den vollständigen Pfad enthalten: /openai/deployments/[model-name]/chat/completions?api-version=...
  • Kann spezialisierte Funktionen und benutzerdefiniertes Hosting von Modellen bieten

​
Zusätzliche Ressourcen

​
Zusammenfassung

Sie haben erfolgreich:
  • ✅ auf die Konfigurationseinstellungen zugegriffen
  • ✅ zur Verbindungsverwaltung navigiert
  • ✅ eine neue LLM-Verbindung hinzugefügt
  • ✅ Verbindungsanmeldeinformationen und -einstellungen konfiguriert
  • ✅ Ihre Verbindung getestet
  • ✅ gelernt, wie Sie Verbindungen verwalten
Ihre LLM-Verbindung ist nun bereit, erweiterte KI-Funktionen in Ihren ABBYY Vantage Document-Skills zu nutzen!