Skip to main content
Eine LLM-Verbindung speichert die Anmeldedaten auf Mandantenebene, die ABBYY Vantage mit einem externen LLM-Provider verbinden. Nach der Konfiguration steht eine Verbindung im gesamten Mandanten zur Verfügung, und jeder Document-Skill kann sie für die promptbasierte Extraktion und Klassifizierung verwenden.
LLM-Verbindungen können derzeit nur in Document-Skills über ABBYY Advanced Designer verwendet werden. Verbindungen werden auf Mandantenebene verwaltet und stehen allen Skill-Designern in Ihrer Organisation zur Verfügung.
Eine konzeptionelle Übersicht und die vollständige Liste der unterstützten Provider finden Sie unter LLMs in ABBYY Vantage und Unterstützte LLM-Provider und -Modelle.

​
Voraussetzungen

Stellen Sie vor Beginn sicher, dass Sie über Folgendes verfügen:
  • Administratorzugriff auf die Konfiguration von ABBYY Vantage.
  • Ein aktives Abonnement bei dem von Ihnen gewählten LLM-Anbieter.
  • API-Anmeldedaten des jeweiligen Anbieters:
    • Anthropic – API-Schlüssel aus Ihrem Anthropic-Konto.
    • Google AI Studio – API-Schlüssel aus Ihrem Google AI Studio-Konto.
    • Microsoft Foundry – API-Schlüssel, die vollständige Endpunkt-URL (einschließlich des Pfads /chat/completions und der API-Version) sowie den Namen des in Azure bereitgestellten Modells.
    • Mistral AI – API-Schlüssel aus Ihrem Mistral AI-Konto.
    • OpenAI – API-Schlüssel aus Ihrem OpenAI-Konto.

​
Eine LLM-Verbindung hinzufügen

1

Die Seite „Verbindungen“ öffnen

Klicken Sie in der linken Seitenleiste unter ADMIN auf Konfiguration (Zahnradsymbol) und anschließend auf Verbindungen.
Seite „Verbindungen“ in der Vantage-Konfiguration
Auf der Seite Verbindungen werden vorhandene Verbindungen mit ihren Werten für Name, Beschreibung, In Skills verwendet und Zuletzt aktualisiert sowie die Schaltflächen Verbindung hinzufügen, Testen, Bearbeiten und Löschen angezeigt.
2

Einen Provider auswählen

Klicken Sie auf + Verbindung hinzufügen. Im Dialogfeld Verbindung hinzufügen werden die verfügbaren Provider aufgeführt: Anthropic, Microsoft Foundry, Google AI Studio, Mistral AI und OpenAI.
Dialogfeld „Verbindung hinzufügen“ mit den Providern Anthropic, Microsoft Foundry, Google AI Studio, Mistral AI und OpenAI
Wählen Sie den Provider aus, der zu Ihrem Abonnement passt, und klicken Sie anschließend auf Weiter.
3

Allgemeine Einstellungen eingeben

Geben Sie der Verbindung einen Namen und optional eine Beschreibung.
  • Name - Ein eindeutiger Name für die Verbindung. Dieser Name wird angezeigt, wenn Skill-Designer eine Verbindung in einer Document-Skill auswählen. Wählen Sie daher einen aussagekräftigen Namen wie Production Claude oder Mistral AI.
  • Beschreibung - Optionaler Kontext zum Zweck oder zur Umgebung der Verbindung. Geben Sie keine API-Schlüssel oder anderen Anmeldedaten an.
4

Verbindungseinstellungen eingeben

Geben Sie die Anmeldedaten für Ihren Provider ein. Welche Felder erforderlich sind, hängt vom ausgewählten Provider ab. Informationen zu den Feldern für jeden Provider finden Sie unter Verbindungseinstellungen nach Provider.
Verbindungskonfigurationsformular mit den Abschnitten „Allgemein“ und „Verbindungseinstellungen“
5

Die Verbindung testen

Klicken Sie auf Testen. Vantage versucht, den Provider mit den eingegebenen Anmeldedaten zu erreichen.
Testen einer LLM-Verbindung
Ein grünes Häkchen bestätigt, dass die Verbindung funktioniert. Ein roter Fehler bedeutet, dass die Anmeldedaten oder Einstellungen überprüft werden müssen. Hilfe finden Sie unter Fehlerbehebung.
6

Die Verbindung speichern

Klicken Sie nach einem erfolgreichen Test auf Hinzufügen. Die Verbindung wird in der Liste Verbindungen angezeigt und steht sofort allen Skill-Designern in Ihrem Mandanten zur Verfügung.
Sobald eine Skill veröffentlicht wird, die auf diese Verbindung verweist, wird die Verbindung im Vantage Web Portal unter Skill Catalog → [skill] → Parameters zum Standard. Ein Mandantenadministrator kann den Standard für jede Umgebung überschreiben, ohne die Skill erneut veröffentlichen zu müssen. Weitere Informationen finden Sie unter Document-Skill-Parameter.

​
Verbindungseinstellungen nach Provider

Die Felder unter Verbindungseinstellungen unterscheiden sich je nach Provider. Geben Sie den exakten Namen des von Ihrem Konto unterstützten Modells ein. Beispiele für Modelle finden Sie unter Unterstützte LLM-Provider und -Modelle.
Geben Sie API-Schlüssel niemals weiter und fügen Sie sie nicht in die Beschreibung einer Verbindung ein. Diese Zugangsdaten gewähren Zugriff auf Ihre LLM-Services und die damit verbundenen Kosten.

​
Anthropic

  • Modellname - Das zu verwendende Anthropic-Modell. Wählen Sie ein Modell aus, das Ihr Konto unterstützt.
  • API-Schlüssel - Ihr Anthropic-API-Schlüssel (beginnt mit sk-).

​
Google AI Studio (Gemini)

  • Modellname - Das zu verwendende Gemini-Modell, zum Beispiel gemini-2.0-flash.
  • API-Schlüssel - Ihr API-Schlüssel für Google AI Studio, von Google AI Studio → API-Schlüssel abrufen.

​
Microsoft Foundry

  • Modellname - Der Name Ihres in Microsoft Foundry bereitgestellten Modells. Sie finden ihn im Azure portal → Ihre Microsoft Foundry-Ressource → Deployments. Er muss exakt mit dem Deployment übereinstimmen.
  • URL - Ihr Microsoft Foundry-Endpunkt. Sie finden ihn im Azure portal → Ihre Microsoft Foundry-Ressource → Keys and Endpoint. Geben Sie den Deployment-Pfad und die API-Version an, z. B. https://<resource>.cognitiveservices.azure.com/openai/deployments/<model-name>/chat/completions?api-version=2025-01-01-preview.
  • API Key - Ihr Microsoft Foundry-API-Key von derselben Seite Keys and Endpoint.

​
Mistral AI

  • Modellname - Das zu verwendende Mistral AI-Modell. Wählen Sie ein Modell aus, das von Ihrem Konto unterstützt wird.
  • API Key - Ihr Mistral AI-API-Schlüssel.

​
OpenAI ChatGPT

  • Modellname - Das zu verwendende OpenAI-Modell, z. B. gpt-4.
  • API-Schlüssel - Ihr OpenAI-API-Schlüssel (beginnt mit sk-) von OpenAI Platform → API Keys.

​
Connections verwalten

Connections werden gemeinsam genutzt. Daher betrifft eine Änderung jeden Skill, der sie verwendet. Testen Sie sie nach jeder Änderung.

​
Eine Verbindung bearbeiten

1

Verbindung auswählen

Wählen Sie auf der Seite Connections die Verbindung aus und klicken Sie dann auf Edit (Stiftsymbol).
2

Aktualisieren und testen

Aktualisieren Sie die Felder, klicken Sie auf Test, um zu prüfen, ob die Verbindung weiterhin funktioniert, und klicken Sie anschließend auf Save.
Änderungen an einer Verbindung wirken sich auf alle Skills aus, die sie verwenden. Testen Sie die Verbindung nach Änderungen gründlich.

​
Eine Verbindung testen

Wählen Sie auf der Seite Connections die Verbindung aus und klicken Sie dann auf Test (Aktualisierungssymbol), um zu überprüfen, ob die Zugangsdaten noch gültig sind. Dies ist für regelmäßige Überprüfungen und die Fehlerbehebung hilfreich.

​
Eine Connection löschen

Wählen Sie auf der Seite Connections die Connection aus, klicken Sie auf Delete (Papierkorb-Symbol), und bestätigen Sie dann.
Sie können keine Connection löschen, die in einem aktiven Skill verwendet wird. Entfernen Sie die Connection zuerst aus allen Skills.

​
Fehlerbehebung

​
Der Verbindungstest schlägt fehl

Überprüfen Sie die Anmeldedaten und Einstellungen des Providers.
  • Ungültiger API-Schlüssel - Vergewissern Sie sich, dass Sie den vollständigen Schlüssel ohne zusätzliche Leerzeichen kopiert haben. Generieren Sie den Schlüssel bei Bedarf im Portal des Providers neu.
  • Ungültige Endpoint-URL (Microsoft Foundry) - Vergewissern Sie sich, dass die URL vollständig ist, Ihrer Azure-Ressource entspricht und keine Tippfehler im Bereitstellungspfad enthält.
  • Falscher Modellname - Vergewissern Sie sich, dass das Modell oder die Bereitstellung vorhanden und aktiv ist, und überprüfen Sie Schreibweise und Groß-/Kleinschreibung (Groß-/Kleinschreibung wird berücksichtigt).
  • Netzwerkprobleme - Vergewissern Sie sich, dass ausgehende HTTPS-Verbindungen zulässig sind und Ihre Vantage-Instanz den Provider erreichen kann.
  • Kontingent oder Berechtigungen - Vergewissern Sie sich, dass Ihr Abonnement aktiv ist, Sie die Ratenlimits einhalten und der Schlüssel über die erforderlichen Berechtigungen verfügt.

​
Die Verbindung funktioniert im Test, schlägt aber in einem Skill fehl

  • Aktualisieren Sie die Seite im Skill Designer und wählen Sie die Verbindung in der Skill-Konfiguration erneut aus.
  • Bestätigen Sie, dass der Skill veröffentlicht ist und sich nicht im Entwurf befindet.
  • Prüfen Sie die Fehlerprotokolle des Skills auf konkrete Meldungen.

​
API-Kosten sind höher als erwartet

  • Prüfen Sie, welche Skills die Connection verwenden und wie hoch ihr Verarbeitungsvolumen ist.
  • Verwenden Sie kleinere, schnellere Modelle für einfache Aufgaben.
  • Überwachen Sie die Nutzung und richten Sie Budgetwarnungen im Dashboard Ihres Providers ein.

​
Bewährte Verfahren

  • Schützen Sie Ihre Zugangsdaten. Geben Sie API-Schlüssel niemals weiter und hinterlegen Sie sie nicht in einer Beschreibung. Tauschen Sie Schlüssel regelmäßig aus, gewähren Sie jedem Schlüssel nur die erforderlichen Mindestberechtigungen und verwenden Sie getrennte Verbindungen für Entwicklung und Produktion.
  • Benennen Sie Verbindungen eindeutig. Verwenden Sie Namen, die Zweck oder Umgebung erkennen lassen, z. B. Production GPT-4 oder Development Foundry, statt Connection 1. Halten Sie Umgebung, Anwendungsfall und Verantwortliche in der Beschreibung fest.
  • Überprüfen Sie Verbindungen regelmäßig. Testen Sie Verbindungen regelmäßig sowie nach jeder Änderung der Zugangsdaten und verwenden Sie die Spalte Used in Skills, um nicht mehr verwendete Verbindungen zu finden und zu entfernen.
  • Verwalten Sie Kosten. Verwenden Sie für einfache Aufgaben kleinere, schnellere Modelle, formulieren Sie Prompts effizient und richten Sie im Dashboard Ihres Providers Budgetwarnungen ein.

​
Weitere Ressourcen