Skip to main content
ABBYY Vantage nutzt externe große Sprachmodelle (LLMs), um Dokumentdaten auf Basis natürlichsprachlicher Anweisungen zu extrahieren, zu klassifizieren und zu interpretieren. Vantage verbindet sich mit LLM-Providern wie Anthropic, Google AI Studio (Gemini), Microsoft Foundry, Mistral AI und OpenAI ChatGPT, anstatt selbst Modelle zu hosten.
LLM-Funktionen sind derzeit nur in Document-Skills über ABBYY Advanced Designer verfügbar. LLM-Verbindungen werden auf Mandanten-Ebene unter ADMIN → Konfiguration → Connections konfiguriert.

​
Wie LLMs in Vantage funktionieren

Vantage verwendet LLMs über zwei Bausteine:
  • LLM-Verbindung - Anmeldedaten auf Mandantenebene, die Vantage mit einem LLM-Provider verbinden. Eine Verbindung wird mandantenweit gemeinsam genutzt und kann von jedem Skill wiederverwendet werden.
  • Promptbasierte Extraktion - Eine Aktivität in Advanced Designer, die ein Dokument zusammen mit Ihrem natürlichsprachlichen Prompt an das verbundene LLM sendet und die Antwort den Ausgabefeldern zuordnet.
Eine typische Einrichtung sieht durchgängig wie folgt aus.
1

Eine LLM-Verbindung konfigurieren

Ein Mandantenadministrator fügt unter ADMIN → Konfiguration → Connections eine Verbindung zu einem Provider hinzu. Die einzelnen Schritte finden Sie unter LLM-Verbindungen konfigurieren.
2

Eine promptbasierte Aktivität hinzufügen

Fügen Sie in Advanced Designer einem Document-Skill eine promptbasierte Aktivität hinzu und wählen Sie die LLM-Verbindung aus, die sie verwenden soll. Die einzelnen Schritte finden Sie unter Daten mit promptbasierten Aktivitäten extrahieren.
3

Veröffentlichen und ausführen

Wenn Sie den Skill veröffentlichen, wird die ausgewählte Verbindung im Vantage Web Portal unter Skill Catalog → [skill] → Parameters zur Standardverbindung des Skills. Ein Mandantenadministrator kann sie je Umgebung überschreiben, ohne den Skill erneut zu veröffentlichen. Weitere Informationen finden Sie unter Document-Skill-Parameter.

​
Wann LLMs sinnvoll sind

Promptbasierte LLM-Extraktion benötigt keine Trainingsdaten und lässt sich schnell an neue Felder und Layouts anpassen. Jede Extraktion ruft jedoch eine externe API auf, ist daher teurer und langsamer als ein trainiertes Modell, und die Ergebnisse können zwischen den Durchläufen leicht variieren.

​
Datenverarbeitung und Sicherheit

Wenn ein Skill eine LLM-Verbindung verwendet, wird der Inhalt des Dokuments an den externen Provider gesendet, mit dem Sie verbunden sind, und auf der Infrastruktur dieses Providers gemäß dessen Nutzungsbedingungen und Datenrichtlinien verarbeitet. Wählen Sie einen Provider, der Ihren Anforderungen an Datenresidenz und Konformität entspricht. Microsoft Foundry unterstützt Azure-basierte Datenresidenz sowie Konformitätskontrollen. Schützen Sie die in jeder Verbindung gespeicherten Anmeldedaten:
  • Geben Sie API-Schlüssel niemals weiter und nehmen Sie sie nicht in die Beschreibung einer Verbindung auf.
  • Wechseln Sie die Anmeldedaten regelmäßig.
  • Verwenden Sie getrennte Verbindungen für Entwicklung und Produktion.
  • Erteilen Sie jedem Schlüssel nur die minimal erforderlichen Berechtigungen.

​
Kosten und Tokenverbrauch

Die Nutzung von LLMs wird vom Provider anhand der Anzahl der verarbeiteten Token abgerechnet. Die Kosten steigen mit der Dokumentlänge, der Komplexität des Prompts, dem an das Modell gesendeten Dokumentformat und der Anzahl der Felder, die Sie extrahieren. Überwachen Sie den Verbrauch im Dashboard Ihres Providers, und verwenden Sie für einfache Aufgaben kleinere, schnellere Modelle.

​
Unterstützte Provider und Modelle

Vantage unterstützt mehrere LLM-Provider, jeweils mit eigenen Verbindungsfeldern und Modellen. Eine aktuelle Liste finden Sie unter Unterstützte LLM-Provider und -Modelle.

​
Wie geht es weiter?

LLM-Verbindungen konfigurieren

Richten Sie eine mandantenweite Verbindung zu einem LLM-Anbieter ein.

Daten mit promptbasierten Aktivitäten extrahieren

Erstellen Sie im Advanced Designer eine promptbasierte Extraktionsaktivität.

Unterstützte LLM-Provider und Modelle

Vergleichen Sie Provider, Verbindungsfelder und Beispielmodelle.