Erstellen Sie Document-Skills in Advanced Designer für strukturierte, teilstrukturierte und unstrukturierte Dokumente — mit Hinweisen zu Varianten und Trainingsdaten.
Ein Document-Skill extrahiert Feldwerte aus einem Dokumenttyp. Sie können Document-Skills entweder in ABBYY Vantage (Cloud) oder in Advanced Designer (Windows-Desktopanwendung) erstellen.Verwenden Sie Advanced Designer, wenn Sie mehrere Vantage-Technologien kombinieren, NLP hinzufügen oder den Verarbeitungsablauf je nach Dokumenttyp verzweigen müssen — typische Szenarien finden Sie unter Anwendungsfälle. Hintergrundinformationen zu Dokumentkategorien finden Sie unter Daten aus Dokumenten in Advanced Designer extrahieren.
Dokumente desselben Typs haben in der Regel dieselben Felder, Validierungsregeln und dieselbe Struktur, Varianten unterscheiden sich jedoch in kleinen Details — zum Beispiel im Jahr, in dem ein Steuerformular ausgestellt wurde. Ein Document-Skill kann für mehrere Varianten trainiert werden. Welche Technologie Sie wählen, hängt davon ab, wie viele Varianten Sie verarbeiten müssen:
Für optimale Ergebnisse trainieren und testen Sie den Skill mit drei verschiedenen Dokumentensätzen:
Trainingsdatensatz — dient zum Trainieren des Skills.
Testdatensatz — dient dazu, die Genauigkeit während der Entwicklung zu messen.
Blinddatensatz — ein zusätzlicher Testdatensatz, den der Skill noch nie gesehen hat und der zur Bewertung der tatsächlichen Generalisierungsfähigkeit dient.
Verwenden Sie für jeden Datensatz unterschiedliche Dokumente. Die Wiederverwendung von Trainingsdokumenten im Testdatensatz führt zu zu hohen Genauigkeitsschätzungen.
Streben Sie einen repräsentativen Datensatz mit 2–3 Dokumenten pro Variante an. Wenn Sie nicht jede Variante abdecken können, generalisiert die Aktivität Deep Learning anhand von Bildmustern und umgebenden Feldbezeichnungen, sodass sie auch Varianten verarbeiten kann, auf die sie nicht explizit trainiert wurde.Die empfohlene Dokumentanzahl hängt von den verwendeten Aktivitäten ab:
Passen Sie die Verteilung des Testdatensatzes an Ihren Dokumentenfluss in der Produktion an, damit die Genauigkeitsschätzung aussagekräftig ist. Wenn beispielsweise Rechnungen eines Vendors 30 % des Produktionsaufkommens ausmachen, sollte der Testdatensatz etwa 30 % der Rechnungen dieses Vendors enthalten. Am einfachsten erreichen Sie dieses Verhältnis, indem Sie mit zufällig ausgewählten Stichproben aus Produktionsdokumenten testen.
Verwenden Sie Dokumente, die der Skill beim Training oder Testen noch nie gesehen hat. Die Ergebnisse des Blinddatensatzes sind Ihr bester Anhaltspunkt für die Qualität unter realen Bedingungen.
