Zum Hauptinhalt springen
Nach dem Training eines Klassifizierungs‑Skills öffnen Sie im Classification Skill Designer die Registerkarte Ergebnis, um zu sehen, wie genau der Klassifikator die einzelnen Klassen zuordnet, und um Fehler im Trainingsdatensatz zu diagnostizieren. Die Statistiken werden automatisch aktualisiert, sobald der Klassifikator trainiert wurde. Wenn die Genauigkeit niedrig ist, springen Sie zu Klassifizierungsfehler, um mehr über häufige Ursachen und deren Behebung zu erfahren.
Registerkarte Ergebnis im Classification Skill Designer mit klassenweiser Genauigkeit und Dokumentanzahl.

​
Voraussetzungen

  • Ein Klassifizierungs‑Skill, der mindestens einmal trainiert wurde.

​
Was auf der Registerkarte „Ergebnis“ angezeigt wird

  • Allgemeine Klassifizierungsgenauigkeit — Prozentsatz der im gesamten Datensatz korrekt klassifizierten Dokumente.
  • Genauigkeit pro Klasse — Prozentsatz der für jede Klasse korrekt klassifizierten Dokumente.
  • Dokumentanzahl pro Klasse — Anzahl der korrekt und falsch klassifizierten Dokumente pro Klasse.
  • Zuletzt trainiert — Datum und Uhrzeit des letzten Trainingsdurchlaufs.

​
Ergebnistabelle

Die Ergebnistabelle enthält alle nicht leeren benutzerdefinierten Klassen (außer Keine Klasse). Die Klassen werden zunächst nach Genauigkeit (von der niedrigsten zur höchsten), dann nach der Anzahl der Dokumente und schließlich alphabetisch nach Namen sortiert. Eine Bildlaufleiste wird angezeigt, wenn nicht alle Zeilen auf den Bildschirm passen. Wenn Sie auf eine Zeile klicken, wird die entsprechende Klasse auf der Registerkarte documents geöffnet. Wenn Sie eine Klasse auf der Registerkarte documents umbenennen, wird der Name auf der Registerkarte Ergebnis automatisch aktualisiert. Wenn Sie eine Klasse nach dem Training löschen, wird ihr Name auf der Registerkarte Ergebnis ausgegraut angezeigt; die Zeile wird erst beim nächsten Training des Klassifikators entfernt.

​
Wann Iterationen beendet werden sollten

Für einen Klassifizierungs‑Skill gibt es keinen festen Genauigkeitsschwellenwert — das richtige Ziel hängt davon ab, wie viele fehlgeleitete Dokumente in nachgelagerten Prozessen tolerierbar sind und wie viel Manuelle Überprüfung akzeptabel ist. Als praktische Orientierung gilt: Streben Sie eine hohe Genauigkeit pro Klasse an (nicht nur insgesamt), arbeiten Sie weiter an den unten genannten Ursachen, solange sich die Lücke schließt, und hören Sie auf, sobald eine Klasse entweder Ihre geschäftlichen Anforderungen erfüllt oder trotz ausgewogener, sauberer Trainingsdaten erkennbar ein Plateau erreicht hat. Wenn eine Klasse deutlich unter dem Niveau der anderen stagniert, behandeln Sie sie als nicht unterscheidbar und fassen Sie sie mit der ähnlichsten benachbarten Klasse zusammen. Sobald der Skill produktiv eingesetzt wird, verfolgen Sie Genauigkeit des Dokumentklassifikators weiterhin im Zeitverlauf im Analytics Dashboard und ziehen Sie Online Learning zur kontinuierlichen Verbesserung in Betracht.

​
Klassifizierungsfehler

Die meisten Fälle fehlerhafter Klassifizierung entstehen durch Fehler im Trainingsdatensatz — zum Beispiel durch falsch zugewiesene Referenzklassen oder eine unzureichende Anzahl von Dokumenten für eine bestimmte Klasse.

​
Falsch zugewiesene Referenzklassen

Um dies zu korrigieren, weisen Sie die betroffenen Dokumente neu zu und trainieren Sie den Klassifikator anschließend neu:
1

Öffnen Sie die betroffene Klasse auf der Registerkarte Documents

Klicken Sie im Bereich Actions auf Review Prediction in Document Set oder auf die entsprechende Zeile in der Ergebnistabelle.
2

Wählen Sie ein falsch klassifiziertes Dokument aus

Wählen Sie ein Dokument aus, dem fälschlicherweise eine Referenzklasse zugewiesen wurde.
3

Weisen Sie die richtige Klasse zu

Klicken Sie im Bereich Actions auf den Namen der richtigen Klasse.
4

Wiederholen Sie den Vorgang für jedes betroffene Dokument

Wiederholen Sie die beiden vorherigen Schritte für jedes Dokument, dem fälschlicherweise eine Referenzklasse zugewiesen wurde.
5

Trainieren Sie den Klassifikator erneut

Klicken Sie im Bereich Actions auf die Schaltfläche Train.

​
Unzureichende oder unausgewogene Trainingsdaten

Eine unzureichende Klassifizierungsqualität kann durch Folgendes verursacht werden:
  • Eine unzureichende Anzahl hochgeladener Dokumente
  • Eine deutlich unausgewogene Verteilung der Dokumente auf die Klassen
  • Eine unzureichende Anzahl von Beispielen der häufigsten Dokumentvarianten für die jeweilige Klasse
Verbessern Sie die Klassifizierungsqualität, indem Sie die fehlenden Dokumente zum Trainingsdatensatz hinzufügen. Streben Sie für jede Klasse 100 bis 1000 Dokumente an. Außerdem sollte Ihr Dokumentensatz Beispieldokumente für die häufigsten Dokumentvarianten jeder Klasse in etwa im Verhältnis 1:1 enthalten. Nachdem Sie die neuen Dokumente zum Trainingsdatensatz hinzugefügt haben, ordnen Sie jedem eine Klasse zu und trainieren den Klassifikator neu.

​
Verwechselte Klassen

Wenn zwei Klassen immer wieder verwechselt werden, weil sie sich in Form, Layout oder Text nicht wesentlich unterscheiden, führen Sie sie zu einer einzigen Klasse zusammen. Trennen Sie die Dokumente später in der Pipeline anhand extrahierter Feldwerte, falls die Unterscheidung weiterhin wichtig ist.
Zum Beispiel werden eine Klasse für Rechnungen unter 10.000 undeineKlassefu¨rRechnungenu¨ber10.000  und eine Klasse für Rechnungen über 10.000  wahrscheinlich verwechselt, da der einzige Unterschied zwischen ihnen der Gesamtbetrag ist. Führen Sie sie in einer einzigen Invoice-Klasse zusammen und verzweigen Sie nachgelagert anhand des Betrags — nachdem der Gesamtbetrag extrahiert wurde.