Technik · Sprache und Text

Natural Language Processing: aus Freitext werden Kategorien, die sich zählen lassen

Wie viel die maschinelle Auswertung von Text einspart, hängt vom Volumen, von den Fehlern des Modells und von der Nachkontrolle durch Menschen ab.

Natural Language Processing: Definition und Abgrenzung

Natural Language Processing (NLP), deutsch maschinelle Sprachverarbeitung, ist ein Teilgebiet der Informatik und der künstlichen Intelligenz, das geschriebene und gesprochene Sprache für Software auswertbar macht. Im Betrieb werden dabei aus E-Mails, Service-Tickets, Reklamationen oder Rezensionen Angaben, die sich zählen und weiterverarbeiten lassen.

Schon 1966 beschrieb Joseph Weizenbaum am MIT mit ELIZA ein Programm, das getippte Sätze nach Schlüsselwörtern absuchte und seine Antworten aus festen Regeln zusammensetzte [1]. 2017 stellten Vaswani und Kollegen den Transformer vor, eine Netzarchitektur, die allein auf Attention beruht, einem Mechanismus, der die Wörter eines Textes zueinander in Beziehung setzt [2]. Auf dem Transformer baut BERT auf, ein Sprachmodell von 2018, das an unbeschriftetem Text vortrainiert wird und sich danach mit einer zusätzlichen Ausgabeschicht an eine Aufgabe anpassen lässt [3].

Vier verwandte Begriffe sind von NLP zu unterscheiden:

  • Textanalyse nennen wir die Anwendung im Betrieb, also die Auswertung eines Textbestands für eine Geschäftsfrage.
  • Text Mining sucht in großen Textmengen nach Mustern, auch nach solchen, die vorher niemand als Kategorie festgelegt hat.
  • Große Sprachmodelle (LLM) und die darauf gebauten Chatbots sind ein Werkzeug innerhalb des Fachgebiets. Sie erzeugen Text, während Aufgaben wie die Vorsortierung von Anfragen nur eine Zuordnung verlangen.
  • Texterkennung (OCR) ist eine Vorstufe und macht aus einem gescannten Dokument maschinenlesbaren Text.

Für den Betrieb unterscheiden wir fünf Aufgaben: die Klassifikation von Tickets, E-Mails und Reklamationen, die Extraktion von Angaben wie Bestellnummer oder Liefertermin aus Dokumenten, die Sentimentanalyse zur Stimmung von Rezensionen, die Themenerkennung über viele Texte und die Suche nach Dokumenten anhand ihres Inhalts.

So funktioniert Natural Language Processing

Ein Vorhaben mit Textdaten besteht aus sechs Schritten, und das Verfahren wird erst im vierten gewählt.

SchrittWas passiertWas dabei herauskommt
1. Aufgabe festlegender Fachbereich bestimmt die Kategorien und beziffert, was eine falsche Zuordnung kostetein Kategorienschema mit Kosten je Fehler
2. Texte sammeln und schützenTexte aus Postfach, Ticketsystem oder ERP werden zusammengeführt und von Namen und Kontaktdaten befreit, wo die Aufgabe sie nicht brauchtein Textbestand ohne entbehrliche Personenangaben
3. Beispiele beschriftenFachleute ordnen jedem Text einer Stichprobe die richtige Kategorie zu. Diese Zuordnung heißt LabelTexte mit richtiger Antwort, getrennt in Trainings- und Testdaten
4. Verfahren wählenzuerst werden Schlagwortregeln geprüft, dann eine klassische Textklassifikation, die Wörter zählt und gewichtet, und erst danach ein Sprachmodellje Text eine Kategorie und eine Konfidenz, also ein Wert für die Sicherheit der Zuordnung
5. Getrennt prüfendas Modell ordnet Texte zu, die es im Training nie gesehen hat, und wird mit der heutigen Sortierung verglichendie Fehlerquote je Kategorie, gemessen an einer vorher festgelegten Schwelle
6. Einbinden und überwachensichere Fälle werden automatisch zugeordnet, unsichere gehen an einen Menschen, und eine Stichprobe wird nachgeprüftein Ablauf, dessen Fehlerquote laufend gemessen wird

Die Reihenfolge in Schritt 4 folgt dem Grundsatz, die einfachste Methode zu wählen, die das Problem löst. Schlagwortregeln genügen, wenn sich die Kategorie an festen Begriffen erkennen lässt, etwa am Wort „Rücksendung“. 2017 berichteten Joulin und Kollegen, dass ihr einfacher lernender Klassifikator bei der Genauigkeit oft gleichauf mit den tiefen Netzen jener Zeit lag und sich auf einem gewöhnlichen Prozessor um Größenordnungen schneller trainieren ließ [4]. Ein Sprachmodell lohnt sich aus unserer Sicht erst, wenn die Bedeutung vom Zusammenhang abhängt, zum Beispiel bei Ironie in Rezensionen oder bei langen Schreiben mit mehreren Anliegen.

Was eine Themenerkennung leistet, zeigt die Modellrechnung unserer Modeserie, die mit fiktiven Daten arbeitet. Im Auswahlfeld für den Retourengrund steht dort bei 42 Prozent der Rücksendungen „Passt nicht“. Eine Themenerkennung über 210.000 Freitext-Kommentare zerlegt diesen einen Grund in fünf Ursachen mit je eigener Maßnahme.

Retourengründe analysieren: aus Freitext werden Ursachen

Rechenbeispiel: Vorsortierung von Service-Anfragen im technischen Großhandel

Das folgende Beispiel ist eine Modellrechnung über ein fiktives Unternehmen und enthält keine Kundenzahlen. Alle Werte der Tabelle sind Annahmen. Der technische Großhändler aus unserem Rechenbeispiel zur Datenbereinigung erhält im Jahr 120.000 schriftliche Service-Anfragen. Heute liest das Serviceteam jede Anfrage an und leitet sie an das zuständige Team weiter.

AnnahmeWert
Schriftliche Service-Anfragen im Jahr120.000
Zeit für das Sortieren von Hand je Anfrage1,5 Minuten
Fehlerquote bei der Sortierung von Hand12 Prozent
Mehraufwand je falsch zugeordneter Anfrage (erneut lesen und weiterleiten)6 Minuten
Interner Kostensatz je Stunde48 Euro
Anteil, den das Modell automatisch zuordnet (Automatisierungsquote)70 Prozent
Fehlerquote des Modells bei diesen Anfragen5 Prozent
Stichprobe zur Nachkontrolle dieser Anfragen5 Prozent, je 1 Minute

Heute kostet die Sortierung 266.400 Minuten im Jahr, nämlich 180.000 Minuten für das Sortieren und 86.400 Minuten für die falsch zugeordneten Anfragen. Umgerechnet sind es 4.440 Stunden oder 213.120 Euro.

Liegt die Konfidenz, die das Modell zu jeder Anfrage ausgibt, über einer vorher festgelegten Schwelle, wird die Anfrage ohne Prüfung durch einen Menschen weitergeleitet. In der Modellrechnung trifft diese Bedingung auf 84.000 Anfragen zu, von denen das Modell 4.200 falsch zuordnet. Die übrigen 36.000 sortiert das Team wie bisher.

Mit dem Modell fallen 109.320 Minuten an: 79.920 Minuten für die 36.000 von Hand sortierten Anfragen samt ihren Fehlzuordnungen, 25.200 Minuten für die Fehler des Modells und 4.200 Minuten für die Stichprobe. Die Differenz zu heute beträgt 157.080 Minuten oder 2.618 Stunden. Der Bruttoeffekt liegt damit bei 125.664 Euro im Jahr vor den Kosten für Einführung und Betrieb, zu denen auch das Beschriften der Beispiele gehört. Die 2.618 Stunden sind zunächst frei gewordene Arbeitszeit und werden erst zu einer Ersparnis in Euro, wenn dadurch Überstunden oder eine Neueinstellung entfallen.

SzenarioAutomatisierungsquoteFehlerquote des ModellsBruttoeffekt im Jahr
vorsichtig40 Prozent8 Prozent64.896 Euro
Modellrechnung70 Prozent5 Prozent125.664 Euro
günstig85 Prozent3 Prozent162.384 Euro

Für Ihre eigene Überschlagsrechnung gilt:

Kosten je Anfrage von Hand = (Sortierzeit + Fehlerquote von Hand × Mehraufwand je Fehler) × Kosten je Minute

Kosten je Anfrage mit Modell = (Fehlerquote des Modells × Mehraufwand je Fehler + Stichprobenanteil × Prüfzeit) × Kosten je Minute

Bruttoeffekt im Jahr = Anfragen × Automatisierungsquote × (Kosten je Anfrage von Hand − Kosten je Anfrage mit Modell)

In der Modellrechnung spart jede automatisch zugeordnete Anfrage rund 1,50 Euro. Teilen Sie die Kosten für Einführung und Betrieb im ersten Jahr durch diesen Betrag, erhalten Sie die Zahl der automatisch zugeordneten Anfragen, ab der sich das Vorhaben im ersten Jahr rechnet.

Drei Grenzen der Rechnung gehören dazu. Der Bruttoeffekt wächst im gleichen Verhältnis wie das Volumen, und bei 20.000 Anfragen im Jahr bleiben unter sonst gleichen Annahmen 20.944 Euro. Außerdem bleiben dem Team mit den unsicheren Fällen die schwierigeren Anfragen. Steigt die Fehlerquote von Hand in diesem Rest von 12 auf 16 Prozent, sinkt der Bruttoeffekt um 6.912 Euro auf 118.752 Euro.

Kostet schließlich ein Fehler des Modells 12 statt 6 Minuten, weil er später auffällt, bleiben 105.504 Euro. Nicht enthalten sind die Folgen einer eiligen Reklamation, die das falsche Team erreicht.

Prozessautomatisierung mit KI: erst messen, dann rechnen

Wann sich NLP lohnt und wann nicht

Bei den Daten setzt ein Vorhaben drei Dinge voraus. Jede Kategorie, auch die seltene, muss mit beschrifteten Beispielen vertreten sein. Die Sprache der Texte muss zum Verfahren passen, denn Schlagwortlisten werden je Sprache angelegt, und die Fachbegriffe und Artikelnummern Ihres Betriebs muss auch ein vortrainiertes Modell erst an Beispielen lernen. Hinzu kommt der Datenschutz.

Texte mit Namen, Adressen oder Kundennummern natürlicher Personen enthalten personenbezogene Daten im Sinne der Datenschutz-Grundverordnung, und Angaben zur Gesundheit im Freitext zählen dort zu den besonderen Kategorien [5]. Welche Angaben vor dem Training entfernt werden und ob die Texte Ihr Haus verlassen dürfen, entscheiden Sie mit Ihrem Datenschutzbeauftragten oder Ihrer Rechtsberatung. Wer ein großes Sprachmodell auf eigenen Servern betreiben will, damit die Texte im Haus bleiben, sollte die Kosten kennen. In unserer Rechnung aus 110 datierten Preisquellen ist eigene Hardware erst ab rund 574 Millionen Tokens, also Wortbausteinen, im Monat günstiger als ein großes Sprachmodell über die API eines Cloud-Anbieters.

In der Organisation braucht es einen Fachbereich, der die Kategorien verantwortet und Grenzfälle entscheidet, und jemanden, der das Modell bei neuen Anliegen nachführt.

Drei Fehlschlüsse liegen nahe:

  • Ein Sprachmodell ist nicht automatisch die bessere Wahl. Erreichen Schlagwortregeln oder eine klassische Textklassifikation die vorher festgelegte Schwelle, bleibt es bei ihnen. Auf unserer Startseite steht dazu der Satz „Wir setzen keine LLMs ein, wo XGBoost ausreicht“. XGBoost ist ein Verfahren des klassischen maschinellen Lernens.
  • Eine hohe Trefferquote im Durchschnitt sagt wenig über die seltene Kategorie. Machen Reklamationen 3 Prozent der Anfragen aus, kann ein Modell 97 Prozent Trefferquote erreichen, ohne eine einzige Reklamation zu erkennen. Deshalb wird die Fehlerquote je Kategorie ausgewiesen.
  • Was ein Sprachmodell ausgibt, muss am Dokument geprüft werden. Textgenerierende Modelle neigen dazu, Angaben zu erzeugen, die im Ausgangstext nicht stehen [6]. Liest ein solches Modell Bestellnummern oder Beträge aus Dokumenten, gehört der Abgleich mit dem Original in den Ablauf.

Wir raten von einem lernenden Verfahren ab, wenn das Volumen so klein ist, dass sich nach der Formel oben kein Vorhaben rechnet, oder wenn sich die Fachleute bei der Zuordnung selbst nicht einig sind, weil dem Modell dann die richtige Antwort zum Lernen fehlt. Ebenso wenig braucht es ein Modell, wenn ein Pflichtfeld im Formular die Frage beantwortet, die sonst aus dem Freitext gelesen werden müsste.

Einen seriösen Anbieter erkennen Sie daran, dass er sein Modell an Schlagwortregeln und an Ihrer heutigen Sortierung misst und die Fehlerquote je Kategorie auf getrennten Testdaten ausweist, bevor er eine Ersparnis nennt.

Natural Language Processing im Data-Science-Prozess

Ein Textvorhaben durchläuft die sechs Phasen von CRISP-DM, dem Vorgehensmodell für Data-Science-Projekte. In Phase 1 werden die Kategorien und die Kosten einer falschen Zuordnung festgelegt, und in Phase 3, der Datenaufbereitung, werden personenbezogene Angaben entfernt und Beispiele beschriftet. In Phase 5, der Modellvalidierung, wird die Fehlerquote je Kategorie auf getrennten Testdaten an einer Schwelle gemessen, die vor dem Test feststand.

Alle sechs CRISP-DM-Phasen im Überblick Phase 1: Geschäftsziele verstehen Phase 3: Datenaufbereitung Phase 5: Modellvalidierung

Häufige Fragen zu Natural Language Processing

Was ist Natural Language Processing einfach erklärt?

Natural Language Processing, kurz NLP, ist die Auswertung von Sprache durch Software. Ein Verfahren liest Texte wie E-Mails, Tickets oder Rezensionen und liefert dazu eine Angabe, mit der ein Betrieb arbeiten kann, zum Beispiel die Kategorie einer Anfrage oder die Stimmung einer Bewertung. Das Neuro-Linguistische Programmieren, das ebenfalls NLP abgekürzt wird, ist ein anderes Gebiet.

Was ist der Unterschied zwischen NLP, KI und großen Sprachmodellen?

Künstliche Intelligenz ist der Oberbegriff, und NLP ist das Teilgebiet, das sich mit Sprache befasst. Große Sprachmodelle sind wiederum ein Werkzeug innerhalb von NLP und erzeugen Text. Für das Sortieren von Anfragen kann ein kleineres Verfahren genügen, das nur eine Kategorie ausgibt.

Wie funktioniert eine Sentimentanalyse?

Eine Sentimentanalyse ordnet einem Text eine Stimmung zu, zum Beispiel positiv, neutral oder negativ. Einfache Verfahren zählen wertende Wörter aus einer Liste, und lernende werden mit Rezensionen trainiert, deren Bewertung bekannt ist. Schwierig bleiben Ironie und Texte, die das Produkt loben und zugleich die Lieferung kritisieren.

Welche Daten braucht ein NLP-Projekt?

Ein NLP-Projekt braucht die Texte selbst und für eine Stichprobe die richtige Antwort, also das Label. Jede Kategorie muss mit Beispielen vertreten sein, auch die seltene. Hinzu kommt die Klärung des Datenschutzes, weil Anfragen und E-Mails Namen und Kontaktdaten enthalten können.

Wie lange dauert es, bis eine Textklassifikation im Betrieb läuft?

Die Dauer hängt vor allem von zwei Vorarbeiten ab, nämlich vom Kategorienschema und von den beschrifteten Beispielen. Liegen beide vor und ist der Datenschutz geklärt, ist ein erster Test gegen Ihre heutige Sortierung der kleinere Teil. Andernfalls bestimmen Abstimmung und Beschriftung den Zeitplan.

Womit beginnt ein Vorhaben zur Textanalyse?

Es beginnt mit einem Kategorienschema und zwei Zahlen, nämlich dem Volumen im Jahr und den Kosten einer falschen Zuordnung. Danach wird an einer Stichprobe gemessen, wie gut Ihre heutige Sortierung und einfache Schlagwortregeln abschneiden. Erst dann lässt sich sagen, ob ein lernendes Verfahren genug Vorsprung verspricht.

Quellen

  1. Joseph Weizenbaum: ELIZA - A Computer Program For the Study of Natural Language Communication Between Man and Machine. Communications of the ACM 9 (1), 1966, S. 36-45. https://doi.org/10.1145/365153.365168
  2. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin: Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017). https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
  3. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, Band 1, S. 4171-4186, Vorabdruck arXiv:1810.04805 vom Oktober 2018. https://doi.org/10.18653/v1/N19-1423
  4. Armand Joulin, Edouard Grave, Piotr Bojanowski, Tomas Mikolov: Bag of Tricks for Efficient Text Classification. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL), Band 2, Short Papers, 2017, S. 427-431. https://aclanthology.org/E17-2068/
  5. Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 (Datenschutz-Grundverordnung), Artikel 4 Nummer 1 („personenbezogene Daten“) und Artikel 9 Absatz 1 („Verarbeitung besonderer Kategorien personenbezogener Daten“). https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32016R0679
  6. Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, Pascale Fung: Survey of Hallucination in Natural Language Generation. ACM Computing Surveys 55 (12), 2023, S. 1-38. https://doi.org/10.1145/3571730

Rechnen Sie Ihre Textmengen mit uns durch

Das Volumen im Jahr, die heutige Sortierzeit und die Kosten einer falschen Zuordnung genügen für eine erste Einschätzung, ob sich ein lernendes Verfahren bei Ihnen rechnet.

Kostenloses Erstgespräch buchen