Technik · Datengrundlage

Datenbereinigung: begrenzte, messbare Arbeit statt Vorprojekt ohne Ende

Niemand braucht perfekte Daten. Gebraucht werden die Felder, an denen eine Entscheidung hängt, in einem Zustand, der sich messen und halten lässt.

Datenbereinigung: Definition und Abgrenzung

Datenbereinigung, englisch Data Cleaning oder Data Cleansing, ist das Erkennen und Beheben von Mängeln in einem Datenbestand: Dubletten (in der Datenbanksprache Duplikate), fehlende Werte, unplausible Einträge und uneinheitliche Formate. Der Bestand soll danach für einen benannten Zweck taugen, etwa für die Auslieferung, die Kundenansprache oder ein Prognosemodell, und muss dafür nicht makellos sein.

Die Verfahren der Datenbereinigung sind nicht neu, und das kommt Ihnen zugute, denn die Grundlagen sind seit Jahrzehnten veröffentlicht. Die Theorie des Dublettenabgleichs, also der Frage, wann zwei Datensätze dieselbe Person oder Firma meinen, formulierten Fellegi und Sunter 1969 [1]. Rahm und Do legten im Jahr 2000 eine Einteilung der Datenmängel vor, die Fehler innerhalb einer Quelle von Fehlern trennt, die erst beim Zusammenführen mehrerer Quellen entstehen [2].

Verwechselt wird die Datenbereinigung leicht mit ihren Nachbarbegriffen. Datenqualität beschreibt einen Zustand, gemessen an Kriterien wie Vollständigkeit und Eindeutigkeit, während die Bereinigung die Arbeit ist, die diesen Zustand verändert. Datenaufbereitung ist der Oberbegriff und umfasst neben der Bereinigung auch das Bilden von Merkmalen für ein Modell und den Aufbau der Pipeline, also der Verarbeitungsstrecke, die dieselben Regeln bei jedem neuen Datenstand erneut anwendet. Stammdatenmanagement schließlich regelt dauerhaft, wer Kunden, Artikel und Lieferanten anlegt und ändert. Ohne diese Regelung entstehen dieselben Mängel nach der Bereinigung neu.

Datenqualität: Kriterien, Messung, Kosten

So funktioniert Datenbereinigung

Wer Daten bereinigen will, braucht zuerst eine Frage und erst danach ein Werkzeug. Das Verfahren hat sechs Schritte, und nur der vierte ist das, was man sich gemeinhin unter Bereinigung vorstellt.

SchrittWas passiertWas dabei herauskommt
1. Zweck und Umfang festlegenDie Geschäftsfrage bestimmt, welche Tabellen und Felder zählen, etwa Lieferadresse und Lieferbedingung für die Logistikeine kurze Liste der Felder, die bereinigt werden, und der Felder, die liegen bleiben
2. Bestand vermessenJe Feld werden Fehlanteil, Dubletten, Formatabweichungen und Ausreißer gezähltein Befund mit Mengen statt eines Eindrucks
3. Regeln mit dem Fachbereich festlegenFestgelegt wird, welcher von zwei Kundensätzen gewinnt, welches Feld Pflicht ist und welcher Wert unmöglich istein Regelwerk, das jemand verantwortet
4. BereinigenDubletten zusammenführen, Formate und Einheiten vereinheitlichen, fehlende Werte nach Regel behandeln, belegte Fehler korrigierenein bereinigter Bestand und ein Protokoll jeder Änderung
5. GegenmessenDieselben Messgrößen wie in Schritt 2, dazu eine Stichprobe durch den Fachbereichein Vorher-Nachher-Vergleich in Zahlen
6. Als Pipeline verstetigenDie Regeln laufen als Code bei jedem neuen und jedem geänderten Datensatzein Bestand, der sauber bleibt

Wie viel ein Eindruck übersieht, zeigt eine eigene Messung an einem öffentlichen Datensatz. Im UCI-Adult-Datensatz wirkt die Spalte „Workclass" zu 100 Prozent gefüllt. Erst nachdem das Fragezeichen als Fehlwert deklariert ist, zeigen sich 5,6 Prozent Lücken. Unter 32.561 Zeilen fanden wir 24 doppelte, also 0,074 Prozent. Der Anteil ist niedrig, aber nicht null, und ohne Prüfung unsichtbar.

Die Messung im Einzelnen: unser Datenqualitäts-Audit über drei öffentliche Datensätze

Für Schritt 4 gelten bei uns feste Entscheidungsregeln. Technische Dubletten, also identische Zeilen aus einem doppelt gelaufenen Export, werden gelöscht und gezählt. Fachliche Dubletten werden nie stillschweigend gelöscht, sondern nach einer mit dem Fachbereich festgelegten Regel aufgelöst: Der jüngste Stand gewinnt, oder der Stand aus dem führenden System. Fehlende Werte werden erst behandelt, wenn geklärt ist, warum sie fehlen.

Von Schritt 6 hängt ab, wie der Bestand in einem Jahr aussieht. Eine einmalige Aktion korrigiert nur, was heute im System steht, die Ursachen aber, etwa die Neuanlage ohne Prüfung, wirken schon am nächsten Tag weiter.

Rechenbeispiel: die Kosten unbereinigter Stammdaten

Das folgende Beispiel ist eine Modellrechnung über ein fiktives Unternehmen und beruht nicht auf Kundenzahlen. Ein technischer Großhändler führt 40.000 Kundenstammsätze und wickelt 120.000 Aufträge im Jahr ab. Die Geschäftsführung fragt, ob sie die Stammdaten bereinigen lassen soll.

Annahme oder RechenschrittWert
Dubletten im Kundenstamm6 Prozent, 2.400 Sätze
Sätze mit fehlerhafter Adresse oder Lieferbedingung5 Prozent, 2.000 Sätze
Doppelte Ansprache: zwei Katalogsendungen im Jahr zu je 2,50 Euro an jede Dublette12.000 Euro
Fehllieferungen aus Stammdatenfehlern: 0,8 Prozent der Aufträge, 960 Fälle zu je 45 Euro43.200 Euro
Klärfälle im Innendienst: 1,5 Prozent der Aufträge, 1.800 Fälle zu je 20 Minuten bei 48 Euro je Stunde28.800 Euro
Summe: Folgekosten im Jahr84.000 Euro
Einmaliger Prüfaufwand der Bereinigung: 4.400 Prüffälle zu je 10 Minuten bei 48 Euro je Stunde, rund 730 Arbeitsstunden35.200 Euro

Angesetzt sind 48 Euro je Stunde als interner Vollkostensatz. In der Modellrechnung ist außerdem angenommen, dass sich Dubletten und fehlerhafte Sätze nicht überschneiden und dass Fehllieferungen und Klärfälle getrennte Vorgänge sind.

Keine Bereinigung beseitigt jeden Fehler, und nicht jede Fehllieferung hat ihre Ursache im Stammsatz. Die Modellrechnung setzt deshalb an, dass 70 Prozent der Folgekosten entfallen, also 58.800 Euro im Jahr. Dem steht der Prüfaufwand von 35.200 Euro gegenüber. Gerechnet ab dem Abschluss der Bereinigung ist er nach gut sieben Monaten verdient.

Dieser Prüfaufwand ist nur ein Teil des Aufwands, nämlich die Handarbeit an den Prüffällen in Schritt 4. Nicht enthalten sind die Bestandsmessung, das Regelwerk, die Gegenmessung und die Pipeline aus den Schritten 2, 3, 5 und 6. Sie hängen vom Zustand Ihrer Systeme ab, verlängern die Frist und gehören in Ihre eigene Rechnung.

SzenarioVermiedener AnteilNutzen im JahrNutzen im ersten vollen Jahr abzüglich PrüfaufwandPrüfaufwand verdient nach
vorsichtig50 Prozent42.000 Euro6.800 Eurorund zehn Monaten
Modellrechnung70 Prozent58.800 Euro23.600 Eurogut sieben Monaten
günstig85 Prozent71.400 Euro36.200 Euroknapp sechs Monaten

Für Ihre eigene Überschlagsrechnung zählen Sie je Fehlerart die Vorgänge eines Jahres und bewerten sie.

Jahresnutzen = Summe aus (fehlerhafte Vorgänge im Jahr × Folgekosten je Vorgang) × vermiedener Anteil

Frist in Monaten = gesamter Einmalaufwand ÷ Jahresnutzen × 12

Der zweite Teil der Rechnung betrifft die Zeit nach der Bereinigung. Der Großhändler legt im Jahr 8.000 Kundensätze neu an oder ändert sie. Die Modellrechnung nimmt vereinfachend an, dass dabei so viele Fehler entstehen wie im alten Bestand, also bei 11 Prozent, und dass die Folgekosten mit der Zahl der fehlerhaften Sätze steigen. Dann kommen jedes Jahr 880 fehlerhafte Sätze hinzu, ein Fünftel der bereinigten Menge. Ohne Prüfung beim Anlegen schrumpft der Jahresnutzen mit jedem Jahr um weitere 11.760 Euro und ist nach fünf Jahren aufgezehrt. Werden die 880 Fälle dagegen beim Anlegen geprüft, kostet das bei gleichem Satz 7.040 Euro im Jahr, und der Nutzen bleibt erhalten. Der Aufbau dieser Prüfung ist in den 7.040 Euro nicht enthalten. Beide Prüfbeträge, die 35.200 Euro für den Bestand und die 7.040 Euro im Jahr, setzen voraus, dass die Prüfung genau die fehlerhaften Sätze vorlegt. Legt sie auch einwandfreie vor, steigt der Aufwand: Würden alle 8.000 neuen oder geänderten Sätze von Hand geprüft, kostete das 64.000 Euro im Jahr und damit mehr als der Jahresnutzen von 58.800 Euro.

Wann sich Datenbereinigung lohnt und wann nicht

Datenbereinigung lohnt sich, wenn an den Daten eine Entscheidung oder ein Vorgang mit Folgekosten hängt und sich diese Kosten beziffern lassen. Hinzu kommen Voraussetzungen in der Organisation: eine Festlegung, woran ein Kunde oder Artikel über alle Systeme eindeutig erkannt wird, ein Fachbereich, der über die Regeln entscheidet, und ein Ort, an dem diese Regeln künftig automatisch laufen.

Vier Fehlschlüsse liegen nahe:

  • Erst alles bereinigen, dann das Projekt starten. Bereinigt werden nur die Felder, die für die Geschäftsfrage gebraucht werden. Die übrigen bleiben liegen, bis eine Frage sie verlangt.
  • Bereinigung ist eine Aufgabe der IT. Die IT führt die Bereinigung aus. Welcher von zwei Kundensätzen gilt, kann aber nur der Fachbereich entscheiden, etwa der Vertrieb oder die Buchhaltung.
  • Das neue System löst das Problem. Eine Migration überträgt die Fehler in das neue System, wenn vorher niemand Regeln festgelegt hat.
  • Auffällige Werte sind Fehler. Eine Großbestellung und ein Maschinenausfall sind auffällig, haben aber tatsächlich stattgefunden. Wer solche Werte entfernt, löscht echte Ereignisse aus den Daten.

Wir raten ab, wenn keine Entscheidung an den betroffenen Feldern hängt, wenn die Folgekosten gering sind oder wenn die Quelle ohnehin kurz vor der Ablösung steht. Ist noch offen, woran ein Kunde über alle Systeme erkannt wird, beginnt die Arbeit mit der Schlüsselbildung. Ohne gemeinsamen Schlüssel wird jedes System für sich sauber, und am Ende stehen mehrere Wahrheiten statt einer.

Einen seriösen Anbieter erkennen Sie daran, dass er im Angebot den Zweck und die betroffenen Felder nennt, vor und nach der Bereinigung mit denselben Größen misst und Ihnen das Regelwerk und das Änderungsprotokoll übergibt. Fehlt eines davon, kaufen Sie eine einmalige Aktion und keinen bleibenden Zustand.

Datenbereinigung im Data-Science-Prozess

Im Prozessmodell CRISP-DM, das ein Datenprojekt in sechs Phasen gliedert, gehört die Datenbereinigung zur Phase 3, der Datenaufbereitung [3]. In unserem Vorgehen ist sie dort der erste von drei Arbeitsschritten, vor dem Bilden der Merkmale und dem Aufbau der Pipeline. Den Befund, auf dem sie aufbaut, liefert Phase 2 mit der Qualitätsbewertung. In Phase 6 läuft bei uns dieselbe Pipeline im Betrieb weiter, damit ein Modell im Alltag dieselben bereinigten Daten erhält wie im Training.

Alle sechs CRISP-DM-Phasen im Überblick Phase 3: Datenaufbereitung mit Entscheidungsregeln je Mangel Phase 6: Modelle in Betrieb nehmen und überwachen

Häufige Fragen zur Datenbereinigung

Was ist der Unterschied zwischen Datenbereinigung und Datenaufbereitung?

Datenbereinigung ist der erste Teil der Datenaufbereitung. Sie behebt, was im Bestand falsch, doppelt oder lückenhaft ist. Die Datenaufbereitung geht darüber hinaus: Sie bildet aus den bereinigten Daten Merkmale, aus denen ein Modell lernen kann (Feature Engineering), und baut die Verarbeitungsstrecke, die beide Arbeiten bei jedem neuen Datenstand wiederholt.

Wie lassen sich Dubletten bereinigen?

Identische Zeilen sind technische Dubletten und werden gelöscht. Sätze, die denselben Kunden in abweichender Schreibweise führen, sind fachliche Dubletten. Sie werden über einen Abgleich von Name, Adresse und Kennnummern gefunden und nach einer Regel zusammengeführt, die der Fachbereich festlegt. Bleibt danach offen, welcher Schlüssel künftig gilt, entstehen dieselben Dubletten neu.

Was kostet Datenbereinigung und wann rechnet sie sich?

Der Aufwand fällt einmalig für Messung, Regelwerk und Prüffälle an und danach laufend für die Prüfung beim Anlegen. Ihm stehen die Folgekosten fehlerhafter Vorgänge im Jahr gegenüber, multipliziert mit dem Anteil, den die Bereinigung vermeidet. Sind die Folgekosten gering oder nicht zu beziffern, geht die Rechnung nicht auf.

Wie lange dauert es, Stammdaten zu bereinigen?

Die Dauer hängt von der Zahl der Felder ab, die die Geschäftsfrage verlangt, und von den Prüffällen, die sich nicht automatisch entscheiden lassen. Hinzu kommt die Zeit, die der Fachbereich für die Regeln braucht. Eine Bestandsaufnahme vorab macht Felder und Prüffälle sichtbar und den Aufwand planbar.

Lässt sich Datenbereinigung automatisieren?

Die Ausführung lässt sich automatisieren, die Entscheidungen nicht. Formatprüfungen, die Suche nach Dubletten und das Zählen fehlender Werte laufen bei jedem neuen Datenstand von selbst. Welcher von zwei Kundensätzen gilt und ob ein auffälliger Wert ein Fehler oder ein echtes Ereignis ist, legt der Fachbereich einmal fest.

Womit beginnt eine Datenbereinigung?

Sie beginnt mit einer Geschäftsfrage und einer Messung. Die Frage legt fest, welche Felder zählen, und die Messung zeigt je Feld, wie viele Werte fehlen, doppelt oder unplausibel sind. Für die Messung genügt ein Export der betroffenen Tabellen, und die Daten müssen Ihr Haus dafür nicht verlassen.

Quellen

  1. Fellegi, I. P.; Sunter, A. B. (1969): A Theory for Record Linkage. Journal of the American Statistical Association 64 (328), S. 1183-1210. https://doi.org/10.1080/01621459.1969.10501049
  2. Rahm, E.; Do, H. H. (2000): Data Cleaning: Problems and Current Approaches. IEEE Data Engineering Bulletin 23 (4), S. 3-13. https://dbs.uni-leipzig.de/files/research/publications/2000-1/pdf/TBDE2000.pdf
  3. Chapman, P.; Clinton, J.; Kerber, R.; Khabaza, T.; Reinartz, T.; Shearer, C.; Wirth, R. (2000): CRISP-DM 1.0. Step-by-step data mining guide. SPSS Inc., S. 10 und S. 23 bis 25. https://nas.uhcl.edu/boetticher/ML_DataMining/CRISPWP-0800.pdf

Rechnen Sie Ihre Stammdaten mit uns durch

Die Zahl Ihrer fehlerhaften Vorgänge und deren Folgekosten genügen für eine erste Einschätzung, ob sich die Bereinigung bei Ihnen lohnt.

Kostenloses Erstgespräch buchen