Datenbereinigung: begrenzte, messbare Arbeit statt Vorprojekt ohne Ende
Niemand braucht perfekte Daten. Gebraucht werden die Felder, an denen eine Entscheidung hängt, in einem Zustand, der sich messen und halten lässt.
Datenbereinigung: Definition und Abgrenzung
Datenbereinigung, englisch Data Cleaning oder Data Cleansing, ist das Erkennen und Beheben von Mängeln in einem Datenbestand: Dubletten (in der Datenbanksprache Duplikate), fehlende Werte, unplausible Einträge und uneinheitliche Formate. Der Bestand soll danach für einen benannten Zweck taugen, etwa für die Auslieferung, die Kundenansprache oder ein Prognosemodell, und muss dafür nicht makellos sein.
Die Verfahren der Datenbereinigung sind nicht neu, und das kommt Ihnen zugute, denn die Grundlagen sind seit Jahrzehnten veröffentlicht. Die Theorie des Dublettenabgleichs, also der Frage, wann zwei Datensätze dieselbe Person oder Firma meinen, formulierten Fellegi und Sunter 1969 [1]. Rahm und Do legten im Jahr 2000 eine Einteilung der Datenmängel vor, die Fehler innerhalb einer Quelle von Fehlern trennt, die erst beim Zusammenführen mehrerer Quellen entstehen [2].
Verwechselt wird die Datenbereinigung leicht mit ihren Nachbarbegriffen. Datenqualität beschreibt einen Zustand, gemessen an Kriterien wie Vollständigkeit und Eindeutigkeit, während die Bereinigung die Arbeit ist, die diesen Zustand verändert. Datenaufbereitung ist der Oberbegriff und umfasst neben der Bereinigung auch das Bilden von Merkmalen für ein Modell und den Aufbau der Pipeline, also der Verarbeitungsstrecke, die dieselben Regeln bei jedem neuen Datenstand erneut anwendet. Stammdatenmanagement schließlich regelt dauerhaft, wer Kunden, Artikel und Lieferanten anlegt und ändert. Ohne diese Regelung entstehen dieselben Mängel nach der Bereinigung neu.
Datenqualität: Kriterien, Messung, KostenSo funktioniert Datenbereinigung
Wer Daten bereinigen will, braucht zuerst eine Frage und erst danach ein Werkzeug. Das Verfahren hat sechs Schritte, und nur der vierte ist das, was man sich gemeinhin unter Bereinigung vorstellt.
| Schritt | Was passiert | Was dabei herauskommt |
|---|---|---|
| 1. Zweck und Umfang festlegen | Die Geschäftsfrage bestimmt, welche Tabellen und Felder zählen, etwa Lieferadresse und Lieferbedingung für die Logistik | eine kurze Liste der Felder, die bereinigt werden, und der Felder, die liegen bleiben |
| 2. Bestand vermessen | Je Feld werden Fehlanteil, Dubletten, Formatabweichungen und Ausreißer gezählt | ein Befund mit Mengen statt eines Eindrucks |
| 3. Regeln mit dem Fachbereich festlegen | Festgelegt wird, welcher von zwei Kundensätzen gewinnt, welches Feld Pflicht ist und welcher Wert unmöglich ist | ein Regelwerk, das jemand verantwortet |
| 4. Bereinigen | Dubletten zusammenführen, Formate und Einheiten vereinheitlichen, fehlende Werte nach Regel behandeln, belegte Fehler korrigieren | ein bereinigter Bestand und ein Protokoll jeder Änderung |
| 5. Gegenmessen | Dieselben Messgrößen wie in Schritt 2, dazu eine Stichprobe durch den Fachbereich | ein Vorher-Nachher-Vergleich in Zahlen |
| 6. Als Pipeline verstetigen | Die Regeln laufen als Code bei jedem neuen und jedem geänderten Datensatz | ein Bestand, der sauber bleibt |
Wie viel ein Eindruck übersieht, zeigt eine eigene Messung an einem öffentlichen Datensatz. Im UCI-Adult-Datensatz wirkt die Spalte „Workclass" zu 100 Prozent gefüllt. Erst nachdem das Fragezeichen als Fehlwert deklariert ist, zeigen sich 5,6 Prozent Lücken. Unter 32.561 Zeilen fanden wir 24 doppelte, also 0,074 Prozent. Der Anteil ist niedrig, aber nicht null, und ohne Prüfung unsichtbar.
Die Messung im Einzelnen: unser Datenqualitäts-Audit über drei öffentliche DatensätzeFür Schritt 4 gelten bei uns feste Entscheidungsregeln. Technische Dubletten, also identische Zeilen aus einem doppelt gelaufenen Export, werden gelöscht und gezählt. Fachliche Dubletten werden nie stillschweigend gelöscht, sondern nach einer mit dem Fachbereich festgelegten Regel aufgelöst: Der jüngste Stand gewinnt, oder der Stand aus dem führenden System. Fehlende Werte werden erst behandelt, wenn geklärt ist, warum sie fehlen.
Von Schritt 6 hängt ab, wie der Bestand in einem Jahr aussieht. Eine einmalige Aktion korrigiert nur, was heute im System steht, die Ursachen aber, etwa die Neuanlage ohne Prüfung, wirken schon am nächsten Tag weiter.
Rechenbeispiel: die Kosten unbereinigter Stammdaten
Das folgende Beispiel ist eine Modellrechnung über ein fiktives Unternehmen und beruht nicht auf Kundenzahlen. Ein technischer Großhändler führt 40.000 Kundenstammsätze und wickelt 120.000 Aufträge im Jahr ab. Die Geschäftsführung fragt, ob sie die Stammdaten bereinigen lassen soll.
| Annahme oder Rechenschritt | Wert |
|---|---|
| Dubletten im Kundenstamm | 6 Prozent, 2.400 Sätze |
| Sätze mit fehlerhafter Adresse oder Lieferbedingung | 5 Prozent, 2.000 Sätze |
| Doppelte Ansprache: zwei Katalogsendungen im Jahr zu je 2,50 Euro an jede Dublette | 12.000 Euro |
| Fehllieferungen aus Stammdatenfehlern: 0,8 Prozent der Aufträge, 960 Fälle zu je 45 Euro | 43.200 Euro |
| Klärfälle im Innendienst: 1,5 Prozent der Aufträge, 1.800 Fälle zu je 20 Minuten bei 48 Euro je Stunde | 28.800 Euro |
| Summe: Folgekosten im Jahr | 84.000 Euro |
| Einmaliger Prüfaufwand der Bereinigung: 4.400 Prüffälle zu je 10 Minuten bei 48 Euro je Stunde, rund 730 Arbeitsstunden | 35.200 Euro |
Angesetzt sind 48 Euro je Stunde als interner Vollkostensatz. In der Modellrechnung ist außerdem angenommen, dass sich Dubletten und fehlerhafte Sätze nicht überschneiden und dass Fehllieferungen und Klärfälle getrennte Vorgänge sind.
Keine Bereinigung beseitigt jeden Fehler, und nicht jede Fehllieferung hat ihre Ursache im Stammsatz. Die Modellrechnung setzt deshalb an, dass 70 Prozent der Folgekosten entfallen, also 58.800 Euro im Jahr. Dem steht der Prüfaufwand von 35.200 Euro gegenüber. Gerechnet ab dem Abschluss der Bereinigung ist er nach gut sieben Monaten verdient.
Dieser Prüfaufwand ist nur ein Teil des Aufwands, nämlich die Handarbeit an den Prüffällen in Schritt 4. Nicht enthalten sind die Bestandsmessung, das Regelwerk, die Gegenmessung und die Pipeline aus den Schritten 2, 3, 5 und 6. Sie hängen vom Zustand Ihrer Systeme ab, verlängern die Frist und gehören in Ihre eigene Rechnung.
| Szenario | Vermiedener Anteil | Nutzen im Jahr | Nutzen im ersten vollen Jahr abzüglich Prüfaufwand | Prüfaufwand verdient nach |
|---|---|---|---|---|
| vorsichtig | 50 Prozent | 42.000 Euro | 6.800 Euro | rund zehn Monaten |
| Modellrechnung | 70 Prozent | 58.800 Euro | 23.600 Euro | gut sieben Monaten |
| günstig | 85 Prozent | 71.400 Euro | 36.200 Euro | knapp sechs Monaten |
Für Ihre eigene Überschlagsrechnung zählen Sie je Fehlerart die Vorgänge eines Jahres und bewerten sie.
Jahresnutzen = Summe aus (fehlerhafte Vorgänge im Jahr × Folgekosten je Vorgang) × vermiedener Anteil
Frist in Monaten = gesamter Einmalaufwand ÷ Jahresnutzen × 12
Der zweite Teil der Rechnung betrifft die Zeit nach der Bereinigung. Der Großhändler legt im Jahr 8.000 Kundensätze neu an oder ändert sie. Die Modellrechnung nimmt vereinfachend an, dass dabei so viele Fehler entstehen wie im alten Bestand, also bei 11 Prozent, und dass die Folgekosten mit der Zahl der fehlerhaften Sätze steigen. Dann kommen jedes Jahr 880 fehlerhafte Sätze hinzu, ein Fünftel der bereinigten Menge. Ohne Prüfung beim Anlegen schrumpft der Jahresnutzen mit jedem Jahr um weitere 11.760 Euro und ist nach fünf Jahren aufgezehrt. Werden die 880 Fälle dagegen beim Anlegen geprüft, kostet das bei gleichem Satz 7.040 Euro im Jahr, und der Nutzen bleibt erhalten. Der Aufbau dieser Prüfung ist in den 7.040 Euro nicht enthalten. Beide Prüfbeträge, die 35.200 Euro für den Bestand und die 7.040 Euro im Jahr, setzen voraus, dass die Prüfung genau die fehlerhaften Sätze vorlegt. Legt sie auch einwandfreie vor, steigt der Aufwand: Würden alle 8.000 neuen oder geänderten Sätze von Hand geprüft, kostete das 64.000 Euro im Jahr und damit mehr als der Jahresnutzen von 58.800 Euro.
Wann sich Datenbereinigung lohnt und wann nicht
Datenbereinigung lohnt sich, wenn an den Daten eine Entscheidung oder ein Vorgang mit Folgekosten hängt und sich diese Kosten beziffern lassen. Hinzu kommen Voraussetzungen in der Organisation: eine Festlegung, woran ein Kunde oder Artikel über alle Systeme eindeutig erkannt wird, ein Fachbereich, der über die Regeln entscheidet, und ein Ort, an dem diese Regeln künftig automatisch laufen.
Vier Fehlschlüsse liegen nahe:
- Erst alles bereinigen, dann das Projekt starten. Bereinigt werden nur die Felder, die für die Geschäftsfrage gebraucht werden. Die übrigen bleiben liegen, bis eine Frage sie verlangt.
- Bereinigung ist eine Aufgabe der IT. Die IT führt die Bereinigung aus. Welcher von zwei Kundensätzen gilt, kann aber nur der Fachbereich entscheiden, etwa der Vertrieb oder die Buchhaltung.
- Das neue System löst das Problem. Eine Migration überträgt die Fehler in das neue System, wenn vorher niemand Regeln festgelegt hat.
- Auffällige Werte sind Fehler. Eine Großbestellung und ein Maschinenausfall sind auffällig, haben aber tatsächlich stattgefunden. Wer solche Werte entfernt, löscht echte Ereignisse aus den Daten.
Wir raten ab, wenn keine Entscheidung an den betroffenen Feldern hängt, wenn die Folgekosten gering sind oder wenn die Quelle ohnehin kurz vor der Ablösung steht. Ist noch offen, woran ein Kunde über alle Systeme erkannt wird, beginnt die Arbeit mit der Schlüsselbildung. Ohne gemeinsamen Schlüssel wird jedes System für sich sauber, und am Ende stehen mehrere Wahrheiten statt einer.
Einen seriösen Anbieter erkennen Sie daran, dass er im Angebot den Zweck und die betroffenen Felder nennt, vor und nach der Bereinigung mit denselben Größen misst und Ihnen das Regelwerk und das Änderungsprotokoll übergibt. Fehlt eines davon, kaufen Sie eine einmalige Aktion und keinen bleibenden Zustand.
Datenbereinigung im Data-Science-Prozess
Im Prozessmodell CRISP-DM, das ein Datenprojekt in sechs Phasen gliedert, gehört die Datenbereinigung zur Phase 3, der Datenaufbereitung [3]. In unserem Vorgehen ist sie dort der erste von drei Arbeitsschritten, vor dem Bilden der Merkmale und dem Aufbau der Pipeline. Den Befund, auf dem sie aufbaut, liefert Phase 2 mit der Qualitätsbewertung. In Phase 6 läuft bei uns dieselbe Pipeline im Betrieb weiter, damit ein Modell im Alltag dieselben bereinigten Daten erhält wie im Training.
Alle sechs CRISP-DM-Phasen im Überblick Phase 3: Datenaufbereitung mit Entscheidungsregeln je Mangel Phase 6: Modelle in Betrieb nehmen und überwachenHäufige Fragen zur Datenbereinigung
Was ist der Unterschied zwischen Datenbereinigung und Datenaufbereitung?
Datenbereinigung ist der erste Teil der Datenaufbereitung. Sie behebt, was im Bestand falsch, doppelt oder lückenhaft ist. Die Datenaufbereitung geht darüber hinaus: Sie bildet aus den bereinigten Daten Merkmale, aus denen ein Modell lernen kann (Feature Engineering), und baut die Verarbeitungsstrecke, die beide Arbeiten bei jedem neuen Datenstand wiederholt.
Wie lassen sich Dubletten bereinigen?
Identische Zeilen sind technische Dubletten und werden gelöscht. Sätze, die denselben Kunden in abweichender Schreibweise führen, sind fachliche Dubletten. Sie werden über einen Abgleich von Name, Adresse und Kennnummern gefunden und nach einer Regel zusammengeführt, die der Fachbereich festlegt. Bleibt danach offen, welcher Schlüssel künftig gilt, entstehen dieselben Dubletten neu.
Was kostet Datenbereinigung und wann rechnet sie sich?
Der Aufwand fällt einmalig für Messung, Regelwerk und Prüffälle an und danach laufend für die Prüfung beim Anlegen. Ihm stehen die Folgekosten fehlerhafter Vorgänge im Jahr gegenüber, multipliziert mit dem Anteil, den die Bereinigung vermeidet. Sind die Folgekosten gering oder nicht zu beziffern, geht die Rechnung nicht auf.
Wie lange dauert es, Stammdaten zu bereinigen?
Die Dauer hängt von der Zahl der Felder ab, die die Geschäftsfrage verlangt, und von den Prüffällen, die sich nicht automatisch entscheiden lassen. Hinzu kommt die Zeit, die der Fachbereich für die Regeln braucht. Eine Bestandsaufnahme vorab macht Felder und Prüffälle sichtbar und den Aufwand planbar.
Lässt sich Datenbereinigung automatisieren?
Die Ausführung lässt sich automatisieren, die Entscheidungen nicht. Formatprüfungen, die Suche nach Dubletten und das Zählen fehlender Werte laufen bei jedem neuen Datenstand von selbst. Welcher von zwei Kundensätzen gilt und ob ein auffälliger Wert ein Fehler oder ein echtes Ereignis ist, legt der Fachbereich einmal fest.
Womit beginnt eine Datenbereinigung?
Sie beginnt mit einer Geschäftsfrage und einer Messung. Die Frage legt fest, welche Felder zählen, und die Messung zeigt je Feld, wie viele Werte fehlen, doppelt oder unplausibel sind. Für die Messung genügt ein Export der betroffenen Tabellen, und die Daten müssen Ihr Haus dafür nicht verlassen.
Quellen
- Fellegi, I. P.; Sunter, A. B. (1969): A Theory for Record Linkage. Journal of the American Statistical Association 64 (328), S. 1183-1210. https://doi.org/10.1080/01621459.1969.10501049
- Rahm, E.; Do, H. H. (2000): Data Cleaning: Problems and Current Approaches. IEEE Data Engineering Bulletin 23 (4), S. 3-13. https://dbs.uni-leipzig.de/files/research/publications/2000-1/pdf/TBDE2000.pdf
- Chapman, P.; Clinton, J.; Kerber, R.; Khabaza, T.; Reinartz, T.; Shearer, C.; Wirth, R. (2000): CRISP-DM 1.0. Step-by-step data mining guide. SPSS Inc., S. 10 und S. 23 bis 25. https://nas.uhcl.edu/boetticher/ML_DataMining/CRISPWP-0800.pdf
Vertiefung
Rechnen Sie Ihre Stammdaten mit uns durch
Die Zahl Ihrer fehlerhaften Vorgänge und deren Folgekosten genügen für eine erste Einschätzung, ob sich die Bereinigung bei Ihnen lohnt.
Kostenloses Erstgespräch buchen