Czyszczenie danych: ograniczona, mierzalna praca zamiast niekończącego się projektu wstępnego
Nikt nie potrzebuje idealnych danych. Potrzebne są pola, od których zależy decyzja, w stanie, który da się zmierzyć i utrzymać.
Czyszczenie danych: definicja i rozgraniczenie pojęć
Czyszczenie danych (ang. data cleaning lub data cleansing) to wykrywanie i usuwanie wad w zbiorze danych: duplikatów, brakujących wartości, nieprawdopodobnych wpisów i niejednolitych formatów. Jego celem nie jest zbiór bez skazy, lecz taki, który sprawdza się w konkretnym zastosowaniu, na przykład przy realizacji dostaw, w kontakcie z klientami albo w modelu prognostycznym.
Metody czyszczenia danych nie są nowe, co jest dla Państwa korzystne, bo ich podstawy są dostępne w publikacjach od dziesięcioleci. Teorię łączenia rekordów, czyli odpowiedź na pytanie, kiedy dwa rekordy dotyczą tej samej osoby lub firmy, sformułowali Fellegi i Sunter w 1969 roku [1]. Rahm i Do przedstawili w 2000 roku klasyfikację wad danych, która oddziela błędy w obrębie jednego źródła od błędów powstających dopiero przy łączeniu kilku źródeł [2].
Czyszczenie danych łatwo pomylić z pojęciami pokrewnymi. Jakość danych opisuje stan mierzony kryteriami takimi jak kompletność i unikalność, natomiast czyszczenie to praca, która ten stan zmienia. Przygotowanie danych jest pojęciem nadrzędnym. Obejmuje oprócz czyszczenia także tworzenie cech dla modelu i budowę potoku, czyli ciągu przetwarzania, który przy każdym nowym stanie danych ponownie stosuje te same reguły. Zarządzanie danymi podstawowymi ustala z kolei na stałe, kto zakłada i zmienia dane klientów, produktów i dostawców. Bez takich ustaleń te same wady powstają po czyszczeniu na nowo.
Jakość danych: kryteria, pomiar, kosztyJak działa czyszczenie danych
Aby oczyścić dane, potrzebują Państwo najpierw pytania, a dopiero potem narzędzia. Proces ma sześć kroków i tylko czwarty odpowiada temu, co zwykle kojarzy się z czyszczeniem.
| Krok | Co się dzieje | Co z tego wynika |
|---|---|---|
| 1. Ustalenie celu i zakresu | Pytanie biznesowe określa, które tabele i pola się liczą, na przykład adres dostawy i warunki dostawy w logistyce | krótka lista pól, które zostaną oczyszczone, i pól, które pozostaną bez zmian |
| 2. Pomiar zbioru | Dla każdego pola ustala się udział braków oraz zlicza duplikaty, odchylenia od formatu i wartości odstające | wynik oparty na liczbach, a nie na wrażeniu |
| 3. Ustalenie reguł z działem biznesowym | Ustala się, który z dwóch rekordów klienta wygrywa, które pole jest obowiązkowe i która wartość jest niemożliwa | zestaw reguł, za który ktoś odpowiada |
| 4. Czyszczenie | Scalenie duplikatów, ujednolicenie formatów i jednostek, obsługa brakujących wartości według reguły oraz poprawienie udokumentowanych błędów | oczyszczony zbiór i protokół każdej zmiany |
| 5. Pomiar kontrolny | Mierzy się te same wielkości co w kroku 2, a dział biznesowy sprawdza próbę | liczbowe porównanie stanu przed czyszczeniem i po nim |
| 6. Utrwalenie w potoku | Reguły działają jako kod przy każdym nowym i każdym zmienionym rekordzie | zbiór, który pozostaje czysty |
Ile umyka przy ocenie na oko, pokazuje nasz własny pomiar na publicznym zbiorze danych. W zbiorze UCI Adult kolumna „Workclass” wydaje się wypełniona w 100 procentach. Dopiero gdy znak zapytania zostanie zadeklarowany jako brak, okazuje się, że luk jest 5,6 procent. Wśród 32 561 wierszy znaleźliśmy 24 zdublowane, czyli 0,074 procent. Ten odsetek jest niski, ale nie zerowy, a bez sprawdzenia pozostałby niewidoczny.
Pomiar w szczegółach: nasz audyt jakości danych na trzech publicznych zbiorachW kroku 4 stosujemy stałe reguły decyzyjne. Duplikaty techniczne, czyli identyczne wiersze z eksportu uruchomionego dwa razy, usuwamy i liczymy. Duplikaty merytoryczne nigdy nie są usuwane po cichu, lecz rozstrzygane według reguły ustalonej z działem biznesowym: wygrywa najnowsza wersja albo wersja z systemu wiodącego. Brakującymi wartościami zajmujemy się dopiero wtedy, gdy wiadomo, dlaczego ich brakuje.
Od kroku 6 zależy, jak dane będą wyglądać za rok. Jednorazowa akcja poprawia tylko to, co dziś jest w systemie, natomiast przyczyny, na przykład zakładanie rekordów bez sprawdzenia, działają dalej już następnego dnia.
Przykład obliczeń: koszty nieoczyszczonych danych podstawowych
Poniższy przykład to obliczenie modelowe dla fikcyjnego przedsiębiorstwa i nie opiera się na danych klientów. Hurtownia techniczna ma w danych podstawowych 40 000 rekordów klientów i realizuje 120 000 zamówień rocznie. Zarząd zastanawia się, czy zlecić oczyszczenie danych podstawowych.
| Założenie lub krok obliczeń | Wartość |
|---|---|
| Duplikaty w danych klientów | 6 procent, 2 400 rekordów |
| Rekordy z błędnym adresem lub błędnymi warunkami dostawy | 5 procent, 2 000 rekordów |
| Podwójna korespondencja: dwie wysyłki katalogu rocznie po 2,50 euro do każdego duplikatu | 12 000 euro |
| Błędne dostawy wynikające z błędów w danych podstawowych: 0,8 procent zamówień, 960 przypadków po 45 euro | 43 200 euro |
| Przypadki do wyjaśnienia w dziale obsługi zamówień: 1,5 procent zamówień, 1 800 przypadków po 20 minut przy stawce 48 euro za godzinę | 28 800 euro |
| Suma: koszty następcze w skali roku | 84 000 euro |
| Jednorazowy nakład na weryfikację przy czyszczeniu: 4 400 przypadków do weryfikacji po 10 minut przy stawce 48 euro za godzinę, około 730 godzin pracy | 35 200 euro |
Przyjęto 48 euro za godzinę jako wewnętrzną stawkę pełnych kosztów. Obliczenie modelowe zakłada, że duplikaty i błędne rekordy się nie pokrywają oraz że błędne dostawy i przypadki do wyjaśnienia to odrębne zdarzenia.
Żadne czyszczenie nie usuwa wszystkich błędów i nie każda błędna dostawa ma przyczynę w rekordzie danych podstawowych. Dlatego obliczenie modelowe zakłada, że znika 70 procent kosztów następczych. Daje to 58 800 euro rocznie przy nakładzie na weryfikację w wysokości 35 200 euro. Licząc od zakończenia czyszczenia, nakład ten zwraca się po nieco ponad siedmiu miesiącach.
Nakład na weryfikację to tylko część całego nakładu, mianowicie ręczna praca nad przypadkami do weryfikacji w kroku 4. Nie obejmuje pomiaru zbioru, zestawu reguł, pomiaru kontrolnego ani potoku z kroków 2, 3, 5 i 6. Te elementy zależą od stanu Państwa systemów, wydłużają okres zwrotu i powinny trafić do Państwa własnego rachunku.
| Scenariusz | Uniknięty udział | Korzyść roczna | Korzyść w pierwszym pełnym roku po odjęciu nakładu na weryfikację | Nakład na weryfikację zwraca się po |
|---|---|---|---|---|
| ostrożny | 50 procent | 42 000 euro | 6 800 euro | około dziesięciu miesiącach |
| obliczenie modelowe | 70 procent | 58 800 euro | 23 600 euro | nieco ponad siedmiu miesiącach |
| korzystny | 85 procent | 71 400 euro | 36 200 euro | niecałych sześciu miesiącach |
Do własnego szacunku wystarczy dla każdego rodzaju błędu policzyć zdarzenia z jednego roku i je wycenić.
Korzyść roczna = suma (błędne zdarzenia w roku × koszty następcze na zdarzenie) × uniknięty udział
Okres zwrotu w miesiącach = całkowity nakład jednorazowy ÷ korzyść roczna × 12
Druga część obliczenia dotyczy okresu po czyszczeniu. Hurtownia zakłada lub zmienia rocznie 8 000 rekordów klientów. Obliczenie modelowe przyjmuje w uproszczeniu, że odsetek błędów jest przy tym taki sam jak w starym zbiorze, czyli wynosi 11 procent, oraz że koszty następcze rosną wraz z liczbą błędnych rekordów. Wtedy co roku przybywa 880 błędnych rekordów, czyli jedna piąta liczby rekordów oczyszczonych wcześniej. Bez kontroli przy wprowadzaniu danych korzyść roczna maleje z każdym rokiem o kolejne 11 760 euro i po pięciu latach znika. Jeśli natomiast tych 880 przypadków sprawdza się przy wprowadzaniu danych, kosztuje to przy tej samej stawce 7 040 euro rocznie, a korzyść zostaje zachowana. Budowa takiej kontroli nie jest wliczona w 7 040 euro. Obie kwoty weryfikacji, 35 200 euro dla istniejącego zbioru i 7 040 euro rocznie, zakładają, że kontrola przedstawia do sprawdzenia błędne rekordy i żadnych innych. Jeśli przedstawia także poprawne, nakład rośnie. Ręczne sprawdzenie wszystkich 8 000 nowych lub zmienionych rekordów kosztowałoby 64 000 euro rocznie, czyli więcej niż korzyść roczna w wysokości 58 800 euro.
Kiedy czyszczenie danych się opłaca, a kiedy nie
Czyszczenie danych się opłaca, gdy od danych zależy decyzja lub proces generujący koszty następcze i gdy te koszty da się policzyć. Do tego dochodzą warunki organizacyjne: ustalenie, po czym klient lub produkt jest jednoznacznie rozpoznawany we wszystkich systemach, dział biznesowy, który decyduje o regułach, oraz miejsce, w którym te reguły będą w przyszłości działać automatycznie.
Cztery błędne wnioski nasuwają się same:
- Najpierw oczyścić wszystko, potem zacząć projekt. Czyści się tylko pola potrzebne do odpowiedzi na pytanie biznesowe. Pozostałe czekają, aż jakieś pytanie będzie ich wymagać.
- Czyszczenie to zadanie działu IT. Dział IT wykonuje czyszczenie, ale o tym, który z dwóch rekordów klienta obowiązuje, może zdecydować tylko dział biznesowy, na przykład sprzedaż lub księgowość.
- Nowy system rozwiąże problem. Migracja przenosi błędy do nowego systemu, jeśli wcześniej nikt nie ustalił reguł.
- Nietypowe wartości to błędy. Duże zamówienie i awaria maszyny są nietypowe, ale naprawdę się zdarzyły. Kto usuwa takie wartości, kasuje z danych prawdziwe zdarzenia.
Odradzamy czyszczenie, gdy od pól, które miałyby zostać oczyszczone, nie zależy żadna decyzja, gdy koszty następcze są niskie albo gdy system źródłowy i tak wkrótce zostanie zastąpiony. Jeśli nadal nie wiadomo, po czym klient jest rozpoznawany we wszystkich systemach, praca zaczyna się od ustalenia klucza. Bez wspólnego klucza każdy system zostaje oczyszczony osobno, a na końcu zamiast jednej prawdy jest ich kilka.
Rzetelnego dostawcę rozpoznają Państwo po tym, że w ofercie podaje cel i pola objęte czyszczeniem, przed czyszczeniem i po nim mierzy te same wielkości oraz przekazuje Państwu zestaw reguł i protokół zmian. Jeśli czegoś z tego brakuje, kupują Państwo jednorazową akcję, a nie trwały stan.
Czyszczenie danych w procesie data science
W modelu procesowym CRISP-DM, który dzieli projekt danych na sześć faz, czyszczenie danych należy do fazy 3, czyli przygotowania danych [3]. W naszym podejściu jest tam pierwszym z trzech etapów pracy, przed tworzeniem cech i budową potoku. Wyników, na których się opiera, dostarcza ocena jakości danych w fazie 2. W fazie 6 ten sam potok działa u nas dalej w eksploatacji, aby model w codziennym użyciu otrzymywał te same oczyszczone dane co podczas treningu.
Wszystkich sześć faz CRISP-DM w skrócie Faza 3: przygotowanie danych z regułami decyzyjnymi dla każdej wady Faza 6: wdrożenie modeli i ich monitorowanieNajczęstsze pytania o czyszczenie danych
Czym różni się czyszczenie danych od przygotowania danych?
Czyszczenie danych to pierwsza część przygotowania danych. Usuwa to, co w zbiorze jest błędne, zdublowane lub niekompletne. Przygotowanie danych sięga dalej: z oczyszczonych danych tworzy cechy, na których model może się uczyć (inżynieria cech, ang. feature engineering), i buduje ciąg przetwarzania, który powtarza obie te prace przy każdym nowym stanie danych.
Jak uporządkować zdublowane rekordy?
Identyczne wiersze to duplikaty techniczne i są usuwane. Rekordy, które opisują tego samego klienta w innej pisowni, to duplikaty merytoryczne. Wykrywa się je przez porównanie nazwy, adresu i numerów identyfikacyjnych, a następnie scala według reguły ustalonej przez dział biznesowy. Jeśli potem nie będzie jasne, który klucz ma obowiązywać w przyszłości, te same duplikaty powstaną na nowo.
Ile kosztuje czyszczenie danych i kiedy się opłaca?
Po jednej stronie są roczne koszty następcze błędnych zdarzeń, pomnożone przez udział, którego czyszczenie pozwala uniknąć. Po drugiej stronie jest nakład: jednorazowy na pomiar, zestaw reguł i przypadki do weryfikacji, a potem bieżący na kontrolę przy wprowadzaniu danych. Jeśli koszty następcze są niskie lub niepoliczalne, rachunek się nie zamyka.
Jak długo trwa czyszczenie danych podstawowych?
Czas zależy od liczby pól, których wymaga pytanie biznesowe, i od przypadków do weryfikacji, których nie da się rozstrzygnąć automatycznie. Do tego dochodzi czas, którego dział biznesowy potrzebuje na ustalenie reguł. Wcześniejsza inwentaryzacja pokazuje pola i przypadki do weryfikacji, dzięki czemu nakład da się zaplanować.
Czy czyszczenie danych można zautomatyzować?
Wykonanie da się zautomatyzować, decyzji już nie. Kontrole formatu, wyszukiwanie duplikatów i liczenie brakujących wartości przebiegają samoczynnie przy każdym nowym stanie danych. Natomiast to, który z dwóch rekordów klienta obowiązuje i czy nietypowa wartość jest błędem, czy prawdziwym zdarzeniem, ustala raz dział biznesowy.
Od czego zaczyna się czyszczenie danych?
Zaczyna się od pytania biznesowego i pomiaru. Pytanie określa, które pola się liczą. Pomiar pokazuje dla każdego pola, ile wartości brakuje, ile jest zdublowanych, a ile nieprawdopodobnych. Do pomiaru wystarczy eksport odpowiednich tabel, a dane nie muszą w tym celu opuszczać Państwa firmy.
Źródła
- Fellegi, I. P.; Sunter, A. B. (1969): A Theory for Record Linkage. Journal of the American Statistical Association 64 (328), s. 1183-1210. https://doi.org/10.1080/01621459.1969.10501049
- Rahm, E.; Do, H. H. (2000): Data Cleaning: Problems and Current Approaches. IEEE Data Engineering Bulletin 23 (4), s. 3-13. https://dbs.uni-leipzig.de/files/research/publications/2000-1/pdf/TBDE2000.pdf
- Chapman, P.; Clinton, J.; Kerber, R.; Khabaza, T.; Reinartz, T.; Shearer, C.; Wirth, R. (2000): CRISP-DM 1.0. Step-by-step data mining guide. SPSS Inc., s. 10 oraz 23-25. https://nas.uhcl.edu/boetticher/ML_DataMining/CRISPWP-0800.pdf
Przeliczmy razem koszty błędów w Państwa danych podstawowych
Liczba błędnych zdarzeń w Państwa firmie i ich koszty następcze wystarczą do pierwszej oceny, czy czyszczenie się u Państwa opłaci.
Zarezerwuj bezpłatną rozmowę wstępną