Technologie · Fundament danych

Czyszczenie danych: ograniczona, mierzalna praca zamiast niekończącego się projektu wstępnego

Nikt nie potrzebuje idealnych danych. Potrzebne są pola, od których zależy decyzja, w stanie, który da się zmierzyć i utrzymać.

Czyszczenie danych: definicja i rozgraniczenie pojęć

Czyszczenie danych (ang. data cleaning lub data cleansing) to wykrywanie i usuwanie wad w zbiorze danych: duplikatów, brakujących wartości, nieprawdopodobnych wpisów i niejednolitych formatów. Jego celem nie jest zbiór bez skazy, lecz taki, który sprawdza się w konkretnym zastosowaniu, na przykład przy realizacji dostaw, w kontakcie z klientami albo w modelu prognostycznym.

Metody czyszczenia danych nie są nowe, co jest dla Państwa korzystne, bo ich podstawy są dostępne w publikacjach od dziesięcioleci. Teorię łączenia rekordów, czyli odpowiedź na pytanie, kiedy dwa rekordy dotyczą tej samej osoby lub firmy, sformułowali Fellegi i Sunter w 1969 roku [1]. Rahm i Do przedstawili w 2000 roku klasyfikację wad danych, która oddziela błędy w obrębie jednego źródła od błędów powstających dopiero przy łączeniu kilku źródeł [2].

Czyszczenie danych łatwo pomylić z pojęciami pokrewnymi. Jakość danych opisuje stan mierzony kryteriami takimi jak kompletność i unikalność, natomiast czyszczenie to praca, która ten stan zmienia. Przygotowanie danych jest pojęciem nadrzędnym. Obejmuje oprócz czyszczenia także tworzenie cech dla modelu i budowę potoku, czyli ciągu przetwarzania, który przy każdym nowym stanie danych ponownie stosuje te same reguły. Zarządzanie danymi podstawowymi ustala z kolei na stałe, kto zakłada i zmienia dane klientów, produktów i dostawców. Bez takich ustaleń te same wady powstają po czyszczeniu na nowo.

Jakość danych: kryteria, pomiar, koszty

Jak działa czyszczenie danych

Aby oczyścić dane, potrzebują Państwo najpierw pytania, a dopiero potem narzędzia. Proces ma sześć kroków i tylko czwarty odpowiada temu, co zwykle kojarzy się z czyszczeniem.

KrokCo się dziejeCo z tego wynika
1. Ustalenie celu i zakresuPytanie biznesowe określa, które tabele i pola się liczą, na przykład adres dostawy i warunki dostawy w logistycekrótka lista pól, które zostaną oczyszczone, i pól, które pozostaną bez zmian
2. Pomiar zbioruDla każdego pola ustala się udział braków oraz zlicza duplikaty, odchylenia od formatu i wartości odstającewynik oparty na liczbach, a nie na wrażeniu
3. Ustalenie reguł z działem biznesowymUstala się, który z dwóch rekordów klienta wygrywa, które pole jest obowiązkowe i która wartość jest niemożliwazestaw reguł, za który ktoś odpowiada
4. CzyszczenieScalenie duplikatów, ujednolicenie formatów i jednostek, obsługa brakujących wartości według reguły oraz poprawienie udokumentowanych błędówoczyszczony zbiór i protokół każdej zmiany
5. Pomiar kontrolnyMierzy się te same wielkości co w kroku 2, a dział biznesowy sprawdza próbęliczbowe porównanie stanu przed czyszczeniem i po nim
6. Utrwalenie w potokuReguły działają jako kod przy każdym nowym i każdym zmienionym rekordziezbiór, który pozostaje czysty

Ile umyka przy ocenie na oko, pokazuje nasz własny pomiar na publicznym zbiorze danych. W zbiorze UCI Adult kolumna „Workclass” wydaje się wypełniona w 100 procentach. Dopiero gdy znak zapytania zostanie zadeklarowany jako brak, okazuje się, że luk jest 5,6 procent. Wśród 32 561 wierszy znaleźliśmy 24 zdublowane, czyli 0,074 procent. Ten odsetek jest niski, ale nie zerowy, a bez sprawdzenia pozostałby niewidoczny.

Pomiar w szczegółach: nasz audyt jakości danych na trzech publicznych zbiorach

W kroku 4 stosujemy stałe reguły decyzyjne. Duplikaty techniczne, czyli identyczne wiersze z eksportu uruchomionego dwa razy, usuwamy i liczymy. Duplikaty merytoryczne nigdy nie są usuwane po cichu, lecz rozstrzygane według reguły ustalonej z działem biznesowym: wygrywa najnowsza wersja albo wersja z systemu wiodącego. Brakującymi wartościami zajmujemy się dopiero wtedy, gdy wiadomo, dlaczego ich brakuje.

Od kroku 6 zależy, jak dane będą wyglądać za rok. Jednorazowa akcja poprawia tylko to, co dziś jest w systemie, natomiast przyczyny, na przykład zakładanie rekordów bez sprawdzenia, działają dalej już następnego dnia.

Przykład obliczeń: koszty nieoczyszczonych danych podstawowych

Poniższy przykład to obliczenie modelowe dla fikcyjnego przedsiębiorstwa i nie opiera się na danych klientów. Hurtownia techniczna ma w danych podstawowych 40 000 rekordów klientów i realizuje 120 000 zamówień rocznie. Zarząd zastanawia się, czy zlecić oczyszczenie danych podstawowych.

Założenie lub krok obliczeńWartość
Duplikaty w danych klientów6 procent, 2 400 rekordów
Rekordy z błędnym adresem lub błędnymi warunkami dostawy5 procent, 2 000 rekordów
Podwójna korespondencja: dwie wysyłki katalogu rocznie po 2,50 euro do każdego duplikatu12 000 euro
Błędne dostawy wynikające z błędów w danych podstawowych: 0,8 procent zamówień, 960 przypadków po 45 euro43 200 euro
Przypadki do wyjaśnienia w dziale obsługi zamówień: 1,5 procent zamówień, 1 800 przypadków po 20 minut przy stawce 48 euro za godzinę28 800 euro
Suma: koszty następcze w skali roku84 000 euro
Jednorazowy nakład na weryfikację przy czyszczeniu: 4 400 przypadków do weryfikacji po 10 minut przy stawce 48 euro za godzinę, około 730 godzin pracy35 200 euro

Przyjęto 48 euro za godzinę jako wewnętrzną stawkę pełnych kosztów. Obliczenie modelowe zakłada, że duplikaty i błędne rekordy się nie pokrywają oraz że błędne dostawy i przypadki do wyjaśnienia to odrębne zdarzenia.

Żadne czyszczenie nie usuwa wszystkich błędów i nie każda błędna dostawa ma przyczynę w rekordzie danych podstawowych. Dlatego obliczenie modelowe zakłada, że znika 70 procent kosztów następczych. Daje to 58 800 euro rocznie przy nakładzie na weryfikację w wysokości 35 200 euro. Licząc od zakończenia czyszczenia, nakład ten zwraca się po nieco ponad siedmiu miesiącach.

Nakład na weryfikację to tylko część całego nakładu, mianowicie ręczna praca nad przypadkami do weryfikacji w kroku 4. Nie obejmuje pomiaru zbioru, zestawu reguł, pomiaru kontrolnego ani potoku z kroków 2, 3, 5 i 6. Te elementy zależą od stanu Państwa systemów, wydłużają okres zwrotu i powinny trafić do Państwa własnego rachunku.

ScenariuszUniknięty udziałKorzyść rocznaKorzyść w pierwszym pełnym roku po odjęciu nakładu na weryfikacjęNakład na weryfikację zwraca się po
ostrożny50 procent42 000 euro6 800 eurookoło dziesięciu miesiącach
obliczenie modelowe70 procent58 800 euro23 600 euronieco ponad siedmiu miesiącach
korzystny85 procent71 400 euro36 200 euroniecałych sześciu miesiącach

Do własnego szacunku wystarczy dla każdego rodzaju błędu policzyć zdarzenia z jednego roku i je wycenić.

Korzyść roczna = suma (błędne zdarzenia w roku × koszty następcze na zdarzenie) × uniknięty udział

Okres zwrotu w miesiącach = całkowity nakład jednorazowy ÷ korzyść roczna × 12

Druga część obliczenia dotyczy okresu po czyszczeniu. Hurtownia zakłada lub zmienia rocznie 8 000 rekordów klientów. Obliczenie modelowe przyjmuje w uproszczeniu, że odsetek błędów jest przy tym taki sam jak w starym zbiorze, czyli wynosi 11 procent, oraz że koszty następcze rosną wraz z liczbą błędnych rekordów. Wtedy co roku przybywa 880 błędnych rekordów, czyli jedna piąta liczby rekordów oczyszczonych wcześniej. Bez kontroli przy wprowadzaniu danych korzyść roczna maleje z każdym rokiem o kolejne 11 760 euro i po pięciu latach znika. Jeśli natomiast tych 880 przypadków sprawdza się przy wprowadzaniu danych, kosztuje to przy tej samej stawce 7 040 euro rocznie, a korzyść zostaje zachowana. Budowa takiej kontroli nie jest wliczona w 7 040 euro. Obie kwoty weryfikacji, 35 200 euro dla istniejącego zbioru i 7 040 euro rocznie, zakładają, że kontrola przedstawia do sprawdzenia błędne rekordy i żadnych innych. Jeśli przedstawia także poprawne, nakład rośnie. Ręczne sprawdzenie wszystkich 8 000 nowych lub zmienionych rekordów kosztowałoby 64 000 euro rocznie, czyli więcej niż korzyść roczna w wysokości 58 800 euro.

Kiedy czyszczenie danych się opłaca, a kiedy nie

Czyszczenie danych się opłaca, gdy od danych zależy decyzja lub proces generujący koszty następcze i gdy te koszty da się policzyć. Do tego dochodzą warunki organizacyjne: ustalenie, po czym klient lub produkt jest jednoznacznie rozpoznawany we wszystkich systemach, dział biznesowy, który decyduje o regułach, oraz miejsce, w którym te reguły będą w przyszłości działać automatycznie.

Cztery błędne wnioski nasuwają się same:

  • Najpierw oczyścić wszystko, potem zacząć projekt. Czyści się tylko pola potrzebne do odpowiedzi na pytanie biznesowe. Pozostałe czekają, aż jakieś pytanie będzie ich wymagać.
  • Czyszczenie to zadanie działu IT. Dział IT wykonuje czyszczenie, ale o tym, który z dwóch rekordów klienta obowiązuje, może zdecydować tylko dział biznesowy, na przykład sprzedaż lub księgowość.
  • Nowy system rozwiąże problem. Migracja przenosi błędy do nowego systemu, jeśli wcześniej nikt nie ustalił reguł.
  • Nietypowe wartości to błędy. Duże zamówienie i awaria maszyny są nietypowe, ale naprawdę się zdarzyły. Kto usuwa takie wartości, kasuje z danych prawdziwe zdarzenia.

Odradzamy czyszczenie, gdy od pól, które miałyby zostać oczyszczone, nie zależy żadna decyzja, gdy koszty następcze są niskie albo gdy system źródłowy i tak wkrótce zostanie zastąpiony. Jeśli nadal nie wiadomo, po czym klient jest rozpoznawany we wszystkich systemach, praca zaczyna się od ustalenia klucza. Bez wspólnego klucza każdy system zostaje oczyszczony osobno, a na końcu zamiast jednej prawdy jest ich kilka.

Rzetelnego dostawcę rozpoznają Państwo po tym, że w ofercie podaje cel i pola objęte czyszczeniem, przed czyszczeniem i po nim mierzy te same wielkości oraz przekazuje Państwu zestaw reguł i protokół zmian. Jeśli czegoś z tego brakuje, kupują Państwo jednorazową akcję, a nie trwały stan.

Czyszczenie danych w procesie data science

W modelu procesowym CRISP-DM, który dzieli projekt danych na sześć faz, czyszczenie danych należy do fazy 3, czyli przygotowania danych [3]. W naszym podejściu jest tam pierwszym z trzech etapów pracy, przed tworzeniem cech i budową potoku. Wyników, na których się opiera, dostarcza ocena jakości danych w fazie 2. W fazie 6 ten sam potok działa u nas dalej w eksploatacji, aby model w codziennym użyciu otrzymywał te same oczyszczone dane co podczas treningu.

Wszystkich sześć faz CRISP-DM w skrócie Faza 3: przygotowanie danych z regułami decyzyjnymi dla każdej wady Faza 6: wdrożenie modeli i ich monitorowanie

Najczęstsze pytania o czyszczenie danych

Czym różni się czyszczenie danych od przygotowania danych?

Czyszczenie danych to pierwsza część przygotowania danych. Usuwa to, co w zbiorze jest błędne, zdublowane lub niekompletne. Przygotowanie danych sięga dalej: z oczyszczonych danych tworzy cechy, na których model może się uczyć (inżynieria cech, ang. feature engineering), i buduje ciąg przetwarzania, który powtarza obie te prace przy każdym nowym stanie danych.

Jak uporządkować zdublowane rekordy?

Identyczne wiersze to duplikaty techniczne i są usuwane. Rekordy, które opisują tego samego klienta w innej pisowni, to duplikaty merytoryczne. Wykrywa się je przez porównanie nazwy, adresu i numerów identyfikacyjnych, a następnie scala według reguły ustalonej przez dział biznesowy. Jeśli potem nie będzie jasne, który klucz ma obowiązywać w przyszłości, te same duplikaty powstaną na nowo.

Ile kosztuje czyszczenie danych i kiedy się opłaca?

Po jednej stronie są roczne koszty następcze błędnych zdarzeń, pomnożone przez udział, którego czyszczenie pozwala uniknąć. Po drugiej stronie jest nakład: jednorazowy na pomiar, zestaw reguł i przypadki do weryfikacji, a potem bieżący na kontrolę przy wprowadzaniu danych. Jeśli koszty następcze są niskie lub niepoliczalne, rachunek się nie zamyka.

Jak długo trwa czyszczenie danych podstawowych?

Czas zależy od liczby pól, których wymaga pytanie biznesowe, i od przypadków do weryfikacji, których nie da się rozstrzygnąć automatycznie. Do tego dochodzi czas, którego dział biznesowy potrzebuje na ustalenie reguł. Wcześniejsza inwentaryzacja pokazuje pola i przypadki do weryfikacji, dzięki czemu nakład da się zaplanować.

Czy czyszczenie danych można zautomatyzować?

Wykonanie da się zautomatyzować, decyzji już nie. Kontrole formatu, wyszukiwanie duplikatów i liczenie brakujących wartości przebiegają samoczynnie przy każdym nowym stanie danych. Natomiast to, który z dwóch rekordów klienta obowiązuje i czy nietypowa wartość jest błędem, czy prawdziwym zdarzeniem, ustala raz dział biznesowy.

Od czego zaczyna się czyszczenie danych?

Zaczyna się od pytania biznesowego i pomiaru. Pytanie określa, które pola się liczą. Pomiar pokazuje dla każdego pola, ile wartości brakuje, ile jest zdublowanych, a ile nieprawdopodobnych. Do pomiaru wystarczy eksport odpowiednich tabel, a dane nie muszą w tym celu opuszczać Państwa firmy.

Źródła

  1. Fellegi, I. P.; Sunter, A. B. (1969): A Theory for Record Linkage. Journal of the American Statistical Association 64 (328), s. 1183-1210. https://doi.org/10.1080/01621459.1969.10501049
  2. Rahm, E.; Do, H. H. (2000): Data Cleaning: Problems and Current Approaches. IEEE Data Engineering Bulletin 23 (4), s. 3-13. https://dbs.uni-leipzig.de/files/research/publications/2000-1/pdf/TBDE2000.pdf
  3. Chapman, P.; Clinton, J.; Kerber, R.; Khabaza, T.; Reinartz, T.; Shearer, C.; Wirth, R. (2000): CRISP-DM 1.0. Step-by-step data mining guide. SPSS Inc., s. 10 oraz 23-25. https://nas.uhcl.edu/boetticher/ML_DataMining/CRISPWP-0800.pdf

Przeliczmy razem koszty błędów w Państwa danych podstawowych

Liczba błędnych zdarzeń w Państwa firmie i ich koszty następcze wystarczą do pierwszej oceny, czy czyszczenie się u Państwa opłaci.

Zarezerwuj bezpłatną rozmowę wstępną