Jakość danych decyduje o powodzeniu lub porażce projektu AI, zanim powstanie pierwszy model: jakie kryteria się liczą, jak mierzyć jakość danych i ile naprawdę kosztują złe dane.
Piloty AI rzadko zawodzą przez model,
najczęściej przez dane
Nie każdy zbiór danych udźwignie model. To, czy Państwa zbiór go udźwignie, można sprawdzić, zanim budżet popłynie w modelowanie, i właśnie tę weryfikację opisuje ta strona.
Dlaczego projekty AI zawodzą przez jakość danych
Program MIT NANDA podał w sierpniu 2025 roku, że 95 procent badanych organizacji nie widzi mierzalnego efektu biznesowego mimo wydatków na generatywną AI. Rok wcześniej Gartner wskazał złą jakość danych jako jeden z powodów, dla których co najmniej 30 procent projektów GenAI zostaje przerwanych po fazie proof of concept. Oba wyniki pokrywają się z naszymi doświadczeniami w firmach średniej wielkości: piloty AI rzadko zawodzą przez model, najczęściej przez dane, których jakości nikt wcześniej nie sprawdził.
Mechanizm jest prozaiczny. Model uczy się z tego, co znajduje w zbiorze danych. Jeśli wartości brakuje w sposób systematyczny, jednostki się nie zgadzają albo ten sam rekord występuje dwukrotnie, model uczy się również tych błędów i dostarcza analizę, która wygląda przekonująco i jest błędna. Najdroższy moment na odkrycie tego przychodzi po starcie projektu.
Siedem pytań decyduje, czy Państwa projekt AI zawiedzie: nasz otwarty audyt
Dlaczego 95 procent pilotów GenAI zawodzi: przyczyny metodyczne
Kryteria jakości danych: sześć, które się liczą
Jakość danych nie jest przeczuciem ani normą, lecz stopniem, w jakim zbiór danych nadaje się do konkretnego celu. Ocenia się ją więc nie ogólnie, lecz kryterium po kryterium, a każde ma własne pytanie i własną miarę. Ten sam zbiór może wystarczyć do raportowania i nie nadawać się do prognozy.
Kryteria stają się użyteczne dopiero wtedy, gdy każde z nich ma miarę i próg, i dokładnie tym zajmuje się kolejna sekcja.
Kompletność
Czy pola obowiązkowe są wypełnione? Mierzona jako udział braków w kolumnie, po zadeklarowaniu symboli zastępczych takich jak „?" lub 9999 jako braków. Brakująca wartość rzadko jest przypadkiem, a często sama w sobie jest ustaleniem.
Spójność
Czy typy, jednostki i formaty są jednolite w każdej kolumnie? Dryf typów, daty zapisane jako tekst i zmieniające się separatory dziesiętne to najczęstsze ciche źródła błędów w systemach rosnących latami.
Dokładność i wiarygodność wartości
Czy wartości są możliwe merytorycznie? Wartości odstające są liczone i klasyfikowane: błąd czujnika, pomylona jednostka albo prawdziwe rzadkie zdarzenie. To zadanie do czyszczenia, a nie powód do zatrzymania projektu.
Aktualność
Jak aktualny i jak ciągły jest szereg czasowy? Każda luka wymaga wyjaśnienia, na przykład weekendu, święta lub udokumentowanej awarii. Luki bez wyjaśnienia są krytyczne.
Unikalność
Czy każda operacja występuje w danych dokładnie raz? Duplikaty zawyżają agregaty i uczą modele wzorców, które nie istnieją. Policzalne duplikaty techniczne są niegroźne, biznesowe bez reguły już nie.
Głębokość historii
Czy objęty okres odpowiada na pytanie? Prognozy wymagają zwykle od 12 do 24 miesięcy historii, zależnie od sezonowości. Jeśli historia nie pokrywa pytania, to jest powód do zatrzymania.
Pomiar jakości danych: siedem wymiarów, jeden werdykt
Pomiar oznacza, że każde kryterium dostaje miarę i próg, a próg zależy od zastosowania. Aby nie kończyło się to pracą ręczną, opublikowaliśmy otwarte narzędzie audytowe, które w dziesięć minut sprawdza zbiór danych w siedmiu wymiarach jakości danych: kompletność, spójność schematu, unikalność, wiarygodność wartości, luki czasowe, integralność referencyjna i reprezentatywność. Każdy wymiar zwraca ocenę świetlną i wartość liczbową.
Narzędzie działa tam, gdzie leżą Państwa dane: na Państwa infrastrukturze, nie na naszej. Żaden zbiór nie opuszcza firmy na potrzeby weryfikacji. To nie funkcja, lecz nasz sposób pracy, także w projektach. Jak weryfikacja wpisuje się w projekt, pokazuje faza pozyskiwania danych w naszym procesie, a jak porządkuje się ustalenia, faza przygotowania danych.
Faza 2 procesu: pozyskiwanie danych i ocena jakości w projekcie
Ile kosztuje zła jakość danych
Koszty złych danych nie pojawiają się na żadnej fakturze. Kryją się w czterech pozycjach. Po pierwsze w przygotowaniu: każda niewykryta niespójność staje się dodatkową pracą w przygotowaniu danych, które i tak pochłania największą część czasu projektu. Po drugie w przerwaniu: pilot, który po miesiącach upada przez stan danych, kosztuje pełny budżet i wewnętrzne zaufanie do tematu. Po trzecie w błędnych decyzjach: przekonująca, błędna analiza jest droższa niż żadna, bo na jej podstawie się planuje. Po czwarte w eksploatacji: niesprawdzane źródła danych dryfują po cichu, a model pogarsza się niezauważenie.
Rachunek przeciwny jest krótki. Weryfikacja jakości przed projektem kosztuje stałą, niewielką kwotę i odpowiada na jedno pytanie, od którego zależą wszystkie cztery pozycje: czy ten stan danych udźwignie zamierzenie, czy nie. Uczciwe nie w chwili weryfikacji to najtańszy wynik, jaki projekt AI może osiągnąć.
Strategia danych: gdzie jakość danych mieści się w większym obrazie
Częste pytania o jakość danych
Czym jest jakość danych w skrócie?
Stopniem, w jakim zbiór danych nadaje się do konkretnego celu. Jakość danych jest zawsze względna wobec pytania: ten sam zbiór może wystarczyć do raportu zarządczego i nie nadawać się do prognozy popytu. Dlatego każda ocena zaczyna się od celu, nie od danych.
Jakie kryteria decydują o jakości danych?
W ocenie przed projektem AI pracujemy z sześcioma kryteriami: kompletność, spójność, dokładność i wiarygodność wartości, aktualność, unikalność oraz głębokość historii. Każde kryterium ma pytanie, miarę i próg zależny od zastosowania.
Jakie są wymiary jakości danych?
Nasze otwarte narzędzie audytowe sprawdza siedem wymiarów: kompletność, spójność schematu, unikalność, wiarygodność wartości, luki czasowe, integralność referencyjną i reprezentatywność. Trzy ostatnie są opcjonalne i wymagają dodatkowych informacji, na przykład kolumny czasu lub relacji kluczy. Każdy wymiar zwraca ocenę świetlną i wartość liczbową.
Jak można mierzyć jakość danych?
Dla każdego kryterium miarą wobec progu: udział braków w kolumnie dla kompletności, dryf typów dla spójności, wartości odstające według Tukeya dla wiarygodności, luki większe niż trzykrotny medianowy odstęp dla aktualności, duplikaty na kolumnach kluczowych dla unikalności. Z narzędziem pierwszy przebieg trwa około dziesięciu minut.
Jak ocenić, czy jakość danych wystarczy na projekt AI?
Werdyktem dla każdego źródła danych wobec konkretnego zastosowania, a nie oceną łączną. Jeśli brakuje zmiennej docelowej albo historia nie pokrywa okresu pytania, werdykt brzmi nie, i pada przed modelowaniem. Cała reszta to zadanie do czyszczenia o policzalnym nakładzie.
Ile kosztuje zła jakość danych?
Obciąża cztery pozycje: dodatkową pracę w przygotowaniu danych, przerwane projekty pilotażowe, decyzje oparte na błędnych analizach i cichy rozpad modelu w eksploatacji. Publikowane liczby przerwanych projektów GenAI wprost wymieniają złą jakość danych. Weryfikacja w stałej cenie przed startem to najtańsze ubezpieczenie od wszystkich czterech.
Porozmawiajmy o Państwa danych
Bezpłatna 30-minutowa rozmowa wstępna. Proszę krótko opisać zbiór danych i zamierzenie; opcjonalnie mogą Państwo podać preferowany termin.
Usługi nie zastępują prawnej porady w zakresie ochrony danych.