Proces data science według CRISP-DM to standardowy proces projektów data science. myBytes pracuje w jego sześciu fazach i pokazuje tu na przykładzie, co dzieje się w każdej z nich.
Z Państwa surowych danych
do wartości biznesowej
Model jest tak solidny, jak proces, który go tworzy, dlatego nie pomijamy żadnej fazy.
Pełny cykl CRISP-DM
Każda faza opiera się na poprzedniej: iteracyjnie, przejrzyście i zgodnie z Państwa celami biznesowymi.
Proszę wskazać fazę na pierścieniu, aby zobaczyć, o co w niej chodzi i jakiej chybionej inwestycji pozwala uniknąć. Podczas przewijania objaśnienie samo podąża za pierścieniem.
biznesu
Ta faza przekłada problem biznesowy na mierzalne pytanie: co ma się zmienić, po czym to poznamy i ile wart jest wynik. Wyznacza też granicę tego, czego model nie potrafi.
Bez tej fazy buduje się modele do pytań, których nikt nie zadał. Kryterium sukcesu w euro zapobiega temu, by miesiące pracy trafiły w technicznie dobry model bez wartości biznesowej.
& eksploracja danych
Ta faza sprawdza, które dane istnieją, są dostępne i wiarygodne oraz czy w ogóle uniosą pytanie z fazy 1. Każde źródło dostaje ocenę: nadaje się, wymaga poprawy albo go brak.
Projekty AI najczęściej rozbijają się o dane, nie o model. Kto zna luki przed budową modelu, decyduje wcześnie, czy iść dalej, a nie dopiero po wydaniu połowy budżetu.
& inżynieria danych
Surowe dane stają się czystym, udokumentowanym zbiorem: połączonym, oczyszczonym i wzbogaconym o cechy, z których model później skorzysta. Ta faza często zajmuje najwięcej czasu.
Błędy w przygotowaniu ujawniają się dopiero w ewaluacji i kosztują tam podwójnie. Przejrzysty potok przetwarzania sprawia, że każdy późniejszy wynik da się powtórzyć i sprawdzić.
& modelowanie
Kilka podejść modelowych konkuruje z prostym punktem odniesienia, a wszystko jest udokumentowane jako eksperymenty. Celem nie jest najbardziej złożony model, lecz ten, który mierzalnie lepiej odpowiada na pytanie.
Punkt odniesienia chroni przed drogą technologią bez mierzalnej korzyści: jeśli model nie pokonuje prostej reguły, nie idzie dalej. Udokumentowane eksperymenty oszczędzają powtarzania pracy przy każdym kolejnym pytaniu.
& walidacja
Najlepszy model jest sprawdzany na danych odłożonych do testu i względem kryterium sukcesu z fazy 1, w euro, a nie tylko w metrykach modelu. Podgrupy i przypadki brzegowe są przy tym sprawdzane osobno.
Tu decyzja o wdrożeniu opiera się na liczbach, a nie na nadziei. Model, który nie broni się w teście, nie trafia do eksploatacji. To pozwala uniknąć najdroższej chybionej inwestycji, czyli nieudanego wdrożenia.
& monitoring
Model zostaje osadzony w systemach i procesach, w których zapada decyzja, i jest stale monitorowany: dryf danych, dokładność, wykorzystanie. Do tego należą ponowne trenowanie i przekazanie Państwa zespołowi.
Model bez monitoringu po cichu traci wartość, gdy tylko zmienią się dane. Eksploatacja i transfer wiedzy sprawiają, że inwestycja się utrzymuje, a Państwo nie zaczynają po roku od nowa.
CRISP-DM: definicja, pochodzenie i różnice
Cross-Industry Standard Process for Data Mining opisuje w sześciu fazach, jak z pytania biznesowego powstaje model działający w eksploatacji.
CRISP-DM to skrót od Cross-Industry Standard Process for Data Mining. Ten model postępowania dzieli projekt data science na sześć faz: Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation i Deployment. Każda faza ma pytanie przewodnie, zdefiniowane zadania i rezultat, którego potrzebuje faza następna. Od lat 2000. uchodzi za faktyczny standard projektów data mining i data science.
CRISP-DM opracowały od 1996 roku firmy Daimler-Benz, NCR i producent narzędzi ISL, który później wszedł w skład SPSS, z ubezpieczycielem OHRA jako czwartym partnerem; przewodnik CRISP-DM 1.0 ukazał się w 2000 roku. Model jest celowo neutralny branżowo i niezależny od narzędzi. Właśnie dlatego pasuje do projektów, o których w 1996 roku nikt nie myślał: model zwrotów w handlu odzieżą, prognoza awarii w produkcji i model rotacji w logistyce przechodzą przez te same sześć faz.
Nowsze modele postępowania budują na CRISP-DM, zamiast go zastępować. ASUM-DM od IBM uzupełnia go o eksploatację i zarządzanie projektem, TDSP od Microsoftu dodaje role, zadania i strukturę projektu, ale od 2023 roku nie jest już rozwijany, a DASC-PM z Nordakademie rozszerza go o udostępnianie danych i podstawy naukowe. Kto zna jeden z tych modeli, rozpozna w nim CRISP-DM.
Sam CRISP-DM nie określa ról; w praktyce fazy i tak rozkładają się w rozpoznawalny sposób. Fazy 1 i 2 potrzebują działu biznesowego: pytanie biznesowe, kryteria sukcesu oraz wiedza o tym, jakie dane są w firmie i co naprawdę oznacza pole w systemie gospodarki magazynowej, pochodzą od ludzi, którzy pracują z danymi. Fazy 3 i 6 to inżynieria danych: potoki, wersjonowanie, eksploatacja. Fazy 4 i 5 to praca data scientistów. Żadna faza nie należy do jednej roli, a projekt, który obsadza tylko fazy środkowe, nie ma ani solidnego pytania, ani eksploatacji.
CRISP-DM jest iteracyjny, nie liniowy. Strzałki biegną także wstecz. Jeśli ocena danych w fazie 2 pokaże, że na cel biznesowy z fazy 1 nie da się odpowiedzieć dostępnymi danymi, projekt wraca do fazy 1. Jeśli model w ewaluacji nie spełni kryteriów sukcesu, wraca do modelowania albo do przygotowania danych. Zewnętrzny krąg zamyka się po wdrożeniu: nowe dane z eksploatacji rodzą nowe pytania biznesowe.
Sześć faz procesu data science - szczegółowo
Proszę kliknąć fazę, aby zobaczyć pełny opis.
Zrozumienie biznesu (Business Understanding)
Definiowanie celów biznesowych i przekształcanie ich w pytania analityczne.
Pytanie przewodnie: Która decyzja ma być na końcu lepsza i po czym to Państwo poznają? Rezultat: obraz celu z kryteriami sukcesu i oceną, czy dane udźwigną pytanie.
Pozyskiwanie & eksploracja danych (Data Understanding)
Identyfikacja i udostępnianie odpowiednich źródeł danych wraz z oceną jakości.
Pytanie przewodnie: Jakie dane mają już Państwo w firmie i czy wystarczą na pytanie z fazy 1? Rezultat: inwentarz danych z oceną jakości każdego źródła.
Przetwarzanie & inżynieria danych (Data Preparation)
Czyszczenie, transformacja i wydobywanie znaczących cech.
Pytanie przewodnie: Jak z surowych danych powstają czyste, odtwarzalne zbiory? Rezultat: wersjonowane potoki danych z kontrolami jakości. Ta faza zajmuje największą część pracy projektowej.
Analiza eksploracyjna & modelowanie (Modeling)
Systematyczny rozwój i optymalizacja modeli z możliwymi do prześledzenia eksperymentami.
Pytanie przewodnie: Który model odpowiada na pytanie lepiej niż prosty punkt odniesienia? Rezultat: udokumentowane eksperymenty z modelem bazowym i najlepszymi kandydatami.
Ewaluacja & walidacja (Evaluation)
Rygorystyczna ocena wydajności modelu względem celów biznesowych.
Pytanie przewodnie: Czy model spełnia kryteria sukcesu z fazy 1 także w realistycznych warunkach? Rezultat: raport z walidacji z metrykami, czynnikami wpływu i rekomendacją dopuszczenia.
Wdrożenie & monitoring (Deployment)
Wdrożenie produkcyjne z monitorowaniem i ciągłym doskonaleniem.
Pytanie przewodnie: Jak model trafia do eksploatacji i kto zauważy, gdy zacznie słabnąć? Rezultat: system produkcyjny z monitoringiem i przekazaniem operacji Państwa zespołowi.
Przykłady CRISP-DM: osiem przypadków użycia, sześć faz, każdy przeliczony
Osiem przypadków użycia z naszych serii, od produkcji po dane procesowe, faza po fazie przez proces data science. Wszystkie liczby to obliczenia modelowe dla fikcyjnych firm, nie wyniki klientów.
Przykład CRISP-DM w modzie: obniżenie zwrotów, przeliczone w sześciu fazach
Średniej wielkości firma odzieżowa z 1 800 artykułami i 18 rynkami sprzedaje jeansy online. Wskaźnik zwrotów jeansów wynosi 38 procent, a przyczyną 34 procent tych zwrotów jest „nie pasuje”.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe nie brzmi „chcemy AI”, lecz: Jaką część zwrotów z powodu dopasowania da się uniknąć, jeśli klient przy zakupie dostanie rekomendację właściwego rozmiaru? Kryterium sukcesu jest wskaźnik zwrotów w każdej kategorii, mierzony przed wdrożeniem i po nim. Z fazy 1 pochodzi też ograniczenie: nowych klientów bez historii zakupów taki model może początkowo obsłużyć tylko średnimi kategorii.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane są w firmie: historia zakupów, powody zwrotów, zamówiony i zatrzymany rozmiar dla każdego klienta i kroju, do tego tabele rozmiarów każdego artykułu. Faza 2 sprawdza, czy informacja o rozmiarze w danych o zwrotach jest kompletna. Jeśli jej brakuje, nie ma modelu, jest tylko statystyka.
Faza 3 · Przetwarzanie & inżynieria danych
Z surowych danych powstaje dla każdego klienta profil zatrzymanych i odesłanych rozmiarów według kroju, a dla każdego artykułu skalibrowany przebieg rozmiarów. Obliczenie modelowe zakłada, że dla 68 procent zwrotów z powodu dopasowania wystarczyłaby poprawna rekomendacja rozmiaru. Czy to założenie się utrzyma, rozstrzyga się tutaj, na jakości pól z rozmiarem.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to collaborative filtering z dopasowaniem sylwetki: klienci o podobnym zachowaniu zakupowym i zwrotowym dostają rekomendację rozmiaru, który podobni klienci zatrzymali przy tym kroju. Punktem odniesienia jest tabela rozmiarów bez rekomendacji, jako prosty model referencyjny przed każdym bardziej złożonym podejściem. Jeśli model nie pobije tego odniesienia, wysiłek się nie opłaca.
Faza 5 · Ewaluacja & walidacja
W obliczeniu modelowym model trafia we właściwy rozmiar w 82 procentach przypadków. Zwroty z powodu dopasowania spadają o 18 procent, a wskaźnik zwrotów jeansów z 38 do 31 procent. Opublikowany przypadek dostawcy osiąga do 20 procent mniej zwrotów ogółem, natomiast obliczenie modelowe celowo pozostaje poniżej. Ewaluacja sprawdza też, czy efekt występuje we wszystkich kategoriach, czy tylko w jeansach.
Faza 6 · Wdrożenie & monitoring
Model działa jako widget na stronie produktu: „Na podstawie Państwa dotychczasowych zakupów rekomendujemy rozmiar 31/32”. Drugi wynik trafia do zespołu produktowego: artykuły, których tabela rozmiarów systematycznie odbiega. Monitoring dalej obserwuje wskaźnik zwrotów w każdej kategorii. Obliczenie modelowe przyjmuje 61 824 unikniętych zwrotów po 26 euro, czyli 1,61 mln euro rocznie.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Jakiej części zwrotów z powodu dopasowania da się uniknąć? | Kryterium sukcesu: wskaźnik zwrotów w każdej kategorii |
| 2 Data Understanding | Czy rozmiar i powód zwrotu są rejestrowane dla każdego zamówienia? | Inwentarz danych z historii zakupów, zwrotów, tabel rozmiarów |
| 3 Data Preparation | Jak uczynić klienta i krój porównywalnymi? | Profil rozmiarów każdego klienta, skalibrowany przebieg rozmiarów każdego artykułu |
| 4 Modeling | Jaki rozmiar zatrzymują podobni klienci? | Collaborative filtering z dopasowaniem sylwetki |
| 5 Evaluation | Czy model trafia w rozmiar częściej niż tabela? | 82 procent trafień, wskaźnik zwrotów z 38 do 31 procent (obliczenie modelowe) |
| 6 Deployment | Jak rekomendacja dociera do klienta? | Widget na stronie produktu, raport dla zespołu produktowego, monitoring |
Kolejny krok w tej samej serii pokazuje drugą iterację kręgu: analiza tekstu 210 000 komentarzy w wolnym tekście rozkłada „nie pasuje” na pięć przyczyn i razem z rekomendacją rozmiaru obniża łączny wskaźnik zwrotów obliczenia modelowego we wszystkich kategoriach i 18 rynkach z 28 do około 23 procent.
Obniżenie zwrotów: przypadek użycia stojący za przykładem Analiza przyczyn zwrotów: co kryje się za „nie pasuje”Przykład CRISP-DM w produkcji: przewidywanie awarii maszyn, przeliczone w sześciu fazach
Wzorcowy zakład obróbki metali z 48 maszynami, z których sześć to maszyny wąskiego gardła, pracuje na trzy zmiany. Nieplanowane przestoje sumują się do 900 godzin rocznie, a każda godzina kosztuje 750 euro. Wszystkie liczby to obliczenie modelowe z naszej serii produkcyjnej.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe brzmi: jaką część nieplanowanych przestojów da się uniknąć, jeśli utrzymanie ruchu będzie znało termin awarii kilka dni wcześniej? Kryterium sukcesu są nieplanowane godziny przestoju każdej maszyny wąskiego gardła, mierzone przed wdrożeniem i po nim. Faza 1 wyznacza też granicę: zużycie, które nie zapowiada się w danych z czujników, pozostaje dla modelu niewidoczne.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane są w systemie MES i w systemie sterowania: wibracje, temperatura, pobór prądu, czasy cyklu i kody błędów każdej maszyny, do tego historia konserwacji z rzeczywistymi awariami. Faza 2 sprawdza, czy awarie mają poprawne daty i czy czujniki rejestrują bez przerw. Jeśli brakuje momentów awarii, nie ma pozostałego czasu życia, jest tylko krzywa zużycia.
Faza 3 · Przetwarzanie & inżynieria danych
Z wartości sekundowych powstają wskaźniki okienkowe dla każdej zmiany: trend, rozrzut i wartości odstające wibracji, zmiany obciążenia, dryf temperatury. Historia konserwacji jest cięta na odcinki życia między dwiema awariami. Obliczenie modelowe przyjmuje medianę jedenastu dni między pierwszymi sygnałami w danych a awarią. Czy ten czas ostrzeżenia się utrzyma, rozstrzyga się tutaj, na jakości kodów błędów.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to model przeżycia, który szacuje pozostały czas życia każdej maszyny, uzupełniony o sieć LSTM na przebiegach z czujników. Punktem odniesienia jest stały harmonogram konserwacji według kalendarza, jako prosty model referencyjny przed każdym bardziej złożonym podejściem. Jeśli model AI nie pobije tego harmonogramu pod względem czasu ostrzeżenia, wysiłek się nie opłaca.
Faza 5 · Ewaluacja & walidacja
Przy medianie czasu ostrzeżenia jedenastu dni utrzymanie ruchu może zaplanować interwencję na okres niskiego obciążenia. W obliczeniu modelowym nieplanowane godziny przestoju spadają dzięki temu o 32 procent, z 900 do około 610 rocznie. Publikowane wartości branżowe mieszczą się między 30 a 50 procent, a obliczenie modelowe celowo pozostaje przy dolnej granicy. Ewaluacja sprawdza też, czy ostrzeżenie działa na wszystkich sześciu maszynach wąskiego gardła, czy tylko na jednej.
Faza 6 · Wdrożenie & monitoring
Model działa jako alert konserwacyjny w systemie utrzymania ruchu: „Maszyna 14 ma ryzyko awarii za dziewięć dni, zalecane okno konserwacji: niedziela, nocna zmiana”. Pilotaż startuje na jednej linii i trwa cztery tygodnie. Monitoring dalej obserwuje nieplanowane godziny każdej maszyny. Obliczenie modelowe przyjmuje 288 unikniętych godzin po 750 euro, czyli 216 000 euro rocznie.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Jakiej części nieplanowanych przestojów da się uniknąć? | Kryterium sukcesu: nieplanowane godziny każdej maszyny wąskiego gardła |
| 2 Data Understanding | Czy awarie mają daty, a wartości z czujników są kompletne? | Inwentarz danych z MES, systemu sterowania, historii konserwacji |
| 3 Data Preparation | Jak z wartości sekundowych zrobić sygnały ostrzegawcze? | Wskaźniki okienkowe każdej zmiany, odcinki życia każdej maszyny |
| 4 Modeling | Ile czasu życia pozostało maszynie? | Model przeżycia plus LSTM, odniesienie: harmonogram według kalendarza |
| 5 Evaluation | Czy czas ostrzeżenia wystarcza na działanie? | Mediana jedenaście dni, 32 procent mniej nieplanowanych godzin |
| 6 Deployment | Jak ostrzeżenie dociera do utrzymania ruchu? | Alert w systemie, pilotaż na jednej linii, 216 000 euro rocznie |
Drugi przypadek użycia z tej samej serii stosuje krąg do jakości: prognoza braków z danych o partiach i parametrów procesu obniża wskaźnik braków obliczenia modelowego z 4,5 do 3,4 procent, łącznie 419 000 euro rocznie z materiału i poprawek.
Predictive Maintenance: przypadek użycia stojący za przykładem Redukcja braków: druga iteracja w produkcjiPrzykład CRISP-DM w logistyce: czas postoju przy rampie, przeliczony w sześciu fazach
Średniej wielkości firma logistyczna ze 150 ciężarówkami i 43 stałymi klientami przejeżdża około 18 mln kilometrów rocznie. Przy rampach klientów narasta 14 700 godzin postoju, a każda minuta kosztuje 75 centów. Wszystkie liczby to obliczenie modelowe z naszej serii logistycznej.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe brzmi: jak długo ciężarówka stoi przy której rampie i którzy klienci spowalniają flotę? Kryterium sukcesu jest możliwy do uniknięcia czas postoju u każdego klienta, mierzony w godzinach i w euro. Faza 1 wyznacza granicę: czasy oczekiwania, które powoduje sam klient, model może przewidzieć, ale ich nie zlikwiduje. Do tego dyspozytorzy potrzebują tej liczby w rozmowie z klientem.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane pochodzą z telematyki i historii zleceń: przyjazd i odjazd dla każdego podjazdu, ślady GPS, klient, dzień tygodnia, godzina, rodzaj ładunku, około 18 000 podjazdów z dwunastu miesięcy. Faza 2 sprawdza, czy znaczniki czasu przy rampie są wiarygodne, czy też wlicza się do nich pauza na parkingu przed rampą. Bez tego rozdzielenia model mierzy nie to, co trzeba.
Faza 3 · Przetwarzanie & inżynieria danych
Dla każdego podjazdu powstaje rekord z cech klienta, okna czasowego i załadunku, do tego średnie ruchome z ostatnich podjazdów u tego samego klienta. Ta jedna cecha, kroczący czas postoju u każdego klienta, wyjaśnia w obliczeniu modelowym około 40 procent wariancji. Faza 3 rozstrzyga więc już, czy reszta wysiłku się opłaci.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to sieć LSTM z mechanizmem attention, która przewiduje czas postoju dla każdego podjazdu. Punktem odniesienia jest średnia z ostatnich podjazdów u klienta, jako prosty model referencyjny. Dopiero gdy model AI wyraźnie pobije to odniesienie, uzasadnia integrację z systemem zarządzania transportem.
Faza 5 · Ewaluacja & walidacja
W obliczeniu modelowym model trafia w czas postoju z dokładnością plus minus dwanaście minut, o 25 procent dokładniej niż odniesienie z 16 minutami. Z 661 500 euro rocznych kosztów postoju rachunkowo da się uniknąć 264 600 euro, a obliczenie modelowe realistycznie przyjmuje połowę, 132 300 euro. Błąd musi też być stabilny u wszystkich 43 stałych klientów, a nie tylko u dużych.
Faza 6 · Wdrożenie & monitoring
Model działa najpierw jako dashboard dla dwudziestu największych klientów, potem przez interfejs w systemie zarządzania transportem z podpowiedziami na żywo dla dyspozytorów: oczekiwany czas postoju dla każdego podjazdu, klienci z rosnącym trendem. Monitoring co tydzień porównuje prognozę z rzeczywistym czasem postoju i zgłasza, gdy błąd u któregoś klienta rośnie.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Jakiego czasu postoju da się uniknąć i u kogo? | Kryterium sukcesu: możliwe do uniknięcia godziny postoju u każdego klienta |
| 2 Data Understanding | Czy przyjazd i odjazd przy rampie są poprawnie rejestrowane? | Inwentarz danych z telematyki i historii zleceń, 18 000 podjazdów |
| 3 Data Preparation | Które cechy niosą prognozę? | Kroczący czas postoju u każdego klienta wyjaśnia około 40 procent wariancji |
| 4 Modeling | Jak długo ta ciężarówka stoi przy tej rampie? | LSTM z attention, odniesienie: średnia klienta |
| 5 Evaluation | Czy model jest dokładniejszy niż doświadczenie dyspozytorów? | Plus minus dwanaście minut, o 25 procent dokładniej, 132 300 euro do zrealizowania |
| 6 Deployment | Jak liczba dociera do dyspozytorów? | Dashboard dla największych klientów, potem interfejs do systemu zarządzania transportem |
Druga iteracja tej samej serii stosuje krąg do diesla: model wartości oczekiwanej dla każdej ciężarówki i trasy znajduje nadmierne zużycie, które nie pasuje do załadunku, i oszczędza w obliczeniu modelowym 161 688 euro rocznie z 1,5 procent diesla i unikniętych szkód następczych.
Czas postoju przy rampie: przypadek użycia stojący za przykładem Anomalie zużycia diesla: druga iteracja w logistycePrzykład CRISP-DM w nieruchomościach: przewidywanie czasu sprzedaży, przeliczone w sześciu fazach
Średniej wielkości biuro pośrednictwa z 45 pracownikami, w tym 32 w sprzedaży, zamyka 450 transakcji rocznie. Nieruchomość czeka na nabywcę średnio 87 dni, a rozpiętość sięga od siedmiu do 341 dni. Wszystkie liczby to obliczenie modelowe z naszej serii o nieruchomościach.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe nie brzmi „ile ta nieruchomość jest warta”, lecz: jak długo będzie się sprzedawać i co to znaczy dla ceny i pozyskiwania zleceń? Kryterium sukcesu są dodatkowe transakcje na każdego pośrednika oraz odsetek zdobytych umów na wyłączność. Faza 1 wyznacza granicę: model przewiduje czas sprzedaży, a decyzja o cenie ofertowej zostaje przy właścicielu.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane są w systemie CRM: 1 350 sprzedaży z trzech lat z lokalizacją, stanem, typem nieruchomości, odchyleniem ceny od wartości rynkowej, zdjęciami i sezonem, do tego statystyki portali. Faza 2 pokazuje już strukturę: w dzielnicy uniwersyteckiej nieruchomość czeka 48 dni, na zachodnich przedmieściach 134, a oferta wystawiona wiosną sprzedaje się o 32 procent szybciej niż w grudniu.
Faza 3 · Przetwarzanie & inżynieria danych
Z surowych danych powstaje 18 cech każdej nieruchomości, między innymi mikrolokalizacja, odchylenie ceny ofertowej od wartości rynkowej i miesiąc publikacji oferty. Zmiany ceny w trakcie sprzedaży są prowadzone jako osobne zdarzenia, inaczej model uczy się z korekty, a nie z nieruchomości. Jeśli wartość rynkowa jako podstawa się nie utrzyma, nie utrzyma się też model.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to gradient boosting z regresją kwantylową, dzięki czemu każda prognoza ma przedział ufności. Punktem odniesienia jest intuicyjne oszacowanie doświadczonego pośrednika. Jeśli model AI nie pobije tego doświadczenia w mierzalny sposób, pozostaje zabawką.
Faza 5 · Ewaluacja & walidacja
W obliczeniu modelowym średni błąd wynosi 14 dni, a przy 80 procentach ufności plus minus 24 dni. Daje to 16 dodatkowych transakcji rocznie, bo sprzedaż staje się planowalna i każdy pośrednik zamyka o pół transakcji więcej, oraz 22 dodatkowe umowy na wyłączność, bo właściciel widzi w rozmowie o zleceniu wiarygodny czas sprzedaży. Łącznie 323 000 euro prowizji rocznie. Ewaluacja sprawdza, czy błąd utrzymuje się we wszystkich dziesięciu dzielnicach.
Faza 6 · Wdrożenie & monitoring
Model działa jako raport dla właściciela w rozmowie o zleceniu i jako cotygodniowa podpowiedź w CRM: nieruchomości, których czas sprzedaży przekracza prognozę. Monitoring co kwartał porównuje prognozę z rzeczywistym czasem i zgłasza, gdy jakaś dzielnica oddala się od modelu.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Jak długo nieruchomość będzie się sprzedawać i co z tego wynika? | Kryterium sukcesu: transakcje na pośrednika, odsetek umów na wyłączność |
| 2 Data Understanding | Czy trzy lata historii CRM wystarczą? | 1 350 sprzedaży z lokalizacją, stanem, odchyleniem ceny, sezonem |
| 3 Data Preparation | Które cechy wyjaśniają czas sprzedaży? | 18 cech każdej nieruchomości, zmiany ceny jako osobne zdarzenia |
| 4 Modeling | Jak długo i z jaką pewnością? | Gradient boosting z regresją kwantylową, odniesienie: oszacowanie pośrednika |
| 5 Evaluation | Czy błąd jest dość mały na rozmowę o cenie? | 14 dni średniego błędu, 38 dodatkowych transakcji, 323 000 euro |
| 6 Deployment | Jak prognoza dociera do właściciela i pośrednika? | Raport dla właściciela, cotygodniowa podpowiedź w CRM |
Druga iteracja tej samej serii wykorzystuje model czasu sprzedaży w strategii cenowej: krzywa ceny i czasu sprzedaży dla każdej mikrolokalizacji znajduje cenę ofertową, która maksymalizuje euro na dzień, pozwala w obliczeniu modelowym uniknąć 27 z 54 obniżek ceny rocznie i przynosi dodatkowo 89 200 euro.
Przewidywanie czasu sprzedaży: przypadek użycia stojący za przykładem Optymalizacja ceny ofertowej: druga iteracja w nieruchomościachPrzykład CRISP-DM w wydawnictwie: wczesne rozpoznawanie rezygnacji z subskrypcji, przeliczone w sześciu fazach
Regionalny wydawca z 25 000 subskrypcji cyfrowych i 55 000 subskrypcji drukowanych traci miesięcznie 4,5 procent subskrybentów cyfrowych, 13 500 rezygnacji rocznie przy 10,50 euro miesięcznego przychodu z subskrypcji. Wszystkie liczby to obliczenie modelowe z naszej serii wydawniczej.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe brzmi: którą rezygnację da się zobaczyć, zanim zostanie napisana, i jaką część z nich da się zatrzymać? Kryterium sukcesu jest wskaźnik rezygnacji w późnym churnie, od czwartego miesiąca subskrypcji. Faza 1 wyznacza granicę: wczesny churn w pierwszych trzech miesiącach to problem onboardingu, a nie przypadek dla listy ryzyka.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane są w czterech systemach: dane o korzystaniu z portalu, system subskrypcji, web analytics i newsletter. Faza 2 łączy je przez identyfikator subskrybenta i sprawdza, czy rezygnacje z ostatnich 24 miesięcy mają poprawne daty. Tylko z taką historią da się przetestować model wobec rzeczywistości, a nie wobec ładnego demo.
Faza 3 · Przetwarzanie & inżynieria danych
Dla każdego subskrybenta powstaje przebieg zaangażowania z recency, frequency i volume: kiedy była ostatnia wizyta, jak często w ostatnich tygodniach, ile artykułów. Do tego miks działów, urządzenie i status newslettera. Rezygnacje stają się wartościami docelowymi z 90-dniowym wyprzedzeniem. Luki w danych o korzystaniu wychodzą na jaw najpóźniej tutaj, a nie dopiero na liście ryzyka.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to gradient boosting na przebiegach zaangażowania, który dla każdego subskrybenta podaje prawdopodobieństwo rezygnacji w najbliższych 90 dniach, uzasadnione najważniejszymi czynnikami. Punktem odniesienia jest prosta reguła „30 dni bez wizyty”, którą każda obsługa klienta mogłaby stosować już dziś. Jeśli model AI nie pobije tej reguły, wysiłek się nie opłaca.
Faza 5 · Ewaluacja & walidacja
W obliczeniu modelowym 60 procent rezygnacji przypada na późny churn, 8 100 rocznie. Jeśli 15 procent z nich uda się zatrzymać, zostaje 1 215 subskrypcji, średnio o osiem miesięcy dłużej, 102 060 euro rocznie. Publikowane wartości wydawców mieszczą się między 10 a 17 procent, a obliczenie modelowe pozostaje pośrodku. Ewaluacja sprawdza też, czy lista ryzyka trafia we właściwych subskrybentów, czy tylko w rzadkich czytelników.
Faza 6 · Wdrożenie & monitoring
Model co tydzień dostarcza do CRM listę ryzyka z powodem dla każdego subskrybenta, żeby obsługa klienta wiedziała, z czym dzwoni. Systemy źródłowe pozostają podłączone tylko do odczytu. Monitoring dalej obserwuje wskaźnik rezygnacji w późnym churnie i zgłasza, gdy lista traci trafność.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Którą rezygnację widać wcześnie i da się zatrzymać? | Kryterium sukcesu: wskaźnik rezygnacji w późnym churnie od czwartego miesiąca |
| 2 Data Understanding | Czy korzystanie, subskrypcję i newsletter da się połączyć dla każdego subskrybenta? | Inwentarz danych z czterech systemów, 24 miesiące historii rezygnacji |
| 3 Data Preparation | Jak czytanie staje się przebiegiem? | Przebieg zaangażowania z recency, frequency, volume, cel z 90-dniowym wyprzedzeniem |
| 4 Modeling | Jak prawdopodobna jest rezygnacja tego subskrybenta? | Gradient boosting z czynnikami, odniesienie: reguła „30 dni bez wizyty” |
| 5 Evaluation | Czy lista trafia we właściwych subskrybentów? | 1 215 zatrzymanych subskrypcji, 102 060 euro rocznie |
| 6 Deployment | Jak ostrzeżenie dociera do obsługi klienta? | Cotygodniowa lista ryzyka w CRM z powodem dla każdego subskrybenta |
Druga iteracja tej samej serii kieruje krąg na pozyskiwanie nowych klientów: dynamiczny paywall ustawia barierę dla każdego czytelnika według częstości wizyt i głębokości czytania i przynosi w obliczeniu modelowym 3 240 dodatkowych subskrypcji rocznie, 238 140 euro.
Wczesne ostrzeganie przed churnem: przypadek użycia stojący za przykładem Dynamiczny paywall: druga iteracja w wydawnictwiePrzykład CRISP-DM w branży spożywczej: prognoza wolumenu sezonowego, przeliczona w sześciu fazach
Średniej wielkości producent czekolady ze 140 artykułami na czterech liniach sprzedaje 12 000 ton rocznie, ze szczytami na Boże Narodzenie, Wielkanoc i walentynki. Odpisy na towar sezonowy kosztują 570 000 euro, a luki na półce 1,14 mln euro przychodu. Wszystkie liczby to obliczenie modelowe z naszej serii czekoladowej.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe brzmi: ile towaru sezonowego wyprodukować przed szczytem, żeby nie powstały ani odpisy, ani luki na półce? Kryterium sukcesu jest błąd prognozy w horyzoncie dwunastu tygodni dla każdej grupy towarowej, do tego odpisy, luki na półce i koszty pośpiechu w euro. Faza 1 wyznacza granicę: promocji, które handel ustala z krótkim wyprzedzeniem, żadna prognoza nie przewidzi.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane pochodzą z trzech źródeł: sell-in z ERP, sell-out sieci handlowych i kalendarz promocji. Faza 2 sprawdza, czy sell-out jest dostępny tygodniowo dla każdej sieci i artykułu oraz czy figurki sezonowe z poprzednich lat są poprawnie przypisane do tygodni kalendarzowych. Gdy przesuwa się Wielkanoc, przesuwa się cała krzywa.
Faza 3 · Przetwarzanie & inżynieria danych
Z wartości tygodniowych powstaje dla każdego artykułu i sieci szereg czasowy z cechami sezonowymi: tygodnie do święta, tygodnie promocyjne, przebieg z poprzedniego roku. Hierarchia grupa towarowa, artykuł, sieć jest przygotowana tak, by prognozy dało się później uzgodnić. Niekompletny kalendarz promocji ujawnia się najpóźniej tutaj, a nie dopiero w błędzie prognozy.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to gradient boosting z kwantylami, uzgodniony hierarchicznie, z prognozą na dwanaście tygodni i pasmem niepewności dla każdego artykułu. Punktem odniesienia jest metoda roku poprzedniego stosowana w planowaniu, jako referencja przed każdym bardziej złożonym podejściem. Jeśli model AI nie pobije wyraźnie roku poprzedniego, planowanie zostaje przy roku poprzednim.
Faza 5 · Ewaluacja & walidacja
W backteście błąd prognozy wynosi 9,4 procent wobec 21,8 procent metody roku poprzedniego. Obliczenie modelowe przyjmuje na tej podstawie 30 procent mniej odpisów, o jedną czwartą mniej luk na półce liczonych marżą pokrycia i 30 procent mniej kosztów pośpiechu, łącznie 331 500 euro rocznie. Błąd jest wykazywany osobno dla pralin, figurek sezonowych i tabliczek, bo jedna grupa towarowa może ciągnąć średnią.
Faza 6 · Wdrożenie & monitoring
Prognoza pojawia się co poniedziałek z pasmem niepewności i trafia do planowania produkcji, które wyprowadza z niej wielkości produkcji dla każdej linii. Monitoring co tydzień porównuje prognozę ze sprzedażą i zgłasza, gdy sieć lub artykuł wychodzi z pasma, dość wcześnie na następną rundę planowania.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Ile towaru sezonowego przed szczytem? | Kryterium sukcesu: błąd prognozy na dwanaście tygodni, odpisy, luki na półce |
| 2 Data Understanding | Czy sell-out każdej sieci jest dostępny tygodniowo? | Inwentarz danych z sell-in, sell-out, kalendarza promocji |
| 3 Data Preparation | Jak sezon staje się cechą? | Szereg czasowy dla każdego artykułu i sieci, hierarchia do uzgodnienia |
| 4 Modeling | Ile ten artykuł sprzeda się w dwanaście tygodni? | Gradient boosting z kwantylami, hierarchiczny, odniesienie: metoda roku poprzedniego |
| 5 Evaluation | Czy prognoza jest lepsza niż rok poprzedni? | 9,4 zamiast 21,8 procent błędu, 331 500 euro rocznie |
| 6 Deployment | Jak prognoza trafia do planowania? | Poniedziałkowa prognoza z pasmem do planowania produkcji |
Druga iteracja tej samej serii stosuje krąg do miejsca na półce: wykrywanie anomalii w rotacji każdej sieci rozpoznaje delistingi, zanim nastąpią, i zabezpiecza w obliczeniu modelowym 108 000 euro marży pokrycia rocznie.
Wolumen sezonowy: przypadek użycia stojący za przykładem Miejsce na półce: druga iteracja w produkcji czekoladyPrzykład CRISP-DM w surowcach: pokrycie kakao według stanu rynku, przeliczone w sześciu fazach
Ten sam producent czekolady kupuje 3 600 ton produktów kakaowych rocznie po około 6 000 euro za tonę, 21,6 mln euro zakupów. Pytanie nie brzmi, dokąd pójdzie cena, lecz ile miesięcy pokrycia zakład powinien utrzymywać w jakim stanie rynku. Wszystkie liczby to obliczenie modelowe z naszej serii czekoladowej i artykułów badawczych o soft commodities.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe wyraźnie nie brzmi „gdzie będzie kakao za sześć miesięcy”, bo tego nikt nie powie wiarygodnie. Brzmi: jak mocno rozrzucone są koszty zakupu, gdy dział zakupów kupuje według potrzeb, i ile tego rozrzutu usuwa reguła pokrycia? Kryterium sukcesu jest rozrzut rocznych kosztów zakupu. Faza 1 wyznacza granicę: model steruje pokryciem, nie handluje.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane są publiczne: notowania terminowe kontraktu frontowego na ICE, kurs euro do dolara i raporty o zbiorach z krajów uprawy. Faza 2 sprawdza jakość danych z tych źródeł i otwarcie nazywa granicę: publiczne dzienne kursy zamknięcia wystarczą na ocenę sytuacji, nie na system handlowy. Model jest zbudowany właśnie do takiej oceny.
Faza 3 · Przetwarzanie & inżynieria danych
Z kursów dziennych powstają dzienne stopy zwrotu i zmienności kroczące, a z raportów o zbiorach znaczniki sezonowe. Szereg czasowy jest cięty tak, by model w każdym dniu znał tylko to, co wtedy było wiadome, inaczej w backteście zagląda w przyszłość. Ta dyscyplina rozstrzyga, czy czas wyprzedzenia będzie później prawdziwy, czy okaże się artefaktem.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to model reżimów z trzema stanami, spokojnym, podwyższonym i napiętym, który dla każdego dnia podaje prawdopodobieństwo stanu napiętego. Od niego zależy reguła pokrycia: trzy miesiące pokrycia minimalnego w stanie spokojnym, pięć w podwyższonym, utrzymanie zapasów w napiętym. Punktem odniesienia jest zakup według potrzeb bez reguły.
Faza 5 · Ewaluacja & walidacja
W obliczeniu modelowym koszty zakupu przy kupowaniu według potrzeb rozrzucają się o plus minus 14,2 procent, z regułą pokrycia o plus minus 8,1 procent. Jeden procent unikniętego rozrzutu na 21,6 mln euro zakupów to 216 000 euro, celowo niedodawane do sumy serii. W backteście badawczym model reżimów zarejestrował szok na rynku kakao z 2023 roku trzy i pół miesiąca przed udokumentowanym początkiem epizodu, jako krótki sygnał, a nie trwały alarm, z otwarcie nazwaną granicą, że na każdy surowiec przypadł tylko jeden taki epizod.
Faza 6 · Wdrożenie & monitoring
Model działa jako cotygodniowy komunikat o stanie rynku dla działu zakupów: aktualny stan, prawdopodobieństwo zmiany, wynikające z tego pokrycie w miesiącach. Monitoring co kwartał sprawdza, czy stany nadal pasują do struktury rynku, i zgłasza fałszywe alarmy, zanim dział zakupów straci zaufanie.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Ile rozrzutu usuwa reguła pokrycia? | Kryterium sukcesu: rozrzut rocznych kosztów zakupu |
| 2 Data Understanding | Czy wystarczą publiczne notowania i raporty o zbiorach? | Notowania terminowe, kurs walutowy, raporty o zbiorach, granica nazwana otwarcie |
| 3 Data Preparation | Jak backtest pozostaje uczciwy? | Stopy zwrotu, zmienność krocząca, tylko wiedza z danego dnia |
| 4 Modeling | W jakim stanie jest rynek? | Model reżimów z trzema stanami, reguła pokrycia 3 / 5 miesięcy / utrzymanie |
| 5 Evaluation | Czy koszty zakupu rozrzucają się mniej? | Plus minus 8,1 zamiast 14,2 procent, 216 000 euro na procent rozrzutu |
| 6 Deployment | Jak stan rynku dociera do zakupów? | Cotygodniowy komunikat o stanie rynku z pokryciem w miesiącach |
Druga iteracja tej samej serii dodaje geodane: na potrzeby unijnego rozporządzenia w sprawie wylesiania działki uprawne są sprawdzane wobec map utraty lasu. Z 1 800 działek w obliczeniu modelowym 280 zostaje do ręcznej weryfikacji, a koszty kontroli spadają o połowę.
Pokrycie kakao: przypadek użycia stojący za przykładem Model reżimów na soft commodities: artykuł badawczy o czasie wyprzedzeniaPrzykład CRISP-DM w danych procesowych: wyjaśnianie szczytów energii, przeliczone w sześciu fazach
Ten sam wzorcowy zakład z serii produkcyjnej wydaje 3,2 mln euro rocznie na energię. Sterowniki PLC jego 48 maszyn dostarczają pomiary co sekundę, a system rejestracji danych produkcyjnych zlecenia i powody przestojów. Wszystkie liczby to obliczenie modelowe, a założenia są nazwane w każdej fazie.
Faza 1 · Zrozumienie biznesu
Pytanie biznesowe brzmi: które szczyty obciążenia są normalne dla zlecenia, które właśnie się wykonuje, a które odbiegają od normalnego zachowania, bo maszyna jest źle ustawiona albo pracuje na pusto? Kryterium sukcesu jest odsetek wyjaśnionych szczytów i uniknięte kilowatogodziny. Faza 1 wyznacza granicę: bez znaczników czasu, które łączą sterownik ze zleceniem, każdy szczyt pozostaje niewyjaśniony.
Faza 2 · Pozyskiwanie & eksploracja danych
Dane procesowe pochodzą ze sterowników PLC: pobór prądu, temperatury, ciśnienia i czasy taktu każdej maszyny. System rejestracji danych produkcyjnych dostarcza zlecenie, liczbę sztuk i powód przestoju. Łączenie odbywa się przez znacznik czasu, numer zlecenia i identyfikator maszyny. Faza 2 znajduje typowe wąskie gardło: luki w szeregach czasowych i zegary, które na każdej maszynie odbiegają o minuty.
Faza 3 · Przetwarzanie & inżynieria danych
Wartości sekundowe są zagęszczane do okien minutowych i dla każdego zlecenia wzbogacane o liczbę sztuk i czas taktu. Tak powstaje dla każdej maszyny i typu zlecenia normalne zachowanie, wobec którego da się zmierzyć każdy szczyt. Obliczenie modelowe potrzebuje na to kilku miesięcy czystych danych procesowych, natomiast nowe czujniki rzadko są pierwszym krokiem.
Faza 4 · Analiza eksploracyjna & modelowanie
Model to model wartości oczekiwanej dla każdej maszyny, który ze zlecenia, taktu i temperatury szacuje oczekiwany pobór prądu. Anomalią jest odchylenie od tego oczekiwania. Punktem odniesienia jest klasyczna reguła wartości odstających Tukeya, 1,5-krotność rozstępu międzykwartylowego. Jeśli model AI nie znajdzie więcej wyjaśnialnych szczytów niż reguła, wystarczy reguła.
Faza 5 · Ewaluacja & walidacja
Ewaluacja sprawdza każde zgłoszone ustalenie z inżynierem procesu: bieg jałowy po końcu zmiany, źle sparametryzowana maszyna, wentylator w pracy ciągłej. Obliczenie modelowe nie przyjmuje tu żadnej kwoty: jaką część szczytów da się usunąć, pokaże dopiero pilotaż na własnych maszynach. Rezultatem tej fazy jest weryfikacja każdego ustalenia.
Faza 6 · Wdrożenie & monitoring
Model działa jako ustalenie ze ścieżką weryfikacji: każde zgłoszenie podaje maszynę, okno czasowe, oczekiwany i zmierzony pobór prądu oraz najbardziej prawdopodobny powód. Ocena pozostaje po stronie człowieka. Monitoring obserwuje, czy normalne zachowanie dryfuje, na przykład po wymianie narzędzia, i uruchamia wtedy ponowne trenowanie.
| Faza | Pytanie przewodnie w przykładzie | Rezultat w przykładzie |
|---|---|---|
| 1 Business Understanding | Który szczyt obciążenia jest normalny, a który nie? | Kryterium sukcesu: wyjaśnione szczyty, uniknięte kilowatogodziny |
| 2 Data Understanding | Czy sterownik i zlecenie da się połączyć? | Dane procesowe ze sterowników PLC, zlecenia z rejestracji danych produkcyjnych, znaczniki czasu |
| 3 Data Preparation | Co jest normalnym zachowaniem każdej maszyny? | Okna minutowe dla każdego typu zlecenia, kilka miesięcy czystych danych |
| 4 Modeling | Jak daleko szczyt odbiega od oczekiwania? | Model wartości oczekiwanej dla każdej maszyny, odniesienie: reguła Tukeya |
| 5 Evaluation | Czy ustalenia da się usunąć? | Weryfikacja każdego ustalenia z inżynierem, kwota dopiero w pilotażu |
| 6 Deployment | Jak anomalia staje się działaniem? | Ustalenie ze ścieżką weryfikacji, ponowne trenowanie przy dryfie |
Dane procesowe to surowiec dla każdego z siedmiu pozostałych przypadków w tym rozdziale. Jak się je rejestruje i łączy, pokazuje poradnik o rejestracji danych procesowych; które metody znajdują anomalie, poradnik o wykrywaniu anomalii.
Rejestracja danych procesowych: od wartości z maszyny do modelu AI (poradnik po niemiecku) Wykrywanie anomalii: wczesne rozpoznawanie rzadkich wzorcówGdzie i w której fazie upadają projekty data science
Opublikowane liczby o niepowodzeniach wskazują na dwie pierwsze fazy, nie na modelowanie.
Program MIT NANDA podał w sierpniu 2025 roku, że 95 procent badanych organizacji mimo wydatków na generatywną AI nie widzi mierzalnego efektu w wynikach. Rok wcześniej Gartner przewidział, że co najmniej 30 procent projektów GenAI zostanie przerwanych po proof of concept do końca 2025 roku z powodu słabej jakości danych, braku kontroli ryzyka, rosnących kosztów lub niejasnej wartości biznesowej. Niejasna wartość biznesowa i brak kontroli ryzyka to w naszej ocenie pytania fazy 1, jakość danych to pytanie fazy 2; koszty ujawniają się zwykle dopiero w eksploatacji. Nasz artykuł badawczy prześledza siedem przyczyn metodycznych, od inflacji twierdzeń we wniosku projektowym po porównanie ze słabym modelem bazowym.
Dlaczego 95% pilotaży GenAI zawodziDrugie ustalenie dotyczy danych. W naszych rozmowach ze średniej wielkości zespołami danych pilotaże AI rzadko upadają na modelu, a najczęściej na jakości danych, której wcześniej nikt nie sprawdził. Opublikowaliśmy do tego audyt, który w dziesięć minut sprawdza zbiór danych w siedmiu wymiarach, z oceną w skali świateł dla każdego wymiaru. Audyt należy do fazy 2, zanim wysiłek popłynie do fazy 3.
Siedem pytań rozstrzyga, czy Państwa projekt AI upadnieTrzecie ustalenie jest najprostsze: bez spisanego celu nie ma niczego, na czym model mógłby przejść albo polec. Środek zaradczy w fazie 1 kosztuje niewiele: spisany, ustalony z góry punkt końcowy sukcesu, który mówi, jaki wskaźnik na jakiej populacji w jakim okresie będzie mierzony wobec jakiego porównania. Bez tego punktu końcowego w fazie 5 nie da się niczego zwalidować, a projekt zostaje na końcu oceniony według wrażeń, a nie liczb.
Nasze podejście do data science
Trzy zasady przenikają każdą fazę naszych projektów.
Iteracyjne & zwinne
Krótkie pętle informacji zwrotnej z ciągłym zaangażowaniem interesariuszy.
Odtwarzalne & przejrzyste
Udokumentowane decyzje i możliwe do prześledzenia wyniki.
Business-First
Sukces mierzymy realną dostarczoną wartością, a nie złożonością modelu.
Najczęstsze pytania o CRISP-DM
Co oznacza CRISP-DM i od czego pochodzi ten skrót?
CRISP-DM to skrót od Cross-Industry Standard Process for Data Mining. Model postępowania opracowały od 1996 roku firmy Daimler-Benz, NCR i ISL (później SPSS), a w 2000 roku opublikowano go jako przewodnik. Opisuje sześć faz od pytania biznesowego do eksploatacji i jest z założenia neutralny branżowo i niezależny od narzędzi.
Jakie sześć faz ma CRISP-DM?
Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation i Deployment. W myBytes nazywają się „Zrozumienie biznesu”, „Pozyskiwanie i eksploracja danych”, „Przetwarzanie i inżynieria danych”, „Analiza eksploracyjna i modelowanie”, „Ewaluacja i walidacja” oraz „Wdrożenie i monitoring”. Fazy przebiegają iteracyjnie: cofnięcie się do wcześniejszej fazy jest przewidziane, a nie wyjątkowe.
Czy CRISP-DM jest nadal aktualny, czy są nowsze modele postępowania?
Nowsze modele, takie jak ASUM-DM, TDSP i DASC-PM, rozszerzają CRISP-DM, ale go nie zastępują. Przewodnik z 2000 roku traktuje eksploatację i nadzór tylko jako zadanie w ramach wdrożenia. Dokładnie tam uzupełniamy fazę 6 o monitoring, zautomatyzowane wydanie i przekazanie operacji. Same sześć faz pozostaje w mocy.
Jak długo trwa projekt data science według CRISP-DM?
Nie ma ryczałtowego czasu trwania i celowo go nie podajemy. Czas zależy od tego, czy dane z fazy 2 udźwigną pytanie i ile przygotowania wymaga faza 3. Wiarygodnie da się powiedzieć dwie rzeczy: faza 1 zaczyna się od rozmowy, a pierwsza kontrola danych w siedmiu wymiarach trwa dziesięć minut.
Która faza zajmuje najwięcej czasu?
Przygotowanie danych w fazie 3. Zajmuje największą część pracy projektowej, bo tu zbiegają się brakujące wartości, duplikaty i niespójności z wielu źródeł. Dlatego automatyzujemy je odtwarzalnymi potokami i kontrolami jakości. Jak to wygląda w szczegółach, opisuje strona faza 3: przygotowanie danych.
Czym różni się CRISP-DM od cyklu życia data science?
CRISP-DM to konkretny, udokumentowany model postępowania z sześcioma nazwanymi fazami. „Cykl życia data science” to pojęcie nadrzędne dla każdego cyklicznego przedstawienia projektu data science; wiele wersji to warianty CRISP-DM z mocniejszym akcentem na eksploatację. Nasz cykl to CRISP-DM pod własnymi nazwami faz, z monitoringiem jako częścią szóstej fazy.
Czy jest przykład CRISP-DM z praktyki?
Tak. Na tej stronie przeliczamy zwroty w branży mody przez wszystkie sześć faz, od pytania biznesowego po działający model, z pytaniem przewodnim i wynikiem dla każdej fazy. Stojący za tym przypadek użycia pokazuje dane, metodę i business case.
Czy CRISP-DM nadaje się też do projektów AI z modelami językowymi?
Tak, a dwie pierwsze fazy stają się tam ważniejsze, nie mniej ważne. Opublikowane powody przerywania projektów GenAI, niejasna wartość biznesowa i słaba jakość danych, to pytania fazy 1 i fazy 2. Modelowanie oznacza przy modelach językowych z reguły wybór i integrację zamiast własnego treningu; ewaluacja i monitoring pozostają obowiązkowe bez zmian.
Pierwszy krok do wyników opartych na danych
Każdy projekt zaczyna się od fazy 1: od zrozumienia Państwa biznesu. Ten pierwszy krok to rozmowa, nie umowa.
Każdy projekt jest wyjątkowy. Prosimy opowiedzieć o Państwa wyzwaniu.
Rozpocznij bezpłatną rozmowę