Metodyka badań
Dwóch analityków, jeden zbiór danych: gdzie liczby się zgadzają, a rekomendacje rozchodzą
Przeanalizowaliśmy ten sam zbiór danych dostawczych niezależnie od siebie - 1898 zamówień, te same pytania. Liczby zgadzają się co do miejsca po przecinku. Rekomendacje nie. I właśnie ta różnica jest miejscem, w którym naprawdę zapadają decyzje oparte na danych.
Istnieje wygodne założenie na temat analizy danych: jeśli dane są poprawne, decyzja wynika z nich sama. Mogliśmy sprawdzić to założenie na sobie. W ramach naszego programu MIT obaj opracowaliśmy ten sam zbiór danych platformy dostawczej, odpowiadając na te same zadane pytania, bez porównywania wyników po drodze. Wynik na wstępie: liczby są identyczne. To, co z nich wnioskujemy - już nie.
Zbiór danych
Podstawą jest 1898 zamówień platformy dostawczej z dziewięcioma atrybutami: restauracja, rodzaj kuchni, wartość zamówienia, dzień tygodnia, ocena, czas przygotowania i czas dostawy. Stoi za nimi 1200 klientów i 178 restauracji z 14 rodzajów kuchni. Nie brakuje żadnych wartości. Zbiór to publiczny zbiór edukacyjny używany w programie MIT.
Co obie analizy pokazują zgodnie
Ta zgodność wyraźnie nie jest osiągnięciem, lecz oczekiwaniem: ten sam zbiór, te same pytania, poprawne rzemiosło. Zaskakujące byłoby przeciwieństwo. Wspólna baza faktów:
| Wskaźnik | Wartość |
|---|---|
| Zamówienia / klienci / restauracje | 1898 / 1200 / 178 |
| Wartość zamówienia (średnia / mediana) | 16,50 $ / 14,14 $ |
| Zamówienia powyżej 20 $ | 555 (29,24%) |
| Czas przygotowania (średnia) | 27,37 min |
| Czas dostawy (średnia) | 24,16 min |
| Czas łączny powyżej 60 min | 200 zamówień (10,54%) |
| Zamówienia bez oceny | 736 (38,78%) |
| Przychód netto z prowizji | 6166,30 $ |
Wszystkie kwoty w dolarach amerykańskich, zgodnie ze zbiorem źródłowym.
Dwa wnioski rzucają się w oczy. Po pierwsze, prawie cztery na dziesięć zamówień nie mają oceny - każde stwierdzenie o zadowoleniu opiera się więc na próbie, która wybrała się sama. Po drugie, popyt jest wyraźnie skoncentrowany: American i Japanese odpowiadają razem za ponad połowę wszystkich zamówień.
Wniosek, przy którym drogi się rozchodzą
Platforma dostarcza szybciej w weekendy niż w dni robocze: 22,47 minuty wobec 28,34 minuty - prawie sześć minut różnicy. Jednocześnie wolumen zamówień w weekend jest wyraźnie wyższy. Obie analizy dochodzą do tego wyniku. Obie wyciągają z niego co innego.
| Ten sam wniosek | Odczyt A | Odczyt B |
|---|---|---|
| Mniej zamówień w tygodniu, wolniejsza dostawa | Dzień roboczy to niewykorzystany popyt: promocje i klienci firmowi w porze lunchu. | Dzień roboczy to problem operacyjny: najpierw ustalić, dlaczego dostawa jest wolniejsza. |
| Weekend niesie wolumen | Już jest mocny, więc szukać wzrostu tam, gdzie go brakuje. | Rozbudować moce weekendowe tam, gdzie popyt jest udowodniony. |
| Kuchnie o wysokiej wartości wobec tanich | Pozycjonowanie premium droższych kuchni. | Rozszerzyć tanie kuchnie, by poszerzyć ofertę. |
| 38,78% bez oceny | Wyznaczyć konkretny cel: poniżej 20%. | Najpierw przyczyna: w ogóle ułatwić ocenianie. |
Żaden z tych odczytów nie jest błędny i żaden nie wynika koniecznie z danych. Różnią się założeniem co do tego, gdzie leży wąskie gardło - w popycie czy w operacjach. Tego założenia nie ma w zbiorze danych.
Co z tego wynika dla projektów danych
- Odtwarzalność to bilet wstępu, nie wynik. To, że dwie analizy dają te same liczby, dowodzi czystego rzemiosła - i tylko tyle. Sprzedawanie odtwarzalności jako wyniku myli warunek wstępny z wnioskiem.
- Rekomendacja jest właściwym krokiem modelowania. Między wskaźnikiem a działaniem leży założenie o przyczynach. Należy je ujawnić, a nie ubierać w „oparte na danych".
- Brakujące dane to wniosek. 38,78% zamówień bez oceny to nie luka w raporcie, lecz najważniejsze stwierdzenie o jakości danych platformy.
- Dlatego dwie analizy. Kiedy dwa niezależne odczyty przekładają tę samą liczbę na przeciwstawne działania, to jest moment, w którym decyzja zapada świadomie - zamiast wyłaniać się niepostrzeżenie z wykresu.
Powtarzalność i weryfikacja
Obie w pełni wykonane analizy są otwarte: github.com/myBytesResearch/foodhub-order-analysis-gwinger oraz github.com/myBytesResearch/foodhub-order-analysis-mpianowski. Obie powstały jako coursework w Applied AI and Data Science Program MIT Professional Education (weryfikowalne certyfikaty: Guido Winger, Mariusz Pianowski).