Technologie · Przygotowanie danych

Inżynieria cech: jak wiedza fachowa Państwa firmy trafia do modelu

Model uczy się wyłącznie z tego, co zawierają jego cechy, a o tym, jakie to mają być cechy, wiedzą specjaliści w Państwa firmie.

Inżynieria cech: definicja i zakres

Inżynieria cech, po angielsku feature engineering, to praca polegająca na tym, by z surowych danych zbudować cechy, z których model może się uczyć. Cecha (feature) to pojedyncza informacja, którą model otrzymuje dla każdego przypadku, czyli w tabeli danych jedna kolumna. Pojedynczy pomiar drgań maszyny mówi niewiele, natomiast trend drgań w ciągu zmiany mówi bardzo dużo zarówno pracownikowi utrzymania ruchu, jak i modelowi.

Powszechnie stosowany model procesu CRISP-DM wymienia wyprowadzanie nowych atrybutów z istniejących pól jako zadanie należące do przygotowania danych [1]. Informatyk Pedro Domingos uznał w 2012 roku użyte cechy za najważniejszy czynnik decydujący o tym, czy projekt uczenia maszynowego się powiedzie [2]. Ile może zmienić jedna cecha, pokazuje nasza analiza publicznego zbioru danych z 2,33 miliona pozycji zamówień jednego sprzedawcy odzieży. Dotychczasowy wskaźnik zwrotów klienta, obliczony wyłącznie na podstawie wcześniejszych zamówień, podniósł jakość predykcji z 0,696 do 0,737 (mierzoną jako ROC-AUC, w skrócie AUC, czyli miara o wartościach od 0,5 dla zgadywania do 1 dla bezbłędnego rozdzielenia).

Ile naprawdę kosztują zwroty w modzie i czy ich przewidywanie się opłaca

Inżynierię cech łatwo pomylić z kilkoma pokrewnymi pojęciami. Czyszczenie danych usuwa wady, takie jak brakujące wartości i duplikaty, ale nie nadaje danym znaczenia merytorycznego. Pojęcie ekstrakcji cech nie jest używane jednolicie. Na tej stronie oznacza ono automatyczne wyprowadzanie cech przez metodę, na przykład z obrazów, tekstów lub sygnałów. Selekcja cech (feature selection), czyli wybór cech, które rzeczywiście coś wnoszą, jest jednym z kroków inżynierii cech, ale jej nie zastępuje.

Jak działa inżynieria cech

Budowanie cech zaczyna się od ustalenia momentu w czasie. Dopiero gdy wiadomo, kiedy predykcja będzie potrzebna, można powiedzieć, jakie informacje wolno umieścić w cesze.

Najpierw trzeba wyjaśnić dwa pojęcia. W treningu model uczy się na danych z przeszłości. W teście sprawdza się go na danych, których wcześniej nie widział, a wynik testu to liczba, na której później opiera się planowanie przedsięwzięcia.

KrokCo się dziejeCo z tego powstaje
1. Ustalenie momentu predykcjidział biznesowy i zespół data science ustalają, kiedy predykcja musi być gotowa i co jest wtedy wiadomedata graniczna dla każdej predykcji, po której nie wolno już korzystać z żadnej informacji
2. Zebranie wiedzy fachowejdoświadczeni pracownicy opisują, po czym dziś rozpoznają zdarzenielista kandydatów na cechy wraz z uzasadnieniem merytorycznym
3. Budowanie cechsurowe wartości są agregowane w oknach czasowych, zliczane albo zestawiane w proporcjetabela cech z jednym wierszem na każdą predykcję
4. Sprawdzenie pod kątem data leakagew przypadku każdej cechy sprawdza się, czy w eksploatacji będzie dostępna na czas, czy też zawiera wiedzę z przyszłości (data leakage)oczyszczona lista oraz zbiór testowy z okresu późniejszego niż dane treningowe
5. Wybór (feature selection)odpadają cechy, które niczego nie wyjaśniają albo tylko powtarzają inneszczupły model, który da się wyjaśnić
6. Przeniesienie do potoku danychten sam ciąg przetwarzania, czyli ten sam sprawdzony kod, tworzy cechy do treningu i do eksploatacjicechy liczone w eksploatacji dokładnie tak samo jak w teście

Krok 2 sprawia, że pracy nad cechami nie da się w całości kupić na zewnątrz, bo wiedza o tym, po czym rozpoznać zdarzenie, znajduje się w Państwa firmie. Krok 4 łatwo pominąć, ponieważ jego brak nie odbija się na wyniku testu.

Przykład obliczeniowy: cechy dla 48 maszyn i cena błędu leakage

Poniższy przykład to obliczenie modelowe dla fikcyjnego przedsiębiorstwa z naszej serii o produkcji i nie zawiera danych żadnego klienta. Zakład obróbki metali eksploatuje 48 maszyn w systemie trzyzmianowym. Nieplanowane przestoje sumują się do 900 godzin rocznie, a każda godzina kosztuje 750 euro. Model ma rozpoznawać awarię z wyprzedzeniem, którego mediana wynosi jedenaście dni, i dzięki temu pozwolić zaplanować 288 z tych godzin, co odpowiada kwocie 216 000 euro rocznie.

Bieżące pomiary z maszyn stają się cechami dopiero wtedy, gdy odpowiadają na pytania, które zadałby doświadczony pracownik utrzymania ruchu:

Surowe daneZbudowana z nich cechaPytanie pracownika utrzymania ruchu
Drganiatrend, rozrzut i liczba wartości odstających w każdej zmianieCzy maszyna pracuje coraz gorzej z każdą zmianą, czy też pracuje coraz bardziej nierówno, choć średnia jest jeszcze w normie?
Temperaturadryf temperatury w każdej zmianieCzy maszyna oddala się od własnego zakresu normalnej pracy?
Pobór prądutrend poboru prąduCzy maszyna z czasem pobiera coraz więcej prądu?
Czasy cyklizmiany obciążenia w każdej zmianieJak mocno maszyna była obciążona?
Kody błędów sterownikaliczba kodów błędów w ostatnich 72 godzinachCzy komunikatów przybywa?

Z historii konserwacji nie powstaje cecha, lecz zmienna docelowa, czyli to, co model ma przewidywać. W przykładzie są to odcinki pracy maszyny między dwiema awariami.

Operacje rachunkowe w tej tabeli, czyli trend, rozrzut i zliczanie, są proste. Wiedzy fachowej wymaga natomiast pytanie, która wielkość i w jakim oknie czasowym mówi coś o zużyciu, a na to pytanie może odpowiedzieć tylko dział utrzymania ruchu.

Ile kosztuje błąd data leakage

Data leakage, dosłownie wyciek danych, nie ma nic wspólnego z ochroną danych osobowych. Chodzi o to, że cecha zawiera informację, która w momencie predykcji nie może być jeszcze dostępna. W 2023 roku analiza wcześniejszych przeglądów wykazała ten problem w co najmniej 294 pracach naukowych z 17 dziedzin [3].

W przykładzie do takiego błędu wystarczy źle ustawiony koniec okna czasowego. Załóżmy, że predykcja jest potrzebna rano, na początku zmiany, ale w treningu cechę „kody błędów w ostatnich 72 godzinach” oblicza się z pełnego eksportu dziennego. Cecha obejmuje wtedy również komunikaty, które pojawiły się dopiero w ciągu dnia, czyli w dniach awarii komunikaty samej awarii. Przez to model wypada w teście lepiej, niż jest w rzeczywistości, zwłaszcza tuż przed awarią. W eksploatacji natomiast brakuje komunikatów z bieżącego dnia, a ostrzeżenia, które w teście się na nich opierały, przychodzą później albo wcale.

Jaka część wyniku testu może pochodzić z takiej informacji, sprawdziliśmy na publicznym zbiorze danych konkursowych z około 50 000 sesji sklepu internetowego. Z cechami koszyka z końca sesji model osiągnął w teście AUC 0,961, a bez nich 0,860. Różnica wynosząca nieco ponad 0,10 pochodziła więc z informacji, która jest ustalona dopiero wtedy, gdy klient już podjął decyzję. Dla interwencji w trakcie sesji liczy się wczesna predykcja po pierwszej interakcji, a ta wyniosła 0,848. Wszystkie trzy liczby to jednak wyniki testowe uzyskane na tym jednym zbiorze danych i nie pokazują zmierzonej różnicy między testem a eksploatacją.

Z tych trzech wyników testowych nie da się zatem odczytać, ile korzyści traci się w eksploatacji przez błąd leakage. Strata zależy od tego, jak mocno model opiera się na zniekształconej cesze. Dlatego w poniższym obliczeniu przyjęto dwa założenia: udział korzyści osiągnięty w eksploatacji i czas do wykrycia błędu.

WielkośćWartośćPochodzenie
Planowana korzyść roczna (288 godzin × 750 euro)216 000 euroobliczenie modelowe z serii o produkcji
Udział osiągnięty w eksploatacji50 procentzałożenie
Czas do wykrycia6 miesięcyzałożenie

Przy 50 procentach da się zaplanować 144 zamiast 288 godzin rocznie. Przez sześć miesięcy brakuje więc 72 godzin po 750 euro, czyli 54 000 euro. W przypadkach z kolejnej tabeli zmieniają się oba założenia jednocześnie.

PrzypadekOsiągnięty udziałWykrycie poBrakujące godzinyUtracona korzyść
korzystny75 procent3 miesiącach1813 500 euro
średni50 procent6 miesiącach7254 000 euro
niekorzystny25 procent12 miesiącach216162 000 euro

Do własnej kalkulacji orientacyjnej mogą Państwo użyć wzoru:

Utracona korzyść do momentu wykrycia = planowana korzyść roczna × (1 − udział osiągnięty w eksploatacji) × liczba miesięcy do wykrycia ÷ 12

Wzór zakłada, że korzyść rozkłada się równomiernie na cały rok, i uwzględnia okres do momentu wykrycia błędu. Dopóki cechy nie zostaną zbudowane od nowa, niedobór narasta dalej. Wzór nie obejmuje też nakładu na przebudowę, interwencji po fałszywych ostrzeżeniach ani zaufania działu utrzymania ruchu do kolejnej prognozy.

Błąd jest kosztowny dlatego, że pozostaje niezauważony. Po zwykłym wyniku testu nie da się go rozpoznać, ponieważ dane testowe zawierają ten sam błąd. Widoczny staje się wtedy, gdy każdą cechę przelicza się dla minionej daty granicznej dokładnie tak, jak system w eksploatacji obliczyłby ją tego dnia. Jeśli tego przeliczenia zabraknie, błąd zauważy dopiero ten, kto zestawi plan z wykonaniem.

Kiedy inżynieria cech się opłaca, a kiedy nie

Inżynieria cech wymaga surowych danych z wiarygodnymi znacznikami czasu, jasno określonego momentu predykcji oraz specjalistów, którzy znajdą czas na kilka rozmów.

Łatwo tu o cztery błędne wnioski:

  • Więcej cech nie daje samo z siebie lepszego modelu. Każdą dodatkową cechę trzeba utrzymywać, sprawdzać i wyjaśniać.
  • Mocniejszy algorytm nie zrównoważy słabych cech. Jeśli w cechach brakuje decydującej informacji, żadna metoda jej nie dopowie.
  • Zaskakująco wysoki wynik testu to powód do podejrzeń. Data leakage jest wtedy pierwszym wyjaśnieniem, które należy sprawdzić.
  • Automatyzacja nie zastąpi działu biznesowego. Czy cecha jest znana w momencie predykcji, wie tylko ten, kto zna proces. Narzędzie nie wyczyta tego z danych.

Czy zespół lub dostawca traktuje pracę nad cechami poważnie, mogą Państwo sprawdzić trzema pytaniami, które nie wymagają wiedzy specjalistycznej. W którym momencie potrzebna jest predykcja i co jest wtedy wiadome? Kto z działu biznesowego współdecydował o wyborze cech? Jak sprawdzono, że żadna cecha nie zawiera wiedzy z przyszłości? Jeśli którakolwiek odpowiedź pozostaje mglista, do wyniku testu warto podchodzić z ostrożnością.

Odradzamy inżynierię cech, gdy prosta reguła lub wskaźnik już odpowiada na pytanie biznesowe, a także dopóki zmienna docelowa nie występuje w danych.

Inżynieria cech w procesie data science

Inżynieria cech należy do fazy 3 CRISP-DM, czyli przygotowania danych, i następuje w niej po czyszczeniu danych. Najważniejsze założenie wejściowe pochodzi z fazy 1, ponieważ to pytanie biznesowe wyznacza moment predykcji. Faza 5, walidacja modeli, jest ostatnią okazją, by wykryć data leakage przed przejściem do eksploatacji. W fazie 6 ten sam potok danych tworzy cechy dla działającego modelu.

Wszystkie sześć faz CRISP-DM w skrócie Faza 3: przygotowanie danych Faza 5: walidacja modeli

Najczęstsze pytania o inżynierię cech

Czym jest inżynieria cech w jednym zdaniu?

Inżynieria cech buduje z surowych danych cechy o znaczeniu merytorycznym, z których model może się uczyć. Z pojedynczego pomiaru drgań powstaje na przykład ich trend w każdej zmianie. W tych cechach zawarta jest wiedza fachowa firmy, dlatego ta praca udaje się tylko wspólnie z działem biznesowym.

Czym różni się inżynieria cech od ekstrakcji cech?

Tych pojęć nie rozgranicza się jednolicie. W praktyce pomaga następujące rozróżnienie. W inżynierii cech to ludzie ustalają, które cechy mają sens merytoryczny, i celowo je budują. W ekstrakcji cech wyprowadzanie pozostawia się metodzie, która sama oblicza cechy z obrazów, tekstów lub sygnałów.

Czym jest data leakage?

O data leakage mówi się wtedy, gdy cecha zawiera informację, która w momencie predykcji nie może być jeszcze dostępna. Model wypada wtedy w teście bardzo dobrze, a w eksploatacji nie osiąga wyniku, na którym oparto plan. Chroni przed tym sprawdzenie, w którym momencie każda cecha staje się znana.

Jakich danych potrzebuje inżynieria cech?

Potrzebne są surowe dane z wiarygodnymi znacznikami czasu, klucz, za pomocą którego da się połączyć źródła, oraz zmienna docelowa obecna w danych, na przykład datowane awarie. Historia danych musi też być na tyle długa, by zdarzenie wystąpiło w niej wielokrotnie. Bez znaczników czasu lub zmiennej docelowej cechy można wprawdzie zbudować, ale nie można ich sprawdzić.

Od czego zależy nakład pracy na inżynierię cech?

Nakład zależy od liczby źródeł danych, od stanu ich znaczników czasu i kluczy oraz od tego, na ile dostępni są specjaliści. Jeśli kilka modeli ma korzystać z tych samych cech, może dojść centralne repozytorium, tak zwany feature store. Dlatego czas pracy można określić dopiero po przejrzeniu danych.

Od czego zaczyna się inżynieria cech w projekcie?

Zaczyna się od działu biznesowego i od pytań, w którym momencie potrzebna jest predykcja i po czym doświadczeni pracownicy rozpoznają dziś zdarzenie. Z odpowiedzi powstaje pierwsza lista cech. Każdą z nich sprawdza się następnie pod kątem tego, czy w eksploatacji będzie dostępna na czas.

Źródła

  1. IBM: IBM SPSS Modeler CRISP-DM Guide, rozdz. 4 „Data Preparation”, podrozdziały „Constructing New Data” i „Deriving Attributes”, s. 21. https://www.ibm.com/docs/en/SS3RA7_18.5.0/pdf/ModelerCRISPDM.pdf
  2. Domingos, P. (2012): A Few Useful Things to Know About Machine Learning. Communications of the ACM 55 (10), s. 78-87, podrozdział „Feature Engineering Is The Key”. https://doi.org/10.1145/2347736.2347755
  3. Kapoor, S., Narayanan, A. (2023): Leakage and the reproducibility crisis in machine-learning-based science. Patterns 4 (9), 100804. https://doi.org/10.1016/j.patter.2023.100804

Ustalmy razem, jakich cech wymaga Państwa pytanie

Wystarczy, że podadzą nam Państwo pytanie biznesowe i źródła danych. W rozmowie wstępnej omówimy wspólnie z Państwem, kiedy potrzebna jest predykcja, jakie cechy wchodzą w grę i w którym miejscu wiedza z przyszłości może przedostać się do danych.

Zarezerwuj bezpłatną rozmowę wstępną