Technik · Datenaufbereitung

Feature Engineering: wie Ihr Fachwissen ins Modell kommt

Ein Modell lernt nur aus dem, was in seinen Merkmalen steckt, und welche Merkmale das sein müssen, weiß Ihr Fachbereich.

Feature Engineering: Definition und Abgrenzung

Feature Engineering ist die Arbeit, aus Rohdaten Merkmale zu bilden, aus denen ein Modell lernen kann. Ein Merkmal, englisch Feature, ist eine einzelne Angabe, die das Modell zu jedem Fall bekommt, in der Datentabelle also eine Spalte. Der einzelne Vibrationswert einer Maschine sagt wenig aus, während der Trend der Vibration über eine Schicht einem Instandhalter viel sagt und einem Modell ebenfalls.

Das verbreitete Vorgehensmodell CRISP-DM führt das Ableiten neuer Attribute aus vorhandenen Feldern als Aufgabe der Datenaufbereitung [1]. Der Informatiker Pedro Domingos nannte 2012 die verwendeten Merkmale den wichtigsten Faktor dafür, ob ein Projekt im maschinellen Lernen gelingt [2]. Was ein einzelnes Merkmal ausmachen kann, zeigt unsere Auswertung eines öffentlichen Datensatzes mit 2,33 Millionen Bestellposten eines Modehändlers: Die bisherige Retourenquote des Kunden, berechnet nur aus früheren Bestellungen, hob die Vorhersagegüte (ROC-AUC, kurz AUC, eine Kennzahl zwischen 0,5 für Raten und 1 für fehlerfreie Trennung) von 0,696 auf 0,737.

Was Retouren in Mode wirklich kosten

Mit Feature Engineering werden mehrere Nachbarbegriffe verwechselt. Die Datenbereinigung behebt Mängel wie fehlende Werte und Duplikate, fügt den Daten aber keine fachliche Bedeutung hinzu. Der Begriff Merkmalsextraktion wird uneinheitlich gebraucht und meint auf dieser Seite das automatische Ableiten von Merkmalen durch ein Verfahren, etwa aus Bildern, Texten oder Signalen. Feature Selection, die Auswahl der tragfähigen Merkmale, ist ein Teilschritt des Feature Engineering, ersetzt es aber nicht.

So funktioniert Feature Engineering

Wer Merkmale bilden will, legt zuerst einen Zeitpunkt fest. Denn erst wenn feststeht, wann die Vorhersage gebraucht wird, lässt sich sagen, welche Information ein Merkmal enthalten darf.

Vorab sind zwei Begriffe zu klären. Im Training lernt das Modell aus Daten der Vergangenheit. Im Test wird es an Daten geprüft, die es dabei nicht gesehen hat, und die Testkennzahl ist die Zahl, mit der ein Vorhaben später geplant wird.

SchrittWas passiertWas dabei herauskommt
1. Vorhersagezeitpunkt festlegenFachbereich und Data Scientists klären, wann die Vorhersage vorliegen muss und was dann bekannt istein Stichtag je Vorhersage, nach dem keine Information mehr verwendet werden darf
2. Fachwissen einsammelnerfahrene Mitarbeiter beschreiben, woran sie das Ereignis heute erkenneneine Liste von Merkmalskandidaten mit fachlicher Begründung
3. Merkmale bildenRohwerte werden über Zeitfenster zusammengefasst, gezählt oder ins Verhältnis gesetzteine Merkmalstabelle mit einer Zeile je Vorhersage
4. Auf Data Leakage prüfenjedes Merkmal wird daraufhin geprüft, ob es im Betrieb rechtzeitig vorliegt oder Wissen aus der Zukunft enthält (Data Leakage)eine bereinigte Liste und ein Testdatensatz, der zeitlich nach dem Training liegt
5. Auswählen (Feature Selection)Merkmale, die nichts erklären oder nur andere wiederholen, fallen wegein schlankes, erklärbares Modell
6. In die Datenpipeline überführendieselbe Verarbeitungsstrecke, also derselbe geprüfte Programmcode, erzeugt die Merkmale für Training und BetriebMerkmale, die im Betrieb genauso berechnet werden wie im Test

Wegen Schritt 2 lässt sich die Arbeit an den Merkmalen nicht vollständig einkaufen, denn das Wissen, woran man das Ereignis erkennt, liegt in Ihrem Haus. Schritt 4 wird leicht übersprungen, weil sein Fehlen an der Testkennzahl nicht auffällt.

Rechenbeispiel: Merkmale für 48 Anlagen und der Preis eines Leakage-Fehlers

Das folgende Beispiel ist eine Modellrechnung über ein fiktives Unternehmen aus unserer Produktionsserie und enthält keine Zahlen eines Kunden. Ein metallverarbeitender Betrieb fährt 48 Anlagen im Dreischichtbetrieb. Ungeplante Stillstände summieren sich auf 900 Stunden im Jahr, und jede Stunde kostet 750 Euro. Ein Modell soll den Ausfall im Median elf Tage vorher erkennen und dadurch 288 Stunden planbar machen, was 216.000 Euro im Jahr entspricht.

Aus den laufenden Messwerten der Anlagen werden Merkmale erst, wenn sie die Fragen beantworten, die ein erfahrener Instandhalter stellen würde:

RohdatumDaraus gebildetes MerkmalDie Frage des Instandhalters
VibrationTrend, Streuung und Zahl der Ausreißer je SchichtWird der Lauf von Schicht zu Schicht schlechter, oder wird er unruhiger, obwohl der Mittelwert noch unauffällig ist?
TemperaturTemperaturdrift je SchichtEntfernt sich die Anlage von ihrem eigenen Normalbereich?
StromaufnahmeTrend der StromaufnahmeSteigt der Strombedarf der Anlage mit der Zeit?
ZykluszeitenLastwechsel je SchichtWie stark wurde die Anlage beansprucht?
Fehlercodes der SteuerungZahl der Fehlercodes in den letzten 72 StundenHäufen sich die Meldungen?

Aus der Wartungshistorie entsteht kein Merkmal, sondern die Zielgröße, also das, was das Modell vorhersagen soll. Im Beispiel sind das die Lebensdauerabschnitte zwischen zwei Ausfällen.

Die Rechenoperationen dieser Tabelle, also Trend, Streuung und Zählung, sind einfach. Das Fachwissen steckt in der Frage, welche Größe über welches Zeitfenster etwas über den Verschleiß aussagt, und diese Frage kann nur die Instandhaltung beantworten.

Was ein Data-Leakage-Fehler kostet

Data Leakage, wörtlich Datenleck, hat mit Datenschutz nichts zu tun. Gemeint ist, dass ein Merkmal Information enthält, die zum Vorhersagezeitpunkt noch gar nicht vorliegen kann. Im Jahr 2023 fand eine Auswertung früherer Übersichten das Problem in mindestens 294 wissenschaftlichen Arbeiten aus 17 Fachgebieten [3].

Im Beispiel genügt für einen solchen Fehler ein falsch gesetztes Ende des Zeitfensters. Angenommen, die Vorhersage wird morgens zu Schichtbeginn gebraucht, das Merkmal „Fehlercodes in den letzten 72 Stunden" wird im Training aber aus dem vollständigen Tagesexport berechnet. Dann zählt es auch Meldungen mit, die erst im Lauf des Tages entstanden sind, an Ausfalltagen also die Meldungen des Ausfalls selbst. Im Test wirkt das Modell dadurch besser, als es ist, vor allem kurz vor einem Ausfall. Im Betrieb dagegen fehlen die Meldungen des laufenden Tages, und Warnungen, die sich im Test auf sie gestützt haben, kommen später oder gar nicht.

Wie viel einer Testkennzahl aus solcher Information stammen kann, haben wir an einem öffentlichen Wettbewerbsdatensatz mit rund 50.000 Sitzungen eines Online-Shops nachgerechnet. Mit den Warenkorb-Merkmalen vom Sitzungsende erreichte das Modell im Test eine AUC von 0,961, ohne sie 0,860. Die Differenz von gut 0,10 stammte also aus Information, die erst feststeht, wenn der Kunde sich schon entschieden hat. Für einen Eingriff während der Sitzung zählt die frühe Vorhersage nach der ersten Interaktion, und die lag bei 0,848. Alle drei Zahlen sind allerdings Testwerte an diesem einen Datensatz und geben keinen gemessenen Abstand zwischen Test und Betrieb wieder.

Wie viel Nutzen ein Leakage-Fehler im Betrieb kostet, lässt sich aus diesen drei Testwerten deshalb nicht ablesen. Der Verlust hängt davon ab, wie stark sich das Modell auf das verfälschte Merkmal stützt. In der folgenden Rechnung sind daher zwei Größen als Annahmen gesetzt, der im Betrieb erreichte Anteil und die Zeit bis zur Entdeckung:

GrößeWertHerkunft
Eingeplanter Jahresnutzen (288 Stunden × 750 Euro)216.000 EuroModellrechnung der Produktionsserie
Im Betrieb erreichter Anteil50 ProzentAnnahme
Zeit bis zur Entdeckung6 MonateAnnahme

Bei 50 Prozent werden im Jahr 144 statt 288 Stunden planbar. In sechs Monaten fehlen 72 Stunden zu je 750 Euro, also 54.000 Euro. In den Fällen der nächsten Tabelle ändern sich beide Annahmen zugleich.

FallErreichter AnteilEntdeckt nachFehlende StundenEntgangener Nutzen
günstig75 Prozent3 Monaten1813.500 Euro
mittel50 Prozent6 Monaten7254.000 Euro
ungünstig25 Prozent12 Monaten216162.000 Euro

Für Ihre eigene Überschlagsrechnung gilt:

Entgangener Nutzen bis zur Entdeckung = eingeplanter Jahresnutzen × (1 − im Betrieb erreichter Anteil) × Monate bis zur Entdeckung ÷ 12

Die Formel unterstellt, dass der Nutzen gleichmäßig über das Jahr anfällt, und sie endet mit der Entdeckung. Bis die Merkmale neu gebaut sind, läuft der Fehlbetrag weiter. Nicht enthalten sind außerdem der Aufwand für den Neubau, die Eingriffe nach falschen Warnungen und das Vertrauen der Instandhaltung in die nächste Prognose.

Teuer wird der Fehler, weil er unbemerkt bleibt. An der üblichen Testkennzahl ist er nicht zu erkennen, denn die Testdaten enthalten denselben Fehler. Sichtbar wird er, wenn jedes Merkmal für einen zurückliegenden Stichtag genau so nachgerechnet wird, wie der Betrieb es an diesem Tag berechnet hätte. Unterbleibt diese Nachrechnung, bemerkt ihn erst, wer Plan und Ist nebeneinanderlegt.

Wann sich Feature Engineering lohnt und wann nicht

Feature Engineering setzt Rohdaten mit verlässlichen Zeitstempeln voraus, einen klar benannten Vorhersagezeitpunkt und Fachleute, die für einige Gespräche zur Verfügung stehen.

Vier Fehlschlüsse liegen nahe:

  • Mehr Merkmale ergeben nicht von selbst ein besseres Modell. Jedes zusätzliche Merkmal muss gepflegt, geprüft und erklärt werden.
  • Ein stärkerer Algorithmus gleicht schwache Merkmale nicht aus. Fehlt die entscheidende Information in den Merkmalen, kann kein Verfahren sie hinzuerfinden.
  • Eine überraschend hohe Testkennzahl ist ein Verdachtsmoment. Data Leakage ist dann die erste Erklärung, die zu prüfen ist.
  • Automatische Verfahren ersetzen den Fachbereich nicht. Ob ein Merkmal zum Vorhersagezeitpunkt bekannt ist, weiß nur, wer den Prozess kennt. Ein Werkzeug sieht das den Daten nicht an.

Ob ein Team oder ein Anbieter die Arbeit an den Merkmalen ernst nimmt, lässt sich mit drei Fragen prüfen, für die Sie kein Fachwissen brauchen. Zu welchem Zeitpunkt wird die Vorhersage gebraucht, und was ist dann bekannt? Wer aus dem Fachbereich hat die Merkmale mit ausgewählt? Wie wurde geprüft, dass kein Merkmal Wissen aus der Zukunft enthält? Bleibt eine der Antworten vage, ist die Testkennzahl mit Vorsicht zu lesen.

Wir raten ab, wenn eine einfache Regel oder Kennzahl die Geschäftsfrage schon beantwortet, und ebenso, solange die Zielgröße in den Daten nicht vorkommt.

Feature Engineering im Data-Science-Prozess

Feature Engineering gehört zu Phase 3 von CRISP-DM, der Datenaufbereitung, und folgt dort auf die Datenbereinigung. Seine wichtigste Vorgabe stammt aus Phase 1, denn die Geschäftsfrage legt den Vorhersagezeitpunkt fest. Phase 5, die Modellvalidierung, ist die letzte Gelegenheit, Data Leakage vor dem Betrieb zu finden. In Phase 6 erzeugt dieselbe Datenpipeline die Merkmale für das laufende Modell.

Alle sechs CRISP-DM-Phasen im Überblick Phase 3: Datenaufbereitung Phase 5: Modellvalidierung

Häufige Fragen zu Feature Engineering

Was ist Feature Engineering in einem Satz?

Feature Engineering bildet aus Rohdaten Merkmale mit fachlicher Bedeutung, aus denen ein Modell lernen kann. Aus dem einzelnen Messwert einer Vibration wird zum Beispiel ihr Trend je Schicht. In diesen Merkmalen steckt das Fachwissen des Unternehmens, und deshalb gelingt die Arbeit nur gemeinsam mit dem Fachbereich.

Was ist der Unterschied zwischen Feature Engineering und Merkmalsextraktion?

Die Begriffe werden nicht einheitlich getrennt. In der Praxis hilft folgende Unterscheidung: Beim Feature Engineering legen Menschen fest, welche Merkmale fachlich sinnvoll sind, und bauen sie gezielt. Merkmalsextraktion überlässt das Ableiten einem Verfahren, das Merkmale aus Bildern, Texten oder Signalen selbst errechnet.

Was ist Data Leakage?

Von Data Leakage spricht man, wenn ein Merkmal Information enthält, die zum Vorhersagezeitpunkt noch nicht vorliegen kann. Das Modell schneidet dann im Test sehr gut ab und bleibt im Betrieb hinter der Zahl zurück, mit der geplant wurde. Dagegen hilft es, bei jedem Merkmal zu prüfen, zu welchem Zeitpunkt es bekannt ist.

Welche Daten braucht Feature Engineering?

Gebraucht werden Rohdaten mit verlässlichen Zeitstempeln, ein Schlüssel, über den sich die Quellen verbinden lassen, und eine Zielgröße, die in den Daten vorkommt, etwa datierte Ausfälle. Außerdem müssen die Daten weit genug zurückreichen, damit das Ereignis mehrfach darin vorkommt. Fehlen die Zeitstempel oder die Zielgröße, lassen sich Merkmale zwar bilden, aber nicht prüfen.

Wovon hängt der Aufwand für Feature Engineering ab?

Der Aufwand hängt von der Zahl der Datenquellen ab, vom Zustand ihrer Zeitstempel und Schlüssel und davon, wie gut die Fachleute verfügbar sind. Sollen mehrere Modelle dieselben Merkmale nutzen, kann eine zentrale Ablage hinzukommen, ein sogenannter Feature Store. Eine Zeitangabe gibt es deshalb erst nach einem Blick in die Daten.

Womit beginnt Feature Engineering in einem Projekt?

Es beginnt mit dem Fachbereich und mit den Fragen, zu welchem Zeitpunkt die Vorhersage gebraucht wird und woran erfahrene Mitarbeiter das Ereignis heute erkennen. Aus den Antworten entsteht die erste Liste von Merkmalen. Jedes davon wird anschließend daraufhin geprüft, ob es im Betrieb rechtzeitig vorliegt.

Quellen

  1. IBM: IBM SPSS Modeler CRISP-DM Guide, Kapitel 4 „Data Preparation", Abschnitte „Constructing New Data" und „Deriving Attributes", S. 21. https://www.ibm.com/docs/en/SS3RA7_18.5.0/pdf/ModelerCRISPDM.pdf
  2. Domingos, P. (2012): A Few Useful Things to Know About Machine Learning. Communications of the ACM 55 (10), S. 78-87, Abschnitt „Feature Engineering Is The Key". https://doi.org/10.1145/2347736.2347755
  3. Kapoor, S., Narayanan, A. (2023): Leakage and the reproducibility crisis in machine-learning-based science. Patterns 4 (9), 100804. https://doi.org/10.1016/j.patter.2023.100804

Klären Sie mit uns, welche Merkmale Ihre Frage braucht

Nennen Sie uns Ihre Geschäftsfrage und Ihre Datenquellen. Im Erstgespräch gehen wir mit Ihnen durch, wann die Vorhersage gebraucht wird, welche Merkmale dafür in Frage kommen und an welcher Stelle Wissen aus der Zukunft in die Daten geraten kann.

Kostenloses Erstgespräch buchen