Explorative Datenanalyse:
Aus Daten werden intelligente Modelle

Explorative Datenanalyse, kurz EDA, ist das systematische Ansehen eines Datensatzes vor der Modellierung: Verteilungen, Zusammenhänge, Ausreißer und Lücken werden sichtbar gemacht, bevor ein Modell die Frage beantworten soll. Sie sehen den Datensatz an, bevor Sie ihm die Frage stellen. Der Begriff stammt von John W. Tukey, der 1977 in seinem Buch „Exploratory Data Analysis" die Haltung dahinter beschrieben hat: erst schauen, dann rechnen; Grafiken vor Hypothesentests, der Median vor dem Mittelwert, wenn die Verteilung schief ist, und die Bereitschaft, den Datensatz so zu nehmen, wie er ist.

Drei Disziplinen werden dabei regelmäßig verwechselt:

Zwei Abgrenzungen sind für Ihr Projekt wichtig. Erstens die zu Phase 2: In der Datenakquise prüfen wir per Datenexploration, ob ein Datensatz überhaupt trägt. In Phase 4 steht fest, dass die Daten tragen; jetzt geht es darum, welche Frage sie beantworten können. Zweitens die zur Inferenz: Ein Muster, das in der explorativen Datenanalyse auffällt, ist eine Hypothese und kein Beweis. Ob es hält, entscheidet erst die Validierung auf Daten, die das Modell nie gesehen hat.

Ein Händler bespielt Web, Katalog und Filiale mit Kampagnen für sechs Produktkategorien und erreicht Akzeptanzquoten von 1 bis 15 Prozent, weil jeder Kunde gleich behandelt wird. Der Datensatz: 2.240 Kunden mit 26 Merkmalen, darunter Demografie, Ausgaben je Kategorie, Kanalverhalten und die Reaktion auf fünf Kampagnen. Es gibt kein Ziellabel. Ein Modell soll Struktur finden, nicht vorhersagen. Bevor ein Verfahren gewählt wird, muss deshalb klar sein, welche Merkmale überhaupt Verhalten beschreiben und welche nur die Person.

Zuerst die explorative Datenanalyse. Beim Einkommen fehlten Werte, sie wurden durch den Median ersetzt; ein Extrem-Ausreißer wurde entfernt, 2.232 Kunden blieben. Drei Befunde trugen die weitere Arbeit:

1. Das Einkommen ist der stärkste Ausgabentreiber.
2. Wein und Fleisch machen rund 75 Prozent der Ausgaben aus.
3. Kinder im Haushalt senken die Premium-Ausgaben deutlich.

Was daraus für das Modell folgte: Ins Clustering gingen 17 Verhaltensmerkmale, die Demografie diente nur der Profilbildung. Fünf Verfahren traten gegeneinander an; gewählt wurde nicht das mit der höchsten Kennzahl, sondern das, dessen drei Segmente zwei weitere Verfahren reproduzierten. Die Hypothese aus der explorativen Datenanalyse, dass das Verhalten die Kunden trennt und nicht die Demografie, wurde so zur Entscheidung über das Modell. Welche Segmente das sind und was die Kampagnenrechnung darauf aufbaut, steht im Artikel.

Jedes Modelltraining beginnt mit der Aufteilung der Daten in drei Teile: Trainingsdaten, aus denen das Modell lernt, Validierungsdaten, an denen die Hyperparameter gewählt werden, und Testdaten, die genau einmal am Ende angefasst werden. Der Schnitt muss der Wirklichkeit folgen. Bei Sitzungsdaten teilen wir entlang der Sitzung, im Conversion-Beispiel die älteren 80 Prozent der Sitzungen ins Training und die neueren 20 Prozent in den Test; bei Zeitreihen teilen wir entlang der Zeit. Wer Zeilen zufällig verteilt, hat dieselbe Sitzung auf beiden Seiten, und das Modell lernt die Antwort auswendig. Warum die Testdaten bis zum Schluss unberührt bleiben, erklärt der Train-Test-Split in Phase 5.

Hyperparameter sind die Einstellungen, die ein Modell nicht selbst lernt: die Tiefe eines Baums, die Lernrate, die Stärke der Regularisierung. Grid Search probiert alle Kombinationen eines vorgegebenen Rasters aus. Random Search zieht zufällige Kombinationen und findet gute Bereiche schneller. Bayessche Optimierung nutzt die bisherigen Läufe, um den nächsten Versuch gezielt zu wählen. Der Gewinn fällt in unseren Beispielen bescheiden aus und ist trotzdem messbar: Auf den Amazon-Daten senkte Grid Search den mittleren Vorhersagefehler (RMSE) eines nachbarschaftsbasierten Verfahrens von 1,0012 auf 0,9527 und den der Matrix-Faktorisierung von 0,8882 auf 0,8822.

Ob ein Modell auswendig gelernt hat, zeigt der Vergleich der Datenteile: Beim Boston-Modell lag das Bestimmtheitsmaß R² auf den Testdaten (0,7725) minimal über dem Trainingswert (0,7672). Wie die Kreuzvalidierung dieses Bild präzisiert, gehört in Phase 5.

Je Lauf protokollieren wir, was ein Dritter zur Wiederholung braucht: Datenversion, Zufalls-Seed, Aufteilung, Parameter, Metriken je Datenteil und Code-Stand. In der Experiment-Dokumentation steht deshalb nicht nur, dass Lauf 14 besser war als Lauf 13, sondern warum, und ob der Unterschied die Streuung zwischen den Datenteilen überhaupt übersteigt. Mit dieser Dokumentation geht das Modell in Phase 5, wo es sich gegen Ihre Geschäftskriterien beweisen muss.