Datenakquise:
Die richtigen Daten identifizieren und erschließen
Datenakquise ist Phase 2 des Data-Science-Prozesses: die richtigen Datenquellen finden, erschließen und ihre Qualität bewerten. Daten sind der Rohstoff jeder KI-Lösung.
Daten als strategisches Asset
Die Qualität Ihrer Daten bestimmt die Obergrenze dessen, was KI leisten kann.
Datenakquise ist die Beschaffung der Daten, die ein Data-Science-Projekt braucht: Die vorhandenen Datenquellen werden identifiziert, der Zugang wird geklärt, die Daten werden ein erstes Mal gesichtet und ihre Qualität wird bewertet. Im CRISP-DM-Prozess heißt diese Phase Data Understanding. Sie endet mit einem Dateninventar und einem Urteil, ob die Daten die Frage aus Phase 1 tragen.
Der Begriff hat zwei Bedeutungen. In der Messtechnik meint Datenakquise, englisch Data Acquisition oder DAQ, das Erfassen von Sensorsignalen an Maschinen und Anlagen. Diese Seite behandelt die zweite Bedeutung: die Datenbeschaffung für ein Analyse- oder Machine-Learning-Projekt. Die erste Frage lautet dabei selten, welche Daten neu erhoben werden müssen, sondern welche Daten Sie schon haben. Meist liegen sie in der Warenwirtschaft, im Shop, in der Maschinensteuerung und in den Tabellen der Fachabteilungen.
Dateninventar
Systematische Erfassung verfügbarer Datenquellen mit Relevanzbewertung.
Qualitätsanalyse
Bewertung auf Vollständigkeit, Konsistenz und Genauigkeit.
Zugangswege
Identifikation optimaler Wege für sichere Datenbereitstellung.
Datenquellen identifizieren: die vier Klassen im Mittelstand
Die Datenquellen eines Projekts im Mittelstand lassen sich in vier Klassen ordnen. Zu jeder gehört eine typische Falle, die in der ersten Sichtung auffallen sollte.
ERP und Warenwirtschaft
Aufträge, Abrufe, Bestände, Artikel- und Lieferantenstamm: die Auftrags- und Bestandshistorie, aus der Bedarfsprognosen entstehen, ohne neue Erfassung. Typische Falle: Die entscheidende Information steht im Bemerkungsfeld, etwa der Stornogrund oder die Sonderkondition, und muss erst in zählbare Kategorien übersetzt werden.
CRM, Shop und Web-Tracking
Kaufhistorie, Retouren, Sitzungen im Shop: die Quellen für Retouren-, Conversion- und Segmentierungsmodelle. Typische Falle: Derselbe Kunde steht im Vertrieb, in der Buchhaltung und im Shop unter drei Schreibweisen; ohne gemeinsamen Schlüssel lassen sich Kaufhistorie und Retouren nicht verbinden.
Maschinen- und Sensordaten
Steuerungen und Sensorik liefern Messwerte im Sekundentakt, oft seit Jahren aufgezeichnet und nie systematisch ausgewertet. Betriebsdatenerfassung (BDE) und Produktionsleitsystem (MES) steuern die organisatorische Schicht bei: Auftragsfortschritt, Stückzahlen, Stillstandsgründe. Typische Falle: Steuerung, Leitsystem und ERP protokollieren denselben Auftrag mit eigenen Uhren und eigenem Takt. Dazu kommen Lücken in Zeitreihen, wechselnde Einheiten und doppelte Auftragsnummern.
Prozessdatenerfassung: wo Maschinendaten herkommen und was sie taugen
Externe Daten
Wetter, Marktpreise, Feiertage, Geodaten und Satellitenbilder ergänzen die eigenen Daten dort, wo die Ursache außerhalb des Hauses liegt. Typische Falle: Externe Daten werden mit dem Stand von heute angebunden, den es zum Entscheidungszeitpunkt noch nicht gab. Und ohne dokumentierte Quelle und Version ist ein Ergebnis später nicht nachvollziehbar.
Datenqualität bewerten: sechs Kriterien und wie wir sie messen
Datenqualität ist der Grad, in dem ein Datensatz für einen bestimmten Zweck geeignet ist. Sie wird nicht pauschal, sondern entlang einzelner Kriterien bewertet: Vollständigkeit, Konsistenz, Genauigkeit, Aktualität, Eindeutigkeit und Historientiefe. Jedes Kriterium hat eine Messgröße und eine Schwelle, die vom Anwendungsfall abhängt; derselbe Datensatz kann für ein Reporting reichen und für eine Prognose nicht.
Fünf der sechs Kriterien messen wir mit unserem Datenqualitäts-Audit, das einen Datensatz in zehn Minuten gegen sieben Dimensionen prüft und je Dimension eine Ampel ausgibt; die Historientiefe prüfen wir gegen die Frage aus Phase 1. Die Schwellen sind Faustregeln, keine Norm.
| Kriterium | Frage | Messgröße | Schwelle (Faustregel) |
|---|---|---|---|
| Vollständigkeit | Sind die Pflichtfelder befüllt? | Fehlanteil je Spalte, nachdem Platzhalter wie „?" oder 9999 als Fehlwerte deklariert sind | Unter etwa 5 Prozent ohne Muster unkritisch; darüber oder bei systematischem Fehlen kritisch |
| Konsistenz | Sind Typen, Einheiten und Formate je Spalte einheitlich? | Typ-Drift innerhalb einer Spalte, Datum als Text, Dezimaltrennzeichen, Zeitzonen und Schlüssel zwischen Tabellen | Jede Abweichung wird deklariert; unerklärte Typ-Drift ist kritisch |
| Genauigkeit und Plausibilität | Sind die Werte fachlich möglich? | Ausreißer je numerischer Spalte nach Tukey (1,5-facher Interquartilsabstand) und 5 Sigma; fachliche Wertebereiche | Ausreißer werden gezählt und fachlich eingeordnet; sie sind ein Bereinigungsfall, kein Stopp-Grund |
| Aktualität | Wie aktuell und lückenlos ist die Zeitreihe? | Abstand des jüngsten Datenpunkts zum Stichtag; zeitliche Lücken größer als der dreifache Median-Schritt zwischen Beobachtungen | Jede Lücke braucht eine Erklärung (Wochenende, Feiertag, Ausfall); unerklärte Lücken sind kritisch |
| Eindeutigkeit | Ist jeder Vorgang genau einmal enthalten? | Duplikate auf der vollen Zeile und auf erklärten Schlüsselspalten | Technische Duplikate sind unkritisch, wenn sie zählbar sind; fachliche ohne Regel sind kritisch |
| Historientiefe | Deckt der Zeitraum die Frage ab? | Abgedeckter Zeitraum gegen Saisonalität und Prognosehorizont | Für Prognosen typischerweise 12 bis 24 Monate je nach Saisonalität und Granularität; deckt die Historie die Frage nicht ab, ist das ein Stopp-Grund |
Wie die Befunde bereinigt werden, steht in Phase 3.
Datenqualität im Überblick: Kriterien, Messung und Kosten im Ratgeber
Datenexploration: der erste Blick, bevor modelliert wird
Datenexploration in Phase 2 ist eine Eignungsprüfung, keine Analyse. Wir sehen uns die wichtigsten Spalten an: Verteilungen, fehlende Werte und die Frage, ob die Zielgröße überhaupt vorhanden ist. Die explorative Datenanalyse in Phase 4 geht danach tiefer: Sie sucht auf den aufbereiteten Daten nach Mustern, Zusammenhängen und Hypothesen für das Modell. Hier wird geprüft, dort wird gefragt.
Drei Befunde kehren in Projekten wieder:
- Die Zielgröße ist selbst die Lücke. Bei einer Lieferplattform fehlte die Kundenbewertung, die erklärt werden sollte, bei mehr als jeder dritten Bestellung.
- Die Spalte wirkt vollständig und ist es nicht. Im UCI-Adult-Datensatz gilt die Spalte Workclass als zu 100 Prozent gefüllt, bis das Fragezeichen als Fehlwert deklariert ist; dann zeigen sich 5,6 Prozent Lücken.
- Das stärkste Merkmal braucht Historie. In unserer Auswertung von 2,33 Millionen Bestellposten eines Modehändlers war die bisherige Retourenquote des Kunden das stärkste Signal für die nächste Retoure. Dieses Signal existiert nur für Kunden mit früheren Bestellungen; die Tiefe der Historie entscheidet also mit, welches Modell möglich ist.
Datenzugang und Datenschutz: wie Daten sicher zu uns kommen
Die Bewertung braucht Zugang zu den Daten, aber keinen Umzug. Wir arbeiten bevorzugt in Ihrer Infrastruktur; die Daten müssen Ihr Haus nicht verlassen. Drei Wege bieten wir an:
- Zugang in Ihrer Umgebung: Sie stellen eine virtuelle Maschine mit Kopien oder Auszügen der Daten bereit; wir erhalten zeitlich begrenzten Zugriff, danach können Sie die Maschine löschen.
- Analysepaket bei Ihnen: Wir liefern ein reproduzierbares Analysepaket als Container oder Skriptbündel; Ihr Team führt es aus, zurück kommen Berichte und Kennzahlen.
- Anonymisierte Auszüge: Für unkritische Daten reichen pseudonymisierte oder synthetisierte Auszüge. Ein Auszug muss typische Fälle, Ausnahmen und Zeiträume enthalten; zehn Zeilen aus Millionen reichen nur für die Formatprüfung.
Personenbezogene Daten verarbeiten wir nur, wenn sie für den Zweck erforderlich sind und eine Vereinbarung dazu vorliegt, wo möglich pseudonymisiert. Das entspricht der Zweckbindung und der Datenminimierung der DSGVO. Eine juristische Datenschutzberatung ersetzen wir damit nicht.
Als Einstieg bieten wir die Qualitätsbewertung aus dieser Phase als Data Quality Check zum Festpreis an.
Weiter zu Phase 3: DatenaufbereitungSchematischer Datenfluss: ERP/CRM, IoT-Sensoren, APIs und Open Data speisen eine Datenpipeline (ETL, ELT oder Streaming); das Ergebnis ist ein Datenkatalog, in dem jede Quelle profiliert, dokumentiert und qualitätsgesichert ist. Schema, keine Projektmessung.
Unser Vorgehen
Bestandsaufnahme
Wir erfassen und katalogisieren alle relevanten Datenquellen mit Metadaten.
Qualitätsbewertung
Prüfung auf fehlende Werte, Inkonsistenzen, Ausreißer und Schema-Konformität.
Erste Sichtung
Datenexploration: Verteilungen, Lücken und Zielgröße prüfen; die explorative Datenanalyse folgt in Phase 4.
Datenbereitstellung
Konzeption sicherer, reproduzierbarer Zugangswege.
Typische Ergebnisse
Häufige Fragen zur Datenakquise
Was bedeutet Datenakquise im Data-Science-Projekt?
Datenakquise ist Phase 2 des Data-Science-Prozesses, im CRISP-DM-Standard Data Understanding. Die vorhandenen Datenquellen werden identifiziert, der Zugang wird geklärt, die Daten werden gesichtet und ihre Qualität wird bewertet. Ergebnis sind ein Dateninventar mit Qualitätsurteil je Quelle und die Entscheidung, ob die Daten die Geschäftsfrage tragen.
Welche Datenquellen braucht ein Machine-Learning-Projekt mindestens?
Eine Quelle, in der die Zielgröße vorkommt, die das Modell vorhersagen soll, etwa die Retoure, der Ausfall oder die Bestellmenge. Dazu Merkmale, die zum Vorhersagezeitpunkt bekannt sind, und einen Schlüssel, der beide verbindet, etwa Auftragsnummer oder Kunden-ID. Fehlt eines davon, gibt es kein Modell, sondern nur eine Statistik.
Wie viel Datenhistorie ist nötig?
Für Prognosen typischerweise 12 bis 24 Monate, abhängig von Saisonalität und Granularität. Unsere Modellrechnungen mit Beispielunternehmen setzen für Verschleißprognosen mindestens sechs Monate Telematik- und Werkstatthistorie an, für Auftragsvolumen 24 Monate und für Retourengründe zwei Jahre Freitext-Kommentare; das sind Annahmen, keine Kundenwerte.
Wie bewertet man Datenqualität, bevor ein Modell gebaut wird?
Entlang einzelner Kriterien mit Messgröße und Schwelle: Vollständigkeit, Konsistenz, Genauigkeit, Aktualität, Eindeutigkeit und Historientiefe. Fünf davon prüft unser Audit in zehn Minuten mit einer Ampel je Dimension; die Historientiefe prüfen wir gegen die Frage. Entscheidend ist der Zweck: Derselbe Datensatz kann für ein Reporting reichen und für eine Prognose nicht.
Müssen wir Daten an myBytes übergeben, oder können sie im Haus bleiben?
Sie können im Haus bleiben. Wir arbeiten bevorzugt in Ihrer Infrastruktur, mit Kopien, Auszügen oder anonymisierten Daten, etwa auf einer virtuellen Maschine bei Ihnen oder mit einem Analysepaket für Ihr Team. Personenbezogene Daten verarbeiten wir nur, wenn sie für den Zweck erforderlich sind und eine Vereinbarung vorliegt.
Was ist der Unterschied zwischen Datenexploration und explorativer Datenanalyse?
Datenexploration in Phase 2 prüft die Eignung: Verteilungen der wichtigsten Spalten, Lücken, ob die Zielgröße vorhanden ist. Explorative Datenanalyse (EDA) in Phase 4 sucht auf den aufbereiteten Daten nach Mustern, Zusammenhängen und Hypothesen für das Modell. Die erste beantwortet, ob die Daten tragen; die zweite, welche Frage sie beantworten können.
Reichen unsere ERP-Daten, oder brauchen wir Maschinendaten?
Das hängt von der Frage ab. Bedarfs- und Bestandsprognosen entstehen aus der Auftrags-, Abruf- und Bestandshistorie im ERP, ohne neue Erfassung. Ausfall- oder Ausschussprognosen brauchen Sensor- und Wartungshistorie aus Steuerung oder Leitsystem. Neue Sensorik ist selten der erste Schritt; meist reicht, was Steuerungen, Betriebsdatenerfassung und ERP bereits aufzeichnen.
Lassen Sie uns über Ihr Projekt sprechen
Jedes Projekt ist einzigartig. Schildern Sie uns Ihre Herausforderung.
Kostenloses Erstgespräch buchen