Deep Learning: das Werkzeug für Bilder, Sprache und Sensorverläufe
Ein tiefes neuronales Netz ist ein Werkzeug, das sich an einer einfachen Referenz messen lassen muss, bevor ein Projekt darauf aufbaut.
Deep Learning: Definition und Abgrenzung
Deep Learning ist ein Teilgebiet des maschinellen Lernens, in dem künstliche neuronale Netze mit vielen hintereinandergeschalteten Schichten aus Rohdaten selbst lernen, welche Merkmale für eine Aufgabe zählen [1]. „Deep" bezieht sich auf die Zahl dieser Schichten. Jede Schicht macht die Darstellung der Daten ein Stück abstrakter, bei einem Foto etwa von Kanten über Muster bis zu ganzen Objekten [1]. Solche Modelle heißen deshalb auch tiefe neuronale Netze.
Neu ist die Idee allerdings nicht. Das Interesse an tiefen Netzen lebte nach der Darstellung von LeCun, Bengio und Hinton um 2006 wieder auf [1]. 2012 schnitt ein tiefes Convolutional Neural Network mit 60 Millionen Parametern, also Zahlenwerten, die ein Netz beim Training anpasst, nach Angabe seiner Autoren deutlich besser ab als die bis dahin besten Verfahren der Bilderkennung [2].
Abzugrenzen sind vor allem zwei Begriffe:
- Machine Learning ist der Oberbegriff. Klassische Verfahren wie lineare Modelle oder Entscheidungsbäume können Rohdaten wie Pixel kaum direkt verarbeiten und brauchen Merkmale, die ein Mensch daraus abgeleitet hat [1]. Ein tiefes Netz lernt diese Merkmale dagegen selbst.
- Neuronale Netze sind die Bauform. Ein Netz mit nur einer Zwischenschicht gilt noch nicht als tiefes, sondern als flaches Netz.
Wie sich Deep Learning zu künstlicher Intelligenz, generativer KI und großen Sprachmodellen verhält, zeigt unsere Übersicht.
KI-Technologien im Überblick: von der Statistik bis zur generativen KIAuf Bilder sind Convolutional Neural Networks (CNN) zugeschnitten. Für Abfolgen wie Text und Sprache waren es lange rekurrente Netze [1], zu denen auch das LSTM gehört, das sich frühere Eingaben merkt. 2017 folgte für Text die Transformer-Architektur [5].
So funktioniert Deep Learning
Ein Projekt mit einem tiefen neuronalen Netz besteht aus sechs Schritten, von denen nur zwei das Netz selbst betreffen. Die übrigen gelten den Daten und der Prüfung.
| Schritt | Was passiert | Was dabei herauskommt |
|---|---|---|
| 1. Beispiele beschriften | Beispiele bekommen die richtige Antwort, etwa „Teil fehlerhaft" | Lernmaterial |
| 2. Referenz rechnen | ein einfaches Verfahren wird auf denselben Daten gemessen | die Messlatte für das Netz |
| 3. Bauform wählen | CNN für Bilder, LSTM für Verläufe, dazu die Größe des Netzes | eine passende Architektur |
| 4. Trainieren | das Netz sieht die Beispiele wiederholt und passt nach jedem Fehler seine Parameter an [1] | ein trainiertes Modell |
| 5. Getrennt prüfen | Messung an ungesehenen Beispielen mit der maßgeblichen Kennzahl | der Vergleich mit der Referenz |
| 6. Sichtbar machen und betreiben | GradCAM++ zeigt, wohin das Netz schaut. Im Betrieb wird laufend gemessen, wie viele Fehler es findet | ein Modell, das der Fachbereich nachprüfen kann |
Wie diese Schritte an echten Daten aussehen, zeigt unsere Forschungsarbeit zur Malaria-Erkennung, die als Abschlussprojekt (Capstone) im Applied AI and Data Science Program der MIT Professional Education entstanden ist. Elf Modellvarianten wurden an 24.958 Bildern von Blutzellen entwickelt. Die Bilder wurden im Verhältnis 80 zu 20 geteilt, sodass rund 20.000 zum Lernen dienten und der Rest zur Kontrolle während der Entwicklung. Verglichen wurden die Modellvarianten auf 2.600 weiteren, strikt getrennten Testbildern. Der vollständige, ausgeführte Code liegt im Companion-Repository.
Malaria-Erkennung mit Deep Learning: elf Modellvarianten im VergleichFür Sensordaten rechnet unsere Produktionsserie einen Modellfall an einem fiktiven Fertigungsbetrieb durch. Dort soll ein LSTM im Sensorverlauf die Auffälligkeit erkennen, die einem Maschinenausfall vorausgeht.
Produktionsserie: der Modellfall zur vorausschauenden WartungRechenbeispiel: Deep Learning gegen eine einfache Referenz
Das folgende Beispiel ist eine Modellrechnung für ein fiktives Unternehmen und beruht nicht auf Zahlen eines Kunden. Ein Zulieferer prüft seine Teile am Bandende per Kamera mit festen Regeln und erwägt, dafür ein tiefes neuronales Netz einzusetzen. Maßstab ist die Erkennungsquote, also der Anteil der fehlerhaften Teile, den die Prüfung findet (statistisch: Sensitivität).
| Annahme | Wert |
|---|---|
| Geprüfte Teile im Jahr | 2.000.000 |
| Anteil fehlerhafter Teile | 1,5 Prozent, also 30.000 fehlerhafte Teile |
| Erkennungsquote der regelbasierten Referenz | 90 Prozent |
| Erkennungsquote des tiefen Netzes | 97 Prozent |
| Folgekosten je übersehenem Fehlerteil (Reklamation, Ersatz) | 40 Euro |
| Laufender Mehraufwand des Netzes im Jahr für Beschriftung, Rechenleistung, Nachtraining und Überwachung (Annahme dieser Modellrechnung, kein Preis) | 60.000 Euro |
Die Referenz übersieht 3.000 der 30.000 fehlerhaften Teile, das Netz 900. Der Vorsprung von 7 Prozentpunkten entspricht 2.100 Teilen und damit 84.000 Euro Mehrnutzen im Jahr. Nach Abzug des laufenden Mehraufwands bleibt ein Jahressaldo von 24.000 Euro, in dem der einmalige Entwicklungsaufwand noch nicht berücksichtigt ist.
Von den Größen dieser Rechnung ist der Vorsprung die einzige, die sich erst im Projekt messen lässt. In der folgenden Tabelle ändert sich deshalb nur dieser Wert:
| Szenario | Vorsprung des Netzes | Zusätzlich erkannte Teile | Mehrnutzen im Jahr | Jahressaldo vor Einmalaufwand |
|---|---|---|---|---|
| vorsichtig | 2 Prozentpunkte | 600 | 24.000 Euro | −36.000 Euro |
| Modellrechnung | 7 Prozentpunkte | 2.100 | 84.000 Euro | 24.000 Euro |
| günstig | 9 Prozentpunkte | 2.700 | 108.000 Euro | 48.000 Euro |
Für Ihre eigene Überschlagsrechnung gilt:
Jahressaldo = fehlerhafte Fälle im Jahr × Vorsprung der Erkennungsquote × Kosten je übersehenem Fall − laufender Mehraufwand im Jahr
Mit fehlerhaften Fällen sind die tatsächlich fehlerhaften Teile gemeint, im Beispiel also 30.000 und nicht die 2.000.000 geprüften. Drei der Größen kennen Sie vor Projektbeginn: die fehlerhaften Fälle, die Kosten je übersehenem Fall und den Mehraufwand, den Sie tragen wollen. Daraus folgt der Vorsprung, den ein tiefes Netz mindestens erreichen muss:
Nötiger Vorsprung = laufender Mehraufwand im Jahr ÷ (fehlerhafte Fälle im Jahr × Kosten je übersehenem Fall)
Im Beispiel sind das 60.000 ÷ (30.000 × 40) = 0,05, also 5 Prozentpunkte. In die erste Formel setzen Sie den Vorsprung entsprechend als Anteil ein, 7 Prozentpunkte also als 0,07. Erreicht das Netz weniger als 5 Prozentpunkte, ist in dieser Rechnung die einfache Referenz die wirtschaftlichere Lösung.
Wie klein ein Vorsprung ausfallen kann, zeigt unsere Malaria-Arbeit, in der allerdings nur neuronale Netze miteinander verglichen werden. Von 1.300 infizierten Testzellen übersah das kleinste Netz, dessen Größe die Arbeit nennt, 7 Infektionen, das gewählte Netz 3. Weil es nach diesem Ergebnis auf demselben Testset gewählt wurde, fällt sein Wert eher zu günstig aus. Der Unterschied von vier Fällen entspricht rund 0,3 Prozentpunkten Erkennungsquote. Im Prüffall oben läge dieser Abstand weit unter der Schwelle von 5 Prozentpunkten. In der Diagnostik, wo eine übersehene Infektion ungleich teurer ist als ein Fehlalarm, kann er dagegen den Ausschlag geben.
Zwei Posten stehen bewusst nicht in der Formel. Der erste sind die Fehlalarme, denn auch zu Unrecht aussortierte Teile kosten Geld. Der zweite ist der einmalige Aufwand für die Entwicklung, der geteilt durch den Jahressaldo die Amortisationszeit in Jahren ergibt.
Wann sich Deep Learning lohnt und wann nicht
Deep Learning lohnt sich vor allem dort, wo die Daten nicht als Tabelle vorliegen, und nur unter zwei weiteren Bedingungen. Bei Bildern, Sprache und Sensorverläufen steckt die Information in Mustern, die sich schlecht von Hand beschreiben lassen. Zudem müssen genug Beispiele mit bekannter Antwort vorliegen, und ein übersehener Fall muss so teuer sein, dass er den Mehraufwand rechtfertigt.
Dazu kommen Voraussetzungen im Betrieb. Jemand aus dem Fachbereich muss die Beispiele verlässlich beschriften und über Zweifelsfälle entscheiden. Außerdem muss jemand das Modell überwachen und es nachtrainieren lassen, wenn sich Teile oder Kameras ändern. Fehlt eines von beiden, hilft auch ein gutes Netz nicht weiter.
Auf Tabellen mittlerer Größe lagen lange Baum-Ensembles wie Gradient Boosting vorn, die viele Entscheidungsbäume kombinieren. In einer Vergleichsstudie (Benchmark) von 2022 über 45 Datensätze schlugen sie tiefe Netze bei rund 10.000 Beobachtungen und waren zudem schneller trainiert [3]. 2025 stellte eine Forschergruppe um Noah Hollmann ein vortrainiertes tiefes Netz für Tabellendaten vor, das nach eigener Messung auf Datensätzen bis 10.000 Zeilen alle bisherigen Verfahren übertraf [4]. Für Ihre Entscheidung zählt deshalb nicht die Familie des Verfahrens, sondern der Vergleich an Ihren eigenen Daten gegen eine einfache Referenz. Für die Entscheidungen beider Verfahrensfamilien gibt es eingeführte Erklärverfahren.
Erklärbare KI: Entscheidungen eines Modells nachvollziehenVier Fehlschlüsse liegen nahe. Drei davon lassen sich an unserer Malaria-Arbeit zeigen:
- Fehlschluss 1: Das größere Netz ist das bessere. Ein an Fotos vortrainiertes Standardnetz (VGG16) mit 14,7 Millionen Parametern erreichte 97,62 Prozent Genauigkeit (Anteil richtiger Entscheidungen), unser kompaktes Modell mit rund 724.000 Parametern 98,85 Prozent. Die Arbeit nennt drei Ursachen: das Auswendiglernen der rund 20.000 Trainingsbilder (Overfitting), den Wechsel von Fotos zu Mikroskopbildern und das Vergrößern der Zellbilder von rund 130 auf 224 Bildpunkte.
- Fehlschluss 2: Die höchste Genauigkeit zeigt das beste Modell. Eine Variante lag mit 98,88 Prozent vorn, übersah aber 12 Infektionen. Gewählt wurde das Modell mit 98,85 Prozent, das nur 3 übersah.
- Fehlschluss 3: Ein gutes Testergebnis bedeutet Einsatzreife. Unser Modell wurde auf einem einzigen öffentlichen Datensatz trainiert und braucht vor jedem realen Einsatz eine externe Validierung an mehreren Standorten.
- Fehlschluss 4: Eine hohe Kennzahl spricht für sich. Erst der Vergleich mit dem einfachen Verfahren zeigt, was das Netz zusätzlich leistet.
Wir raten von Deep Learning ab, wenn die Daten als Tabelle vorliegen und ein Baum-Ensemble die Aufgabe im Vergleich ebenso gut löst, wenn nur wenige beschriftete Beispiele existieren und kein vortrainiertes Modell zur Aufgabe passt oder wenn jede einzelne Entscheidung für Dritte nachvollziehbar begründet werden muss. Wir trainieren kein neuronales Netz, wo ein lineares Modell schneller bessere Ergebnisse liefert.
Deep Learning im Data-Science-Prozess
Im Vorgehensmodell CRISP-DM mit seinen sechs Phasen fällt die Wahl für oder gegen ein tiefes Netz in der Modellierung, die wir in Phase 4 mit der explorativen Datenanalyse behandeln. Dort steht vor dem ersten Modell die Baseline, also die einfachste denkbare Vorhersage. Ein Modell, das diese Referenz nicht schlägt, ist kein Modell. Die Kennzahl dafür vereinbaren wir schon mit den Erfolgskriterien in Phase 1. In Phase 5 wird das Modell an dieser Kennzahl geprüft, und zwar auf Daten, die es nie gesehen hat.
Fragen Sie deshalb jeden Anbieter, auch uns, gegen welche einfache Referenz und an welcher Kennzahl er misst. Einen seriösen Anbieter erkennen Sie daran, dass er beide Antworten vorlegt, bevor er über die Architektur des Netzes spricht.
Alle sechs CRISP-DM-Phasen im Überblick Phase 4: Explorative Datenanalyse und Modellierung Phase 5: ModellvalidierungHäufige Fragen zu Deep Learning
Was ist Deep Learning einfach erklärt?
Deep Learning ist maschinelles Lernen mit tiefen neuronalen Netzen. Das Netz bekommt Rohdaten wie Bilder oder Sensorverläufe samt der richtigen Antwort und lernt in vielen Schichten selbst, woran es die Antwort erkennt. Niemand muss ihm sagen, auf welche Kanten oder Schwingungen es achten soll.
Deep Learning vs Machine Learning: Worin liegt der Unterschied?
Machine Learning ist der Oberbegriff, Deep Learning ein Teilgebiet davon. Klassische Verfahren arbeiten mit Merkmalen, die ein Mensch aus den Rohdaten abgeleitet hat, und eignen sich gut für Tabellen. Ein eigens trainiertes tiefes Netz lernt die Merkmale selbst und braucht dafür in der Regel mehr Beispiele und mehr Rechenleistung.
Wie viele Daten braucht Deep Learning?
Eine feste Untergrenze gibt es nicht, denn der Bedarf hängt von der Aufgabe und der Größe des Netzes ab. Auf rund 20.000 Trainingsbildern schnitt ein vortrainiertes Netz mit 14,7 Millionen Parametern schlechter ab als unser kompaktes Modell, auch weil es die Bilder auswendig lernte. Wenige Beispiele sprechen gegen ein großes, eigens trainiertes Netz. Ob sich dann ein vortrainiertes Modell oder ein klassisches Verfahren eignet, zeigt erst der Vergleich mit einer einfachen Referenz.
Was kostet Deep Learning und wann rechnet es sich?
Drei Zahlen kennen Sie vorab: die fehlerhaften Fälle im Jahr, die Kosten je übersehenem Fall und den laufenden Mehraufwand. Der Mehraufwand, geteilt durch das Produkt der beiden anderen, ergibt den Vorsprung, den ein tiefes Netz gegenüber einer einfachen Referenz mindestens braucht. Liegt der erreichte Vorsprung darunter, ist in dieser Rechnung das einfachere Verfahren die bessere Wahl.
Wie lange dauert ein Deep-Learning-Projekt?
Eine seriöse Zahl gibt es erst nach dem Blick in die Daten. Die Dauer wird weniger vom Training bestimmt als von zwei Vorarbeiten: Liegen genug verlässlich beschriftete Beispiele vor, und gibt es eine Referenz, gegen die gemessen wird? Fehlt die Beschriftung, bestimmt deren Aufbau den Zeitplan.
Womit beginnt ein Deep-Learning-Projekt?
Mit der Frage, was Sie ein übersehener Fall kostet, und mit einer einfachen Referenz auf Ihren vorhandenen Daten. Erst wenn die Referenz gemessen ist, lässt sich sagen, welcher Vorsprung nötig wäre und ob ein tiefes Netz ihn voraussichtlich erreicht. Manchmal zeigt schon diese Messung, dass das einfache Verfahren genügt.
Quellen
- LeCun, Y., Bengio, Y., Hinton, G. (2015): Deep learning. Nature 521 (7553), S. 436-444. DOI 10.1038/nature14539. https://www.nature.com/articles/nature14539
- Krizhevsky, A., Sutskever, I., Hinton, G. E. (2012): ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NIPS 2012). https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html
- Grinsztajn, L., Oyallon, E., Varoquaux, G. (2022): Why do tree-based models still outperform deep learning on typical tabular data? Advances in Neural Information Processing Systems 35 (NeurIPS 2022), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2022/hash/0378c7692da36807bdec87ab043cdadc-Abstract-Datasets_and_Benchmarks.html
- Hollmann, N., Müller, S., Purucker, L., Krishnakumar, A., Körfer, M., Hoo, S. B., Schirrmeister, R. T., Hutter, F. (2025): Accurate predictions on small data with a tabular foundation model. Nature 637 (8045), S. 319-326. https://doi.org/10.1038/s41586-024-08328-6
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., Polosukhin, I. (2017): Attention Is All You Need. arXiv:1706.03762. https://arxiv.org/abs/1706.03762
Prüfen Sie mit uns, ob Ihr Fall ein tiefes Netz braucht
Drei Zahlen aus Ihrem Betrieb genügen für eine erste Einschätzung, welchen Vorsprung ein tiefes Netz bei Ihnen erreichen müsste.
Kostenloses Erstgespräch buchen