Technik · Bilddaten

Computer Vision: aus Bildern eine Entscheidung machen, die sich nachrechnen lässt

Ob sich eine Bildprüfung rechnet, hängt von zwei Fehlerarten zugleich ab: von den übersehenen Fehlteilen und von den zu Unrecht verworfenen Gutteilen.

Computer Vision: Definition und Abgrenzung

Computer Vision verstehen wir als Teilgebiet der Informatik und der künstlichen Intelligenz, das Bildern und Videos Informationen entnimmt, auf die sich eine Entscheidung stützen lässt. In der Praxis geht es zum Beispiel um die Frage, ob ein Bauteil einen Kratzer hat oder wie sich eine Fläche zwischen zwei Satellitenaufnahmen verändert hat.

Schon 1966 beschrieb Seymour Papert am MIT ein Sommerprojekt, das die Objekte in einem Kamerabild benennen sollte [1]. Einen Sprung machten tiefe neuronale Netze 2012, als Krizhevsky, Sutskever und Hinton eines mit rund 1,2 Millionen Bildern auf 1.000 Klassen trainierten und damit den damaligen Stand der Technik deutlich übertrafen [2]. Ein solches Convolutional Neural Network (CNN) tastet ein Bild mit vielen kleinen Filtern ab und lernt selbst, auf welche Muster es ankommt [2].

Mit dem Oberbegriff werden vor allem drei Begriffe verwechselt:

  • Bildverarbeitung im klassischen Sinn gehört zum selben Feld, arbeitet aber mit festen Regeln statt mit gelernten Mustern und vergleicht einen Messwert, etwa einen Abstand, mit einem Grenzwert.
  • Bilderkennung ist eine Teilaufgabe und ordnet ein ganzes Bild einer Klasse zu, etwa „Gutteil" oder „Fehlteil".
  • Objekterkennung liefert zusätzlich den Ort und markiert jeden Gegenstand im Bild mit einem Rahmen.

Hinzu kommen die Segmentierung, die jeden Bildpunkt einem Gegenstand zuordnet und so die Fläche einer Fehlstelle ausmisst, und die Texterkennung (OCR), die etwa ein Typenschild oder einen Lieferschein liest. Die genannten Aufgaben stellen sich auch in Handel und Logistik. Dort zählt eine Objekterkennung zum Beispiel die Packstücke auf einer Palette.

So funktioniert Computer Vision

Ein Vorhaben mit Bilddaten besteht aus sechs Schritten, von denen nur einer das Modell selbst betrifft.

SchrittWas passiertWas dabei herauskommt
1. Aufgabe festlegenFachleute beschreiben, welche Fehlerbilder zählen und was ein übersehener Fehler und ein Fehlalarm kostenein Fehlerkatalog mit Kosten je Fehlerart
2. Bilder aufnehmenKamera und Beleuchtung werden so eingerichtet, dass jedes Teil unter gleichen Bedingungen fotografiert wirdBilder, auf denen ein Mensch den Fehler sieht
3. Beispiele beschriftenFachleute ordnen jedem Bild eine Klasse zu oder markieren die Fehlstelle. Diese Zuordnung heißt Label.Bilder mit richtiger Antwort
4. Modell trainierenein neuronales Netz, zum Beispiel ein CNN, lernt, welche Bildmuster zu welcher Klasse gehörenein Modell, das je Bild eine Wahrscheinlichkeit ausgibt
5. Getrennt prüfendas Modell bewertet Bilder, die es im Training nie gesehen hat, und wird mit dem bisherigen Prüfverfahren verglichenübersehene Fehler und Fehlalarme, einzeln ausgewiesen
6. Einbinden und überwachendie Entscheidung steuert eine Ausschleusung oder Nachprüfung, und beide Fehlerquoten werden laufend gemessenein Prüfschritt, dessen Fehlerquoten auch nach einem Material- oder Werkzeugwechsel bekannt sind

Was Schritt 5 leistet, zeigt unsere Arbeit zur Malaria-Erkennung. Grundlage sind 27.558 Mikroskopbilder einzelner Blutzellen. Davon wurden 24.958 für Training und Validierung verwendet, geprüft wurde auf einem strikt getrennten Testset von 2.600 Bildern mit je 1.300 infizierten und gesunden Zellen. Die höchste Genauigkeit, also den größten Anteil richtiger Entscheidungen, erreichte eine Variante mit 98,88 Prozent, die aber 12 von 1.300 Infektionen übersah. Gewählt wurde ein Modell mit 98,85 Prozent, das nur 3 übersah, denn eine übersehene Infektion ist der teurere Fehler.

Dieselbe Arbeit benennt auch ihre Grenze. Das Modell wurde auf einem einzigen öffentlichen Datensatz trainiert und braucht vor jedem realen Einsatz eine externe Validierung an mehreren Standorten. Als Faustregel leiten wir daraus ab, dass eine Bildauswertung so weit verlässlich ist, wie die Aufgabe eng gefasst ist und die Bilder im Betrieb denen aus dem Training gleichen.

Malaria-Erkennung mit Deep Learning: elf Modellvarianten im Vergleich

Rechenbeispiel: Schlupf und Pseudoausschuss in der visuellen Qualitätskontrolle

Das folgende Beispiel ist eine Modellrechnung für das fiktive Unternehmen unserer Produktionsserie und enthält keine Kundenzahlen. Der metallverarbeitende Betrieb setzt im Jahr Material für 24 Millionen Euro ein, bei einer Ausschussquote von 4,5 Prozent. Die Stückzahl, die Folgekosten und die Prüfquoten sind Annahmen dieser Seite.

Jede visuelle Qualitätskontrolle, ob durch Menschen oder durch eine Kamera, macht zwei Arten von Fehlern. Schlupf heißen die Fehlteile, die unerkannt zum Kunden gehen, Pseudoausschuss die Gutteile, die zu Unrecht aussortiert werden.

AnnahmeWert
Materialeinsatz im Jahr (Serie)24.000.000 Euro
Ausschussquote, also aussortierter Anteil (Serie)4,5 Prozent
Geprüfte Teile im Jahr1.200.000
Materialkosten je Teil20 Euro
Aussortierte Teile im Jahr54.000
Schlupf der Sichtprüfung heute5 Prozent der Fehlteile
Pseudoausschuss der Sichtprüfung heute1 Prozent der Gutteile
Fehlteile im Jahr (hergeleitet, gerundet)44.681 oder 3,72 Prozent
Gutteile im Jahr (gerundet)1.155.319
Folgekosten je durchgerutschtem Fehlteil (Reklamation und Ersatzlieferung)120 Euro

In unserer Produktionsserie misst die Ausschussquote, was die Prüfung aussortiert. Wie viele Teile tatsächlich fehlerhaft sind, geht aus ihr nicht hervor. In den 54.000 aussortierten Teilen stecken 95 Prozent der Fehlteile und 1 Prozent der Gutteile. Unter diesen Annahmen geht die Summe nur auf, wenn 3,72 Prozent aller Teile fehlerhaft sind: 42.447 erkannte Fehlteile plus 11.553 verworfene Gutteile.

Heute rutschen demnach 2.234 Fehlteile durch und kosten 268.085 Euro, und das Material der 11.553 verworfenen Gutteile ist 231.064 Euro wert. Zusammen kosten die Prüffehler 499.149 Euro im Jahr, gerechnet mit den ungerundeten Stückzahlen.

Wie viel ein Kamerasystem davon einspart, hängt von beiden Quoten zugleich ab.

SzenarioSchlupfPseudoausschussKosten der PrüffehlerErgebnis gegenüber heute, vor Systemkosten
vorsichtig4 Prozent2 Prozent676.596 Euro177.447 Euro Mehrkosten
mittel2 Prozent1 Prozent338.298 Euro160.851 Euro Ersparnis
günstig1 Prozent0,5 Prozent169.149 Euro330.000 Euro Ersparnis

Beide Quoten werden über dieselbe Größe eingestellt. Das Modell gibt für jedes Teil eine Wahrscheinlichkeit aus, und eine Entscheidungsschwelle legt fest, ab welchem Wert das Teil ausgeschleust wird. Eine strenge Schwelle senkt den Schlupf und erhöht den Pseudoausschuss, eine lockere bewirkt das Gegenteil.

Das vorsichtige Szenario zeigt ein streng eingestelltes System. Es findet 96 statt 95 Prozent der Fehlteile und ist trotzdem teurer als die Sichtprüfung, weil es doppelt so viele Gutteile verwirft und auf ein Fehlteil knapp 26 Gutteile kommen. Ein Prozentpunkt Pseudoausschuss kostet in diesem Betrieb 231.064 Euro, ein Prozentpunkt Schlupf 53.617 Euro. Bei 4 Prozent Schlupf spart das System deshalb erst dann Prüffehlerkosten, wenn der Pseudoausschuss unter rund 1,23 Prozent bleibt. Diese Grenze lässt sich für jeden Betrieb ausrechnen, bevor das erste Angebot vorliegt.

Über den Nutzen sagt die Genauigkeit allein wenig aus. Ein System, das jedes Teil durchwinkt, entscheidet hier in 96,3 Prozent der Fälle richtig und findet keinen einzigen Fehler. Belastbar ist erst das Zahlenpaar aus Schlupf und Pseudoausschuss, wenn es mit den Kosten des eigenen Betriebs bewertet wird.

Für Ihre Überschlagsrechnung brauchen Sie vier Zahlen aus Ihrem Betrieb, nämlich die Fehlteile und die Gutteile im Jahr, die Folgekosten je durchgerutschtem Fehlteil und die Materialkosten je Teil. Dazu kommen die beiden Quoten für heute und für das geplante System, zusammen also acht Werte. Die Fehlteile leiten Sie wie oben aus dem aussortierten Anteil ab. Ist der heutige Schlupf unbekannt, rechnen Sie die Fehlteile einer Stichprobe freigegebener Teile auf alle freigegebenen hoch. Teilen Sie die so ermittelten durchgerutschten Fehlteile durch die Summe aus ihnen und den aussortierten Teilen, erhalten Sie einen ersten, eher zu niedrigen Wert.

Kosten der Prüffehler = Fehlteile × Schlupf × Folgekosten je durchgerutschtem Teil + Gutteile × Pseudoausschuss × Materialkosten je Teil

Jahresnutzen vor Systemkosten = Kosten der Prüffehler heute − Kosten der Prüffehler mit System

Mehrere Posten stehen bewusst nicht in diesen beiden Formeln. Die Kosten der richtig erkannten Fehlteile bleiben gleich, denn die Prüfung findet Fehler, verhindert sie aber nicht. Verworfene Gutteile sind nur mit dem Materialwert angesetzt. Wer sie am Ende der Fertigung verschrottet, verliert zusätzlich die Bearbeitung und rechnet mit den Herstellkosten. Werden sie dagegen nachgeprüft, sind die Kosten der Nachprüfung anzusetzen. Nacharbeit, Prüfaufwand und die Kosten des Systems kommen in Ihrer Rechnung hinzu.

Die Produktionsserie setzt einen Schritt früher an und sagt den Ausschuss aus Prozessdaten voraus, bevor die Charge läuft. Die Bildprüfung dagegen findet ihn am fertigen Teil.

Ausschuss reduzieren: die Fehlerursache finden, bevor die Charge läuft

Wann sich Computer Vision lohnt und wann nicht

Ein lernendes Bildmodell setzt drei Dinge voraus. Die Aufnahme muss stabil sein, und vor allem die Beleuchtung darf sich nicht ändern. Der Fehler muss auf dem Bild für eine Fachkraft erkennbar sein, und es braucht beschriftete Beispiele, auch von den Fehlerbildern.

Die dritte Voraussetzung kann in der Fertigung zum Engpass werden, denn ein guter Prozess liefert wenige Fehlteile und damit wenige Fehlerbilder. Für diesen Fall gibt es Verfahren, die nur aus fehlerfreien Bildern lernen und Abweichungen melden. Ein öffentlicher Vergleichsdatensatz aus der Industrie ist entsprechend aufgebaut und enthält fehlerfreie Bilder für das Training und Fehlerbilder erst für den Test [3].

In der Organisation kommen zwei Voraussetzungen hinzu. Die Qualitätssicherung verantwortet den Fehlerkatalog und entscheidet Grenzfälle, und jemand im Betrieb führt das System nach, wenn Material, Werkzeug oder Beleuchtung wechseln.

Vier Fehlschlüsse liegen nahe:

  • Eine hohe Erkennungsrate beweist keinen Nutzen. Die Erkennungsrate, also der Anteil gefundener Fehlteile, steigt im vorsichtigen Szenario, und das System kostet dennoch Geld.
  • Mehr Bilder ersetzen keine saubere Beschriftung. In unserer Malaria-Arbeit deutete die Analyse der Fehlalarme darauf hin, dass ein Teil der vermeintlichen Modellfehler falsch beschriftete Beispiele waren, sogenanntes Label-Rauschen.
  • Das größere Netz ist nicht automatisch das bessere. In derselben Arbeit unterlag ein vortrainiertes Netz mit 14,7 Millionen Parametern, also eines, das zuvor an fremden Bildern gelernt hatte, bei rund 20.000 Trainingsbildern einem kompakten eigenen Modell und erreichte 97,62 Prozent Genauigkeit.
  • Software gleicht eine fehlende Aufnahme nur begrenzt aus. Unsere Arbeit zu Satellitenbildern für die EU-Entwaldungsverordnung hält fest, dass optische Aufnahmen im westafrikanischen Kakaogürtel wegen der Wolken nur in einem Bruchteil des Jahres nutzbar sind und dass beide dort beschriebenen Auswege, Mehrjahres-Komposite und Radaraufnahmen, eigene Annahmen mitbringen.

Die klassische Bildverarbeitung mit festen Regeln genügt, wenn sich das Merkmal messen lässt, etwa ein Maß oder die Lage eines Etiketts. Eine solche Messung braucht keine Trainingsdaten.

Einen seriösen Anbieter erkennen Sie daran, dass er Schlupf und Pseudoausschuss auf getrennten Testbildern ausweist, bevor er eine Ersparnis nennt. Wir raten von einem lernenden System ab, wenn eine feste Regel die Aufgabe löst oder sich die Aufnahme nicht stabilisieren lässt. Dasselbe gilt, wenn die heutigen Prüffehler so wenig kosten, dass sich nach der Formel oben kein Projekt rechnet.

Computer Vision im Data-Science-Prozess

Ein Bildvorhaben durchläuft die sechs Phasen von CRISP-DM, einem branchenübergreifenden Vorgehensmodell für Data-Science-Projekte, und ob es gelingt, entscheidet sich früh. In Phase 1 wird festgelegt, was ein übersehener Fehler und ein Fehlalarm kosten. In Phase 2 zeigt sich an echten Aufnahmen, ob der Fehler überhaupt im Bild zu sehen ist. Phase 5, die Modellvalidierung, misst Schlupf und Pseudoausschuss auf getrennten Testbildern, und zwar mit einer Entscheidungsschwelle, die vor dem Test feststand.

Alle sechs CRISP-DM-Phasen im Überblick Phase 2: Datenakquise Phase 5: Modellvalidierung

Häufige Fragen zu Computer Vision

Was ist Computer Vision einfach erklärt?

Computer Vision ist die Auswertung von Bildern und Videos durch Software. Ein Modell lernt aus beschrifteten Beispielen, was auf einem Bild zu sehen ist, und liefert eine Aussage, auf die ein Betrieb reagieren kann, zum Beispiel ob ein Teil in Ordnung ist oder aussortiert werden muss.

Was ist der Unterschied zwischen Computer Vision und Bildverarbeitung?

Klassische Bildverarbeitung wendet feste Regeln an und vergleicht einen Messwert mit einem Grenzwert. Computer Vision im heutigen Sprachgebrauch lernt die Entscheidung dagegen aus Beispielen. Solange sich das Merkmal messen lässt, ist die Regel die bessere Wahl. Ein lernendes Modell lohnt sich erst bei Fehlerbildern wie Kratzern auf wechselnden Oberflächen.

Wie viele Bilder braucht ein Modell für die KI-Bilderkennung?

Eine feste Zahl gibt es nicht. Entscheidend ist, ob jede Klasse mit genügend Beispielen vertreten ist und ob die Beschriftung stimmt. In einer stabilen Fertigung sind Fehlerbilder knapp, weil wenige Fehlteile anfallen. Dann kommen Verfahren infrage, die aus fehlerfreien Bildern lernen. Ein Datencheck an Ihren Aufnahmen klärt, welcher Weg sich eignet.

Was kostet eine kamerabasierte Qualitätskontrolle und wann rechnet sie sich?

Verglichen werden die Kosten der heutigen Prüffehler mit denen des geplanten Systems. Beide bestehen aus Schlupf mal Folgekosten und Pseudoausschuss mal Materialwert. Die Differenz ist der Jahresnutzen, dem der Einmalaufwand und der laufende Betrieb gegenüberstehen. Kosten die heutigen Prüffehler wenig, rechnet sich das Vorhaben nicht.

Wie lange dauert die Einführung einer visuellen Qualitätskontrolle?

Die Dauer hängt weniger vom Modell ab als von zwei Vorarbeiten, nämlich von einer stabilen Bildaufnahme mit gleichbleibender Beleuchtung und von beschrifteten Beispielen. Liegen beide vor, ist das Training der kleinere Teil. Fehlen sie, beginnt das Vorhaben mit dem Sammeln und Beschriften von Bildern.

Womit beginnt ein Vorhaben zur Bildauswertung?

Es beginnt mit einem Fehlerkatalog und zwei Zahlen. Eine Kamera braucht es dafür noch nicht. Zuerst wird beziffert, was ein durchgerutschtes Fehlteil und ein verworfenes Gutteil kosten. Danach zeigt eine Stichprobe echter Aufnahmen, ob der Fehler im Bild sichtbar ist. Erst danach steht die Entscheidung zwischen fester Regel und lernendem Modell an.

Quellen

  1. Seymour A. Papert: The Summer Vision Project. MIT Artificial Intelligence Laboratory, AI Memo 100 (AIM-100), Juli 1966. https://dspace.mit.edu/handle/1721.1/6125
  2. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton: ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NIPS 2012). https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
  3. Paul Bergmann, Michael Fauser, David Sattlegger, Carsten Steger: MVTec AD: A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, S. 9584-9592. https://doi.org/10.1109/CVPR.2019.00982

Rechnen Sie Ihre Prüffehler mit uns durch

Vier Zahlen aus Ihrem Betrieb und die beiden Quoten Ihrer heutigen Prüfung genügen für eine erste Einschätzung, ob sich ein lernendes System bei Ihnen rechnet.

Kostenloses Erstgespräch buchen