Technologie · Dane obrazowe

Widzenie komputerowe: z obrazów decyzje, które da się przeliczyć

O tym, czy kontrola oparta na obrazie się opłaca, decydują łącznie dwa rodzaje błędów: przepuszczone części wadliwe i niesłusznie odrzucone części dobre.

Widzenie komputerowe: definicja i zakres

Widzenie komputerowe (ang. computer vision) rozumiemy jako dziedzinę informatyki i sztucznej inteligencji, która wydobywa z obrazów i nagrań wideo informacje, na których można oprzeć decyzję. W praktyce chodzi na przykład o to, czy detal ma rysę albo jak zmienił się dany teren między dwoma zdjęciami satelitarnymi.

Już w 1966 roku Seymour Papert z MIT opisał letni projekt, który miał nazywać obiekty widoczne na obrazie z kamery [1]. Głębokie sieci neuronowe zrobiły wyraźny krok naprzód w 2012 roku, kiedy Krizhevsky, Sutskever i Hinton wytrenowali jedną z nich na około 1,2 miliona obrazów z 1000 klas i uzyskali wynik znacznie lepszy od ówczesnego stanu techniki [2]. Taka splotowa sieć neuronowa (CNN) przegląda obraz wieloma małymi filtrami i sama uczy się, na które wzorce należy zwracać uwagę [2].

Z pojęciem nadrzędnym myli się przede wszystkim trzy terminy:

  • Przetwarzanie obrazu w klasycznym sensie należy do tej samej dziedziny, ale zamiast wyuczonych wzorców stosuje stałe reguły i porównuje wartość pomiaru, na przykład odległość, z wartością graniczną.
  • Rozpoznawanie obrazów to zadanie cząstkowe, które przypisuje cały obraz do jednej klasy, na przykład „część dobra” albo „część wadliwa”.
  • Detekcja obiektów dodatkowo podaje położenie i zaznacza każdy obiekt na obrazie ramką.

Do tego dochodzą segmentacja, która przypisuje każdy piksel do obiektu i dzięki temu mierzy powierzchnię wady, oraz rozpoznawanie tekstu (OCR), które odczytuje na przykład tabliczkę znamionową lub dokument dostawy. Te same zadania pojawiają się także w handlu i logistyce, gdzie detekcja obiektów liczy na przykład paczki na palecie.

Jak działa widzenie komputerowe

Projekt oparty na danych obrazowych składa się z sześciu kroków, z których tylko jeden dotyczy samego modelu.

KrokCo się dziejeCo powstaje
1. Określenie zadaniaEksperci opisują, które rodzaje wad się liczą i ile kosztuje przeoczona wada, a ile fałszywy alarmkatalog wad z kosztem każdego rodzaju błędu
2. Rejestracja obrazówKamerę i oświetlenie ustawia się tak, aby każdą część fotografować w tych samych warunkachobrazy, na których człowiek widzi wadę
3. Oznaczanie przykładówEksperci przypisują każdy obraz do klasy albo zaznaczają miejsce wady. To przypisanie nazywa się etykietą.obrazy z poprawną odpowiedzią
4. Trenowanie modeluSieć neuronowa, na przykład CNN, uczy się, które wzorce na obrazie należą do której klasymodel, który dla każdego obrazu podaje prawdopodobieństwo
5. Osobny testModel ocenia obrazy, których nie widział podczas treningu, i jest porównywany z dotychczasową metodą kontroliprzeoczone wady i fałszywe alarmy, wykazane osobno
6. Wdrożenie i monitoringDecyzja uruchamia odrzucenie części lub ponowną kontrolę, a oba wskaźniki błędów są stale mierzoneetap kontroli, którego wskaźniki błędów są znane także po zmianie materiału lub narzędzia

Nasza praca o wykrywaniu malarii pokazuje, co daje krok 5. Jej podstawą jest 27 558 obrazów mikroskopowych pojedynczych krwinek. Do treningu i walidacji posłużyło 24 958 z nich, a test przeprowadzono na ściśle wydzielonym zbiorze 2600 obrazów, po 1300 komórek zakażonych i zdrowych. Najwyższą dokładność, czyli największy udział trafnych decyzji, osiągnął wariant z wynikiem 98,88 procent, który jednak przeoczył 12 z 1300 infekcji. Wybrano model z wynikiem 98,85 procent, który przeoczył tylko 3, ponieważ przeoczona infekcja jest droższym błędem.

Ta sama praca wskazuje też własne ograniczenie. Model wytrenowano na jednym publicznym zbiorze danych i przed każdym rzeczywistym zastosowaniem trzeba go poddać zewnętrznej walidacji w kilku ośrodkach. Wyprowadzamy z tego praktyczną regułę: analiza obrazu jest na tyle wiarygodna, na ile wąsko określono zadanie i na ile obrazy z bieżącej eksploatacji przypominają te z treningu.

Wykrywanie malarii z deep learning: porównanie jedenastu wariantów modelu

Przykład obliczeniowy: przepuszczenia i fałszywe odrzuty w wizualnej kontroli jakości

Poniższy przykład to obliczenie modelowe dla fikcyjnego przedsiębiorstwa z naszej serii o produkcji, a nie dane klienta. Zakład obróbki metali zużywa rocznie materiał o wartości 24 milionów euro, a jego wskaźnik braków wynosi 4,5 procent. Liczba sztuk, koszty następcze i wskaźniki kontroli to założenia przyjęte na tej stronie.

Każda wizualna kontrola jakości, czy prowadzą ją ludzie, czy kamera, popełnia dwa rodzaje błędów. Przepuszczenia to części wadliwe, które niewykryte trafiają do klienta, a fałszywe odrzuty to części dobre, które niesłusznie zostają odrzucone.

ZałożenieWartość
Roczne zużycie materiału (seria)24 000 000 euro
Wskaźnik braków, czyli odsetek odrzuconych części (seria)4,5 procent
Części kontrolowane rocznie1 200 000
Koszt materiału na część20 euro
Części odrzucane rocznie54 000
Wskaźnik przepuszczeń obecnej kontroli wzrokowej5 procent części wadliwych
Wskaźnik fałszywych odrzutów obecnej kontroli wzrokowej1 procent części dobrych
Części wadliwe rocznie (wyprowadzone, zaokrąglone)44 681, czyli 3,72 procent
Części dobre rocznie (zaokrąglone)1 155 319
Koszt następczy na przepuszczoną część wadliwą (reklamacja i dostawa zastępcza)120 euro

W naszej serii o produkcji wskaźnik braków mierzy to, co kontrola odrzuca. Nie wynika z niego, ile części jest faktycznie wadliwych. W 54 000 odrzuconych części mieści się 95 procent części wadliwych i 1 procent części dobrych. Przy tych założeniach rachunek zgadza się tylko wtedy, gdy wadliwych jest 3,72 procent wszystkich części: 42 447 wykrytych części wadliwych plus 11 553 odrzuconych części dobrych.

Obecnie kontrola przepuszcza więc 2234 części wadliwe, co kosztuje 268 085 euro, a materiał 11 553 odrzuconych części dobrych jest wart 231 064 euro. Łącznie błędy kontroli kosztują 499 149 euro rocznie, przy czym obliczenia oparto na niezaokrąglonych liczbach sztuk.

Ile z tego zaoszczędzi system kamerowy, zależy od obu wskaźników jednocześnie.

ScenariuszPrzepuszczeniaFałszywe odrzutyKoszty błędów kontroliWynik w porównaniu z obecnym stanem, przed kosztami systemu
ostrożny4 procent2 procent676 596 euro177 447 euro kosztów dodatkowych
umiarkowany2 procent1 procent338 298 euro160 851 euro oszczędności
korzystny1 procent0,5 procent169 149 euro330 000 euro oszczędności

Oba wskaźniki zależą od tego samego parametru. Model podaje dla każdej części prawdopodobieństwo, a próg decyzyjny określa, od jakiej wartości część zostaje odrzucona. Surowy próg zmniejsza przepuszczenia i zwiększa fałszywe odrzuty, natomiast łagodny działa odwrotnie.

Scenariusz ostrożny pokazuje system ustawiony surowo. Wykrywa 96 zamiast 95 procent części wadliwych, a mimo to jest droższy od kontroli wzrokowej, ponieważ odrzuca dwa razy więcej części dobrych i na jedną część wadliwą przypada blisko 26 części dobrych. W tym zakładzie jeden punkt procentowy fałszywych odrzutów kosztuje 231 064 euro, a jeden punkt procentowy przepuszczeń 53 617 euro. Dlatego przy przepuszczeniach na poziomie 4 procent system obniża koszty błędów kontroli dopiero wtedy, gdy fałszywe odrzuty pozostają poniżej około 1,23 procent. Ten próg opłacalności można wyliczyć dla każdego zakładu, zanim wpłynie pierwsza oferta.

Sama dokładność niewiele mówi o korzyściach. System, który przepuszcza każdą część, podejmuje tu trafną decyzję w 96,3 procent przypadków i nie znajduje ani jednej wady. Wiarygodną podstawę daje dopiero para liczb, czyli przepuszczenia i fałszywe odrzuty wycenione według kosztów własnego zakładu.

Do wstępnego rachunku potrzebują Państwo czterech liczb ze swojego zakładu: rocznej liczby części wadliwych i dobrych, kosztu następczego na przepuszczoną część wadliwą oraz kosztu materiału na część. Do tego dochodzą oba wskaźniki dla obecnej kontroli i dla planowanego systemu, łącznie więc osiem wartości. Liczbę części wadliwych wyprowadzają Państwo, tak jak powyżej, z odsetka odrzuconych części. Jeśli obecny wskaźnik przepuszczeń nie jest znany, proszę ekstrapolować liczbę części wadliwych znalezionych w próbce zwolnionych części na wszystkie zwolnione części. Tak oszacowaną liczbę przepuszczonych części wadliwych proszę podzielić przez sumę tej liczby i liczby części odrzuconych, co da pierwszą, raczej zaniżoną wartość.

Koszty błędów kontroli = części wadliwe × wskaźnik przepuszczeń × koszt następczy na przepuszczoną część + części dobre × wskaźnik fałszywych odrzutów × koszt materiału na część

Roczna korzyść przed kosztami systemu = koszty błędów kontroli obecnie − koszty błędów kontroli z systemem

Kilka pozycji celowo pominięto w tych dwóch wzorach. Koszty prawidłowo wykrytych części wadliwych pozostają bez zmian, ponieważ kontrola znajduje wady, ale im nie zapobiega. Odrzucone części dobre wyceniono wyłącznie według wartości materiału. Kto złomuje je na końcu produkcji, traci dodatkowo nakład obróbki i powinien przyjąć do rachunku koszty wytworzenia. Jeśli natomiast trafiają do ponownej kontroli, należy przyjąć koszty tej kontroli. Dorabianie, nakład na kontrolę i koszty samego systemu trzeba doliczyć we własnym rachunku.

Seria o produkcji zaczyna o krok wcześniej i przewiduje braki na podstawie danych procesowych, zanim ruszy partia. Kontrola oparta na obrazie wykrywa je dopiero na gotowej części.

Redukcja braków: przyczyna wady znana, zanim ruszy partia

Kiedy widzenie komputerowe się opłaca, a kiedy nie

Uczący się model obrazowy wymaga trzech rzeczy. Rejestracja obrazu musi być stabilna, a przede wszystkim nie może zmieniać się oświetlenie. Specjalista musi być w stanie rozpoznać wadę na obrazie, a do tego potrzebne są oznaczone przykłady, również przykłady wad.

Trzeci warunek może w produkcji stać się wąskim gardłem, ponieważ dobry proces daje mało części wadliwych, a więc i mało obrazów wad. Na taki przypadek istnieją metody, które uczą się wyłącznie na obrazach bez wad i zgłaszają odchylenia. Tak zbudowany jest publiczny przemysłowy zbiór porównawczy: obrazy bez wad służą do treningu, a obrazy z wadami pojawiają się dopiero w teście [3].

W organizacji dochodzą dwa kolejne warunki. Dział zapewnienia jakości odpowiada za katalog wad i rozstrzyga przypadki graniczne, a ktoś w zakładzie dostosowuje system, gdy zmienia się materiał, narzędzie lub oświetlenie.

Łatwo tu o cztery błędne wnioski:

  • Wysoka wykrywalność nie dowodzi korzyści. Wykrywalność, czyli udział znalezionych części wadliwych, rośnie w scenariuszu ostrożnym, a mimo to system generuje dodatkowe koszty.
  • Więcej obrazów nie zastąpi starannego oznaczania. W naszej pracy o malarii analiza fałszywych alarmów sugerowała, że część rzekomych błędów modelu stanowiły błędnie oznaczone przykłady, czyli tak zwany szum etykiet.
  • Większa sieć nie jest automatycznie lepsza. W tej samej pracy wstępnie wytrenowana sieć o 14,7 miliona parametrów, czyli taka, która wcześniej uczyła się na innych obrazach, przy około 20 000 obrazów treningowych osiągnęła dokładność 97,62 procent i przegrała z naszym własnym kompaktowym modelem.
  • Oprogramowanie tylko w ograniczonym stopniu zastąpi brakujące zdjęcia. Nasza praca o zdjęciach satelitarnych na potrzeby unijnego rozporządzenia w sprawie wylesiania stwierdza, że w zachodnioafrykańskim pasie uprawy kakao zdjęcia optyczne z powodu zachmurzenia nadają się do użytku tylko przez niewielką część roku, a oba opisane tam rozwiązania, czyli wieloletnie kompozyty i zdjęcia radarowe, wnoszą własne założenia.

Klasyczne przetwarzanie obrazu oparte na stałych regułach wystarcza, gdy cechę da się zmierzyć, na przykład wymiar albo położenie naklejki. Taki pomiar nie wymaga danych treningowych.

Rzetelnego dostawcę rozpoznają Państwo po tym, że wykazuje przepuszczenia i fałszywe odrzuty na osobnych obrazach testowych, zanim poda oszczędność. Odradzamy system uczący się, gdy zadanie rozwiązuje stała reguła albo gdy nie da się ustabilizować rejestracji obrazu. To samo dotyczy sytuacji, w której obecne błędy kontroli kosztują tak mało, że według powyższego wzoru projekt się nie opłaca.

Widzenie komputerowe w procesie data science

Projekt z danymi obrazowymi przechodzi przez sześć faz CRISP-DM, międzybranżowego modelu postępowania w projektach data science, a to, czy się powiedzie, rozstrzyga się wcześnie. W fazie 1 ustala się, ile kosztuje przeoczona wada, a ile fałszywy alarm. W fazie 2 prawdziwe zdjęcia pokazują, czy wada w ogóle jest widoczna na obrazie. Faza 5, czyli walidacja modelu, mierzy przepuszczenia i fałszywe odrzuty na osobnych obrazach testowych, i to przy progu decyzyjnym ustalonym przed testem.

Wszystkie sześć faz CRISP-DM w skrócie Faza 2: pozyskiwanie danych Faza 5: walidacja modeli

Widzenie komputerowe: najczęstsze pytania

Czym jest widzenie komputerowe w prostych słowach?

Widzenie komputerowe to analiza obrazów i nagrań wideo przez oprogramowanie. Model uczy się na oznaczonych przykładach, co widać na danym obrazie, i podaje informację, na którą firma może zareagować, na przykład czy część jest w porządku, czy trzeba ją odrzucić.

Czym różni się widzenie komputerowe od przetwarzania obrazu?

Klasyczne przetwarzanie obrazu stosuje stałe reguły i porównuje wartość pomiaru z wartością graniczną. Widzenie komputerowe w dzisiejszym rozumieniu uczy się natomiast decyzji na przykładach. Dopóki cechę da się zmierzyć, lepszym wyborem jest reguła. Model uczący się opłaca się dopiero przy wadach takich jak rysy na zmiennych powierzchniach.

Ile obrazów potrzebuje model do rozpoznawania obrazów przez AI?

Nie ma stałej liczby. Decyduje to, czy każda klasa ma wystarczająco wiele przykładów i czy etykiety są poprawne. W stabilnej produkcji obrazów wad jest mało, ponieważ powstaje niewiele części wadliwych. Wtedy w grę wchodzą metody, które uczą się na obrazach bez wad. Kontrola danych na Państwa zdjęciach pokaże, która droga się sprawdzi.

Ile kosztuje kontrola jakości oparta na kamerach i kiedy się opłaca?

Porównuje się obecne koszty błędów kontroli z kosztami przy planowanym systemie. Jedne i drugie składają się z przepuszczeń pomnożonych przez koszty następcze i fałszywych odrzutów pomnożonych przez wartość materiału. Różnica to roczna korzyść, którą zestawia się z nakładem jednorazowym i kosztami eksploatacji. Jeśli obecne błędy kontroli kosztują niewiele, projekt się nie opłaca.

Jak długo trwa wdrożenie wizualnej kontroli jakości?

Czas zależy nie tyle od modelu, ile od dwóch prac przygotowawczych: stabilnej rejestracji obrazu przy niezmiennym oświetleniu i oznaczonych przykładów. Jeśli oba warunki są spełnione, trening stanowi mniejszą część pracy. Jeśli ich brakuje, projekt zaczyna się od zbierania i oznaczania obrazów.

Od czego zaczyna się projekt analizy obrazu?

Zaczyna się od katalogu wad i dwóch liczb, jeszcze bez kamery. Najpierw trzeba wycenić, ile kosztuje przepuszczona część wadliwa, a ile niesłusznie odrzucona część dobra. Następnie próbka prawdziwych zdjęć pokazuje, czy wada jest widoczna na obrazie. Dopiero wtedy warto wybierać między stałą regułą a modelem uczącym się.

Źródła

  1. Seymour A. Papert: The Summer Vision Project. MIT Artificial Intelligence Laboratory, AI Memo 100 (AIM-100), lipiec 1966. https://dspace.mit.edu/handle/1721.1/6125
  2. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton: ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NIPS 2012). https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
  3. Paul Bergmann, Michael Fauser, David Sattlegger, Carsten Steger: MVTec AD: A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, s. 9584-9592. https://doi.org/10.1109/CVPR.2019.00982

Policzmy razem, ile kosztują Państwa błędy kontroli

Cztery liczby z Państwa zakładu i oba wskaźniki obecnej kontroli wystarczą do wstępnej oceny, czy system uczący się opłaci się w Państwa firmie.

Zarezerwuj bezpłatną konsultację