Technologie · Modele

Deep learning: narzędzie do obrazów, mowy i danych z czujników

Głęboka sieć neuronowa to narzędzie, które musi wypaść lepiej niż prosta metoda odniesienia, zanim będzie można oprzeć na nim projekt.

Deep learning: definicja i rozgraniczenie pojęć

Deep learning, czyli uczenie głębokie, to dziedzina uczenia maszynowego, w której sztuczne sieci neuronowe o wielu kolejno połączonych warstwach same uczą się z surowych danych, które cechy są istotne dla danego zadania [1]. Słowo „deep” (głęboki) odnosi się do liczby tych warstw. Z każdą warstwą reprezentacja danych staje się nieco bardziej abstrakcyjna, w przypadku zdjęcia na przykład od krawędzi, przez wzory, po całe obiekty [1]. Dlatego takie modele nazywa się też głębokimi sieciami neuronowymi.

Sam pomysł nie jest nowy. Według LeCuna, Bengia i Hintona zainteresowanie głębokimi sieciami odżyło około 2006 roku [1]. W 2012 roku głęboka konwolucyjna sieć neuronowa z 60 milionami parametrów, czyli wartości liczbowych, które sieć dopasowuje podczas treningu, wypadła według jej autorów wyraźnie lepiej niż najlepsze ówczesne metody rozpoznawania obrazów [2].

Szczególnie ważne jest rozróżnienie dwóch pojęć:

  • Machine learning to pojęcie nadrzędne. Klasyczne metody, takie jak modele liniowe czy drzewa decyzyjne, z trudem przetwarzają bezpośrednio surowe dane, na przykład piksele, i potrzebują cech, które zbudował z nich człowiek [1]. Głęboka sieć uczy się tych cech sama.
  • Sieci neuronowe to architektura. Sieć tylko z jedną warstwą ukrytą uchodzi za płytką, a nie za głęboką.

Jak deep learning ma się do sztucznej inteligencji, generatywnej AI i dużych modeli językowych, pokazuje nasz przegląd.

Technologie AI w przeglądzie: od statystyki po generatywną AI

Do obrazów przeznaczone są konwolucyjne sieci neuronowe (CNN). W przypadku sekwencji, takich jak tekst i mowa, przez długi czas stosowano sieci rekurencyjne [1]. Należy do nich również sieć LSTM, która zapamiętuje wcześniejsze dane wejściowe. W 2017 roku do przetwarzania tekstu doszła architektura Transformer [5].

Jak działa deep learning

Projekt z głęboką siecią neuronową ma sześć etapów i tylko dwa z nich dotyczą samej sieci. Pozostałe dotyczą danych i weryfikacji.

EtapCo się dziejeCo powstaje
1. Etykietowanie przykładówprzykłady otrzymują prawidłową odpowiedź, na przykład „część wadliwa”materiał do nauki
2. Pomiar metody odniesieniaprostą metodę mierzy się na tych samych danychpoprzeczka dla sieci
3. Wybór architekturyCNN do obrazów, LSTM do przebiegów czasowych, do tego rozmiar sieciodpowiednia architektura
4. Treningsieć wielokrotnie ogląda przykłady i po każdym błędzie dopasowuje swoje parametry [1]wytrenowany model
5. Oddzielna weryfikacjapomiar na przykładach, których sieć nie widziała, za pomocą uzgodnionego wskaźnikaporównanie z metodą odniesienia
6. Wizualizacja i eksploatacjaGradCAM++ pokazuje, na co patrzy sieć. W eksploatacji na bieżąco mierzy się, ile wad sieć wykrywamodel, który dział merytoryczny może sprawdzić

Jak te etapy wyglądają na prawdziwych danych, pokazuje nasza praca badawcza o wykrywaniu malarii, która powstała jako projekt końcowy (capstone) w Applied AI and Data Science Program MIT Professional Education. Jedenaście wariantów modelu opracowano na 24 958 obrazach krwinek, które podzielono w proporcji 80 do 20: około 20 000 służyło do nauki, a reszta do kontroli w trakcie prac rozwojowych. Warianty porównano następnie na 2600 kolejnych obrazach testowych, ściśle oddzielonych od pozostałych. Pełny, wykonany kod znajduje się w repozytorium towarzyszącym.

Wykrywanie malarii z deep learning: jedenaście wariantów modelu w porównaniu

Dla danych z czujników nasza seria o produkcji przelicza modelowy przypadek fikcyjnego zakładu. Sieć LSTM ma tam rozpoznać w przebiegu sygnałów z czujników anomalię, która poprzedza awarię maszyny.

Seria o produkcji: modelowy przypadek predictive maintenance

Przykład obliczeniowy: deep learning a prosta metoda odniesienia

Poniższy przykład to obliczenie modelowe dla fikcyjnego przedsiębiorstwa i nie opiera się na danych klienta. Dostawca sprawdza swoje części na końcu linii za pomocą kamery według stałych reguł i rozważa wprowadzenie głębokiej sieci neuronowej. Miarą jest wykrywalność, czyli odsetek wadliwych części, które kontrola wychwytuje (w statystyce: czułość).

ZałożenieWartość
Sprawdzane części rocznie2 000 000
Udział wadliwych części1,5 procent, czyli 30 000 wadliwych części
Wykrywalność regułowej metody odniesienia90 procent
Wykrywalność głębokiej sieci97 procent
Koszty następcze każdej przeoczonej wadliwej części (reklamacja, wymiana)40 euro
Bieżący dodatkowy koszt sieci rocznie na etykietowanie, moc obliczeniową, ponowny trening i monitoring (założenie tego obliczenia modelowego, a nie cena)60 000 euro

Metoda odniesienia przeocza 3000 z 30 000 wadliwych części, a sieć 900. Przewaga 7 punktów procentowych odpowiada 2100 częściom, a więc 84 000 euro dodatkowej korzyści rocznie. Po odjęciu bieżącego dodatkowego kosztu zostaje saldo roczne w wysokości 24 000 euro, które nie uwzględnia jeszcze jednorazowego kosztu opracowania.

Przewaga jest jedyną wielkością w tym obliczeniu, którą da się zmierzyć dopiero w trakcie projektu. Dlatego w poniższej tabeli zmienia się wyłącznie ta wartość:

ScenariuszPrzewaga sieciDodatkowo wykryte częściDodatkowa korzyść rocznieSaldo roczne przed kosztem jednorazowym
ostrożny2 punkty procentowe60024 000 euro−36 000 euro
obliczenie modelowe7 punktów procentowych210084 000 euro24 000 euro
korzystny9 punktów procentowych2700108 000 euro48 000 euro

Do własnego szacunku służy następujący wzór:

Saldo roczne = wadliwe przypadki rocznie × przewaga w wykrywalności × koszt każdego przeoczonego przypadku − bieżący dodatkowy koszt rocznie

Wadliwe przypadki to części rzeczywiście wadliwe, w przykładzie 30 000, a nie 2 000 000 sprawdzonych. Trzy z tych wielkości znają Państwo przed rozpoczęciem projektu: liczbę wadliwych przypadków, koszt każdego przeoczonego przypadku i dodatkowy koszt, który są Państwo gotowi ponieść. Na ich podstawie można obliczyć przewagę, jaką głęboka sieć musi co najmniej osiągnąć:

Wymagana przewaga = bieżący dodatkowy koszt rocznie ÷ (wadliwe przypadki rocznie × koszt każdego przeoczonego przypadku)

W przykładzie daje to 60 000 ÷ (30 000 × 40) = 0,05, czyli 5 punktów procentowych. Do pierwszego wzoru przewagę również wstawiają Państwo jako ułamek, czyli 7 punktów procentowych jako 0,07. Jeśli sieć osiągnie mniej niż 5 punktów procentowych, w tym obliczeniu bardziej opłacalna jest prosta metoda odniesienia.

Jak niewielka może być przewaga, pokazuje nasza praca o malarii, choć porównuje się w niej wyłącznie sieci neuronowe między sobą. Spośród 1300 zainfekowanych komórek testowych najmniejsza sieć, której rozmiar podaje praca, przeoczyła 7 infekcji, a wybrana sieć 3. Ponieważ wybrano ją na podstawie tego wyniku na tym samym zbiorze testowym, jej wynik jest raczej zbyt korzystny. Różnica czterech przypadków to około 0,3 punktu procentowego wykrywalności. W opisanym wyżej przypadku kontroli różnica ta znalazłaby się daleko poniżej progu 5 punktów procentowych. W diagnostyce, gdzie przeoczona infekcja kosztuje nieporównanie więcej niż fałszywy alarm, może jednak przesądzić o wyborze.

Dwie pozycje celowo nie występują we wzorze. Pierwszą są fałszywe alarmy, bo niesłusznie odrzucone części też kosztują. Drugą jest jednorazowy koszt opracowania, który po podzieleniu przez saldo roczne daje okres zwrotu w latach.

Kiedy deep learning się opłaca, a kiedy nie

Deep learning opłaca się przede wszystkim tam, gdzie dane nie mają postaci tabeli, i to tylko pod dwoma dodatkowymi warunkami. W obrazach, mowie i przebiegach z czujników informacja kryje się we wzorcach, które trudno opisać ręcznie. Ponadto potrzeba wystarczająco wielu przykładów ze znaną odpowiedzią, a przeoczony przypadek musi być na tyle kosztowny, by uzasadnić dodatkowy koszt.

Do tego dochodzą wymagania eksploatacyjne. Ktoś z działu merytorycznego musi rzetelnie etykietować przykłady i rozstrzygać przypadki wątpliwe. Ktoś musi też nadzorować model i zlecać jego ponowny trening, gdy zmieniają się części lub kamery. Jeśli zabraknie którejś z tych dwóch osób, nawet dobra sieć nie pomoże.

Na tabelach średniej wielkości przez długi czas prowadziły zespoły drzew, takie jak gradient boosting, które łączą wiele drzew decyzyjnych. W badaniu porównawczym (benchmarku) z 2022 roku obejmującym 45 zbiorów danych pokonały one głębokie sieci przy około 10 000 obserwacji, a do tego szybciej się trenowały [3]. W 2025 roku grupa badaczy pod kierunkiem Noaha Hollmanna przedstawiła wstępnie wytrenowaną głęboką sieć do danych tabelarycznych, która według pomiarów samych autorów przewyższyła wszystkie dotychczasowe metody na zbiorach do 10 000 wierszy [4]. Przy podejmowaniu decyzji liczy się więc dla Państwa nie rodzina metod, lecz porównanie z prostą metodą odniesienia na własnych danych. Do objaśniania decyzji modeli z obu rodzin istnieją sprawdzone techniki.

Explainable AI: jak prześledzić decyzje modelu

Nasuwają się cztery błędne wnioski. Trzy z nich można pokazać na przykładzie naszej pracy o malarii:

  • Błędny wniosek 1: większa sieć jest lepsza. Standardowa sieć wstępnie wytrenowana na zdjęciach (VGG16) z 14,7 miliona parametrów osiągnęła trafność 97,62 procent (odsetek prawidłowych decyzji), a nasz kompaktowy model z około 724 000 parametrów 98,85 procent. Praca wskazuje trzy przyczyny: wyuczenie się na pamięć około 20 000 obrazów treningowych (overfitting), przejście od zdjęć do obrazów mikroskopowych i powiększenie obrazów komórek z około 130 do 224 pikseli.
  • Błędny wniosek 2: najwyższa trafność wskazuje najlepszy model. Jeden z wariantów prowadził z wynikiem 98,88 procent, ale przeoczył 12 infekcji. Wybrano model z wynikiem 98,85 procent, który przeoczył tylko 3.
  • Błędny wniosek 3: dobry wynik testu oznacza gotowość do wdrożenia. Nasz model trenowano na jednym publicznym zbiorze danych, dlatego przed każdym rzeczywistym zastosowaniem wymaga on zewnętrznej walidacji w kilku ośrodkach.
  • Błędny wniosek 4: wysoki wskaźnik mówi sam za siebie. Dopiero porównanie z prostą metodą pokazuje, co sieć wnosi ponad nią.

Odradzamy deep learning, gdy dane mają postać tabeli, a z porównania wynika, że zespół drzew rozwiązuje zadanie równie dobrze, gdy jest tylko niewiele przykładów z etykietami i żaden wstępnie wytrenowany model nie pasuje do zadania, albo gdy każdą pojedynczą decyzję trzeba uzasadnić w sposób zrozumiały dla osób trzecich. Nie trenujemy sieci neuronowej tam, gdzie model liniowy szybciej daje lepsze wyniki.

Deep learning w procesie data science

W modelu procesu CRISP-DM, który obejmuje sześć faz, decyzja za głęboką siecią lub przeciw niej zapada na etapie modelowania, który omawiamy w fazie 4 razem z eksploracyjną analizą danych. Zanim powstanie pierwszy model, wyznacza się tam model bazowy (baseline), czyli najprostszą możliwą prognozę. Model, który nie pokonuje tego punktu odniesienia, nie jest modelem. Wskaźnik do tego porównania uzgadniamy już w fazie 1 razem z kryteriami sukcesu. W fazie 5 model jest sprawdzany według tego wskaźnika na danych, których nigdy wcześniej nie widział.

Proszę więc zapytać każdego dostawcę, również nas, z jaką prostą metodą odniesienia porównuje swój model i według jakiego wskaźnika. Rzetelnego dostawcę poznają Państwo po tym, że przedstawia obie odpowiedzi, zanim zacznie mówić o architekturze sieci.

Wszystkie sześć faz CRISP-DM w przeglądzie Faza 4: analiza eksploracyjna i modelowanie Faza 5: walidacja modeli

Najczęstsze pytania o deep learning

Czym jest deep learning w prostych słowach?

Deep learning to uczenie maszynowe z wykorzystaniem głębokich sieci neuronowych. Sieć otrzymuje surowe dane, takie jak obrazy czy przebiegi z czujników, wraz z prawidłową odpowiedzią i w wielu warstwach sama uczy się, po czym tę odpowiedź rozpoznać. Nikt nie musi jej wskazywać, na jakie krawędzie czy drgania ma zwracać uwagę.

Deep learning a machine learning: na czym polega różnica?

Machine learning to pojęcie nadrzędne, a deep learning jego część. Klasyczne metody pracują na cechach, które człowiek zbudował z surowych danych, i dobrze sprawdzają się przy tabelach. Głęboka sieć trenowana od podstaw sama uczy się cech i zwykle potrzebuje do tego więcej przykładów oraz większej mocy obliczeniowej.

Ile danych potrzebuje deep learning?

Nie ma stałej dolnej granicy, bo zapotrzebowanie zależy od zadania i od rozmiaru sieci. Na około 20 000 obrazów treningowych wstępnie wytrenowana sieć z 14,7 miliona parametrów wypadła gorzej niż nasz kompaktowy model, między innymi dlatego, że nauczyła się obrazów na pamięć. Mała liczba przykładów przemawia przeciwko dużej sieci trenowanej od podstaw. Czy wtedy sprawdzi się wstępnie wytrenowany model, czy klasyczna metoda, pokazuje dopiero porównanie z prostą metodą odniesienia.

Ile kosztuje deep learning i kiedy się opłaca?

Trzy liczby znają Państwo z góry: liczbę wadliwych przypadków rocznie, koszt każdego przeoczonego przypadku i bieżący dodatkowy koszt. Dodatkowy koszt podzielony przez iloczyn dwóch pozostałych daje minimalną przewagę, jakiej głęboka sieć potrzebuje wobec prostej metody odniesienia. Poniżej tego progu w tym obliczeniu lepszym wyborem jest prostsza metoda.

Jak długo trwa projekt deep learning?

Rzetelną liczbę można podać dopiero po przyjrzeniu się danym. Czas trwania zależy mniej od treningu, a bardziej od dwóch prac wstępnych: czy jest wystarczająco wiele rzetelnie oetykietowanych przykładów i czy istnieje metoda odniesienia, z którą można porównać sieć. Jeśli etykiet brakuje, harmonogram wyznacza ich przygotowanie.

Od czego zaczyna się projekt deep learning?

Zaczyna się od pytania, ile kosztuje Państwa przeoczony przypadek, oraz od prostej metody odniesienia na danych, które już Państwo mają. Dopiero gdy metoda odniesienia zostanie zmierzona, można powiedzieć, jaka przewaga byłaby potrzebna i czy głęboka sieć prawdopodobnie ją osiągnie. Czasem już ten pomiar pokazuje, że prosta metoda wystarcza.

Źródła

  1. LeCun, Y., Bengio, Y., Hinton, G. (2015): Deep learning. Nature 521 (7553), s. 436-444. DOI 10.1038/nature14539. https://www.nature.com/articles/nature14539
  2. Krizhevsky, A., Sutskever, I., Hinton, G. E. (2012): ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NIPS 2012). https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html
  3. Grinsztajn, L., Oyallon, E., Varoquaux, G. (2022): Why do tree-based models still outperform deep learning on typical tabular data? Advances in Neural Information Processing Systems 35 (NeurIPS 2022), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2022/hash/0378c7692da36807bdec87ab043cdadc-Abstract-Datasets_and_Benchmarks.html
  4. Hollmann, N., Müller, S., Purucker, L., Krishnakumar, A., Körfer, M., Hoo, S. B., Schirrmeister, R. T., Hutter, F. (2025): Accurate predictions on small data with a tabular foundation model. Nature 637 (8045), s. 319-326. https://doi.org/10.1038/s41586-024-08328-6
  5. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., Polosukhin, I. (2017): Attention Is All You Need. arXiv:1706.03762. https://arxiv.org/abs/1706.03762

Sprawdźmy razem, czy Państwa przypadek wymaga głębokiej sieci

Trzy liczby z Państwa firmy wystarczą do wstępnej oceny, jaką przewagę musiałaby u Państwa osiągnąć głęboka sieć.

Zarezerwuj bezpłatną rozmowę wstępną