Technologie · Język i tekst

Przetwarzanie języka naturalnego: z wolnego tekstu powstają kategorie, które da się policzyć

Oszczędności, jakie daje maszynowa analiza tekstu, zależą od wolumenu, od błędów modelu i od późniejszej kontroli wykonywanej przez ludzi.

Przetwarzanie języka naturalnego: definicja i zakres pojęcia

Przetwarzanie języka naturalnego (NLP, od angielskiego natural language processing) to poddziedzina informatyki i sztucznej inteligencji, dzięki której oprogramowanie może analizować język pisany i mówiony. W firmie e-maile, zgłoszenia serwisowe, reklamacje lub recenzje zamieniają się w ten sposób w dane, które da się policzyć i dalej przetwarzać.

Już w 1966 roku Joseph Weizenbaum z MIT opisał program ELIZA, który wyszukiwał we wpisywanych zdaniach słowa kluczowe i składał odpowiedzi według stałych reguł [1]. W 2017 roku Vaswani i współautorzy przedstawili Transformer, czyli architekturę sieci opartą wyłącznie na mechanizmie uwagi (attention), który ustala powiązania między słowami tekstu [2]. Na Transformerze opiera się BERT, model językowy z 2018 roku, wstępnie trenowany na tekście bez etykiet, który potem można dostosować do konkretnego zadania przez dodanie jednej warstwy wyjściowej [3].

Od NLP trzeba odróżnić cztery pokrewne pojęcia:

  • Analizą tekstu nazywamy zastosowanie w firmie, czyli badanie zbioru tekstów pod kątem konkretnego pytania biznesowego.
  • Text mining to szukanie wzorców w dużych zbiorach tekstów, w tym wzorców, których nikt wcześniej nie określił jako kategorii.
  • Duże modele językowe (LLM) i zbudowane na nich chatboty są jednym z narzędzi tej dziedziny. Generują tekst, podczas gdy zadania takie jak wstępne sortowanie zapytań wymagają jedynie przypisania do kategorii.
  • Rozpoznawanie tekstu (OCR) jest etapem wstępnym i zamienia zeskanowany dokument w tekst możliwy do odczytu maszynowego.

W zastosowaniach firmowych wyróżniamy pięć zadań: klasyfikację zgłoszeń, e-maili i reklamacji, ekstrakcję z dokumentów danych takich jak numer zamówienia lub termin dostawy, analizę wydźwięku recenzji (analizę sentymentu), wykrywanie tematów w wielu tekstach oraz wyszukiwanie dokumentów na podstawie ich treści.

Jak działa przetwarzanie języka naturalnego

Projekt oparty na danych tekstowych składa się z sześciu kroków, a metodę wybiera się dopiero w czwartym.

KrokCo się dziejeCo powstaje
1. Określenie zadaniadział biznesowy ustala kategorie i określa w liczbach, ile kosztuje błędne przypisanieschemat kategorii z kosztem pojedynczego błędu
2. Zebranie i ochrona tekstówteksty ze skrzynki pocztowej, systemu zgłoszeń lub systemu ERP zostają zebrane w jednym miejscu, a imiona, nazwiska i dane kontaktowe usuwa się tam, gdzie zadanie ich nie wymagazbiór tekstów bez zbędnych danych o osobach
3. Etykietowanie przykładówspecjaliści przypisują każdemu tekstowi z próbki właściwą kategorię. Takie przypisanie nazywa się etykietąteksty z prawidłową odpowiedzią, podzielone na dane treningowe i testowe
4. Wybór metodynajpierw sprawdza się reguły oparte na słowach kluczowych, potem klasyczną klasyfikację tekstu, która zlicza słowa i nadaje im wagi, a dopiero na końcu model językowydla każdego tekstu kategoria i poziom pewności, czyli wartość, która mówi, na ile pewne jest przypisanie
5. Osobny testmodel przypisuje kategorie tekstom, których nie widział podczas treningu, a jego wyniki porównuje się z obecnym sortowaniemodsetek błędów w każdej kategorii, odniesiony do ustalonego wcześniej progu
6. Włączenie do procesu i monitoringprzypadki pewne są przypisywane automatycznie, niepewne trafiają do człowieka, a wyrywkowa próbka jest sprawdzana ponownieproces, w którym odsetek błędów jest stale mierzony

Kolejność w kroku 4 wynika z zasady, by wybierać najprostszą metodę, która rozwiązuje problem. Reguły oparte na słowach kluczowych wystarczą, gdy kategorię da się rozpoznać po stałych wyrażeniach, na przykład po słowie „zwrot”. W 2017 roku Joulin i współautorzy podali, że ich prosty klasyfikator oparty na uczeniu maszynowym często dorównywał dokładnością ówczesnym głębokim sieciom, a na zwykłym procesorze można go było wytrenować o rzędy wielkości szybciej [4]. Naszym zdaniem model językowy opłaca się dopiero wtedy, gdy znaczenie zależy od kontekstu, na przykład przy ironii w recenzjach albo w długich pismach, które dotyczą kilku spraw.

Możliwości wykrywania tematów pokazuje obliczenie modelowe z naszej serii o modzie, które opiera się na fikcyjnych danych. W tym przykładzie przy 42 procentach zwrotów jako przyczynę wybrano z listy „nie pasuje”. Wykrywanie tematów w 210 000 komentarzy tekstowych rozkłada tę jedną przyczynę na pięć, a każda z nich wymaga innego działania.

Analiza przyczyn zwrotów: od wolnego tekstu do przyczyn

Przykład obliczeniowy: wstępne sortowanie zapytań serwisowych w hurtowni technicznej

Poniższy przykład to obliczenie modelowe dla fikcyjnego przedsiębiorstwa i nie zawiera danych klientów. Wszystkie wartości w tabeli są założeniami. Hurtownia techniczna z naszego przykładu obliczeniowego dotyczącego czyszczenia danych otrzymuje rocznie 120 000 pisemnych zapytań serwisowych. Dziś zespół obsługi czyta początek każdego zapytania i przekazuje je do właściwego zespołu.

ZałożenieWartość
Pisemne zapytania serwisowe rocznie120 000
Czas ręcznego sortowania jednego zapytania1,5 minuty
Odsetek błędów przy sortowaniu ręcznym12 procent
Dodatkowy nakład na każde błędnie przypisane zapytanie (ponowne przeczytanie i przekazanie)6 minut
Wewnętrzna stawka kosztów za godzinę48 euro
Udział zapytań, które model przypisuje automatycznie (stopień automatyzacji)70 procent
Odsetek błędów modelu przy tych zapytaniach5 procent
Kontrola wyrywkowa tych zapytań5 procent, po 1 minucie

Dziś sortowanie zajmuje 266 400 minut rocznie, z czego 180 000 minut przypada na samo sortowanie, a 86 400 minut na błędnie przypisane zapytania. W przeliczeniu jest to 4 440 godzin, czyli 213 120 euro.

Jeśli poziom pewności, który model podaje dla każdego zapytania, przekracza ustalony wcześniej próg, zapytanie zostaje przekazane dalej bez sprawdzenia przez człowieka. W obliczeniu modelowym warunek ten spełnia 84 000 zapytań, z których model błędnie przypisuje 4 200. Pozostałe 36 000 zespół sortuje tak jak dotychczas.

Z modelem potrzeba 109 320 minut: 79 920 minut na 36 000 zapytań sortowanych ręcznie wraz z błędnymi przypisaniami, 25 200 minut na błędy modelu i 4 200 minut na kontrolę wyrywkową. Różnica w stosunku do stanu obecnego wynosi 157 080 minut, czyli 2 618 godzin. Efekt brutto to zatem 125 664 euro rocznie przed kosztami wdrożenia i eksploatacji, do których należy także etykietowanie przykładów. Te 2 618 godzin to na razie zwolniony czas pracy, który staje się oszczędnością w euro dopiero wtedy, gdy pozwala uniknąć nadgodzin lub zatrudnienia nowej osoby.

ScenariuszStopień automatyzacjiOdsetek błędów modeluEfekt brutto rocznie
ostrożny40 procent8 procent64 896 euro
obliczenie modelowe70 procent5 procent125 664 euro
korzystny85 procent3 procent162 384 euro

Do własnego szacunku mogą Państwo użyć tych wzorów:

Koszt zapytania przy sortowaniu ręcznym = (czas sortowania + odsetek błędów przy sortowaniu ręcznym × dodatkowy nakład na błąd) × koszt minuty

Koszt zapytania z modelem = (odsetek błędów modelu × dodatkowy nakład na błąd + udział kontroli wyrywkowej × czas kontroli) × koszt minuty

Efekt brutto rocznie = liczba zapytań × stopień automatyzacji × (koszt zapytania przy sortowaniu ręcznym − koszt zapytania z modelem)

W obliczeniu modelowym na każdym automatycznie przypisanym zapytaniu oszczędza się około 1,50 euro. Jeśli podzielą Państwo koszty wdrożenia i eksploatacji w pierwszym roku przez tę kwotę, wynikiem będzie liczba automatycznie przypisanych zapytań, od której projekt zwraca się w pierwszym roku.

Obliczenie ma trzy ograniczenia. Efekt brutto rośnie proporcjonalnie do wolumenu, a przy 20 000 zapytań rocznie i niezmienionych pozostałych założeniach wynosi on 20 944 euro. Ponadto zespołowi zostają przypadki niepewne, czyli zapytania trudniejsze. Jeśli odsetek błędów przy sortowaniu ręcznym wzrośnie w tej pozostałej części z 12 do 16 procent, efekt brutto spadnie o 6 912 euro do 118 752 euro.

Wreszcie, jeśli błąd modelu kosztuje 12 minut zamiast 6, ponieważ zostaje zauważony później, efekt brutto spada do 105 504 euro. Obliczenie nie obejmuje skutków pilnej reklamacji, która trafia do niewłaściwego zespołu.

Automatyzacja procesów z AI: najpierw pomiar, potem rachunek

Kiedy NLP się opłaca, a kiedy nie

Po stronie danych projekt wymaga spełnienia trzech warunków. Każda kategoria, także rzadka, musi mieć etykietowane przykłady. Język tekstów musi pasować do metody, ponieważ listy słów kluczowych tworzy się osobno dla każdego języka, a nawet wstępnie wytrenowany model musi się dopiero nauczyć terminów fachowych i numerów artykułów Państwa firmy na przykładach. Trzecim warunkiem jest ochrona danych.

Teksty, w których występują imiona i nazwiska, adresy lub numery klienta osób fizycznych, zawierają dane osobowe w rozumieniu ogólnego rozporządzenia o ochronie danych (RODO), a informacje o zdrowiu zapisane w wolnym tekście rozporządzenie to zalicza do szczególnych kategorii danych [5]. O tym, które dane zostaną usunięte przed treningiem i czy teksty mogą opuścić Państwa firmę, decydują Państwo razem ze swoim inspektorem ochrony danych lub doradcą prawnym. Kto chce uruchomić duży model językowy na własnych serwerach, aby teksty pozostały w firmie, powinien znać koszty. Z naszego wyliczenia opartego na 110 datowanych źródłach cenowych wynika, że własny sprzęt staje się tańszy niż duży model językowy dostępny przez API dostawcy chmury dopiero od około 574 milionów tokenów, czyli fragmentów słów, miesięcznie.

Po stronie organizacji potrzebny jest dział biznesowy, który odpowiada za kategorie i rozstrzyga przypadki graniczne, oraz osoba, która aktualizuje model, gdy pojawiają się nowe rodzaje spraw.

Łatwo tu o trzy błędne wnioski:

  • Model językowy nie jest automatycznie lepszym wyborem. Jeśli reguły oparte na słowach kluczowych lub klasyczna klasyfikacja tekstu osiągają ustalony wcześniej próg, pozostaje się przy nich. Na naszej stronie głównej piszemy o tym tak: „Nie stosujemy LLM tam, gdzie wystarczy XGBoost”. XGBoost to metoda klasycznego uczenia maszynowego.
  • Wysoka średnia trafność niewiele mówi o rzadkiej kategorii. Jeśli reklamacje stanowią 3 procent zapytań, model może osiągnąć trafność 97 procent, nie rozpoznając ani jednej reklamacji. Dlatego odsetek błędów podaje się osobno dla każdej kategorii.
  • Wynik modelu językowego trzeba sprawdzić z dokumentem. Modele generujące tekst mają skłonność do tworzenia informacji, których nie ma w tekście źródłowym [6]. Jeśli taki model odczytuje z dokumentów numery zamówień lub kwoty, porównanie z oryginałem powinno być stałym elementem procesu.

Odradzamy metodę uczenia maszynowego, gdy wolumen jest tak mały, że według powyższego wzoru żaden projekt się nie zwraca, albo gdy sami specjaliści nie są zgodni co do przypisania, ponieważ model nie ma wtedy prawidłowej odpowiedzi, z której mógłby się uczyć. Model nie jest też potrzebny, gdy pole obowiązkowe w formularzu daje odpowiedź, którą w innym razie trzeba by wyczytać z wolnego tekstu.

Rzetelnego dostawcę rozpoznają Państwo po tym, że porównuje swój model z regułami opartymi na słowach kluczowych i z Państwa obecnym sortowaniem, a odsetek błędów w każdej kategorii, zmierzony na osobnych danych testowych, podaje, zanim wymieni jakąkolwiek oszczędność.

Przetwarzanie języka naturalnego w procesie data science

Projekt analizy tekstu przechodzi przez sześć faz CRISP-DM, modelu postępowania w projektach data science. W fazie 1 określa się kategorie i koszt błędnego przypisania, a w fazie 3, czyli podczas przygotowania danych, usuwa się dane osobowe i etykietuje przykłady. W fazie 5, czyli podczas walidacji modeli, odsetek błędów w każdej kategorii mierzy się na osobnych danych testowych i porównuje z progiem ustalonym przed testem.

Wszystkie sześć faz CRISP-DM w skrócie Faza 1: zrozumienie biznesu Faza 3: przygotowanie danych Faza 5: walidacja modeli

Najczęstsze pytania o przetwarzanie języka naturalnego

Czym jest przetwarzanie języka naturalnego w prostych słowach?

Przetwarzanie języka naturalnego, w skrócie NLP, to analiza języka przez oprogramowanie. Metoda NLP czyta teksty, takie jak e-maile, zgłoszenia lub recenzje, i podaje dla każdego z nich informację, którą firma może wykorzystać, na przykład kategorię zapytania lub wydźwięk opinii. Programowanie neurolingwistyczne, które również określa się skrótem NLP, jest inną dziedziną.

Czym różnią się NLP, AI i duże modele językowe?

Sztuczna inteligencja jest pojęciem nadrzędnym, a NLP to ta jej poddziedzina, która zajmuje się językiem. Duże modele językowe są z kolei jednym z narzędzi w obrębie NLP i generują tekst. Do sortowania zapytań może wystarczyć prostsza metoda, która podaje tylko kategorię.

Jak działa analiza sentymentu?

Analiza sentymentu przypisuje tekstowi wydźwięk, na przykład pozytywny, neutralny lub negatywny. Proste metody zliczają słowa oceniające z listy, a metody uczenia maszynowego trenuje się na recenzjach, których ocena jest znana. Trudne pozostają ironia oraz teksty, które chwalą produkt i jednocześnie krytykują dostawę.

Jakich danych potrzebuje projekt NLP?

Projekt NLP potrzebuje samych tekstów, a dla próbki tych tekstów także prawidłowej odpowiedzi, czyli etykiety. Każda kategoria, także rzadka, musi być reprezentowana przez przykłady. Trzeba też wyjaśnić kwestie ochrony danych, ponieważ zapytania i e-maile mogą zawierać imiona, nazwiska i dane kontaktowe.

Jak długo trwa, zanim klasyfikacja tekstu zacznie działać w firmie?

Czas zależy przede wszystkim od dwóch prac przygotowawczych, czyli od schematu kategorii i od etykietowanych przykładów. Jeśli oba elementy są gotowe, a kwestie ochrony danych wyjaśnione, pierwszy test w porównaniu z Państwa obecnym sortowaniem jest mniejszą częścią pracy. W przeciwnym razie o harmonogramie decydują uzgodnienia i etykietowanie.

Od czego zaczyna się projekt analizy tekstu?

Zaczyna się od schematu kategorii i dwóch liczb, czyli rocznego wolumenu i kosztu błędnego przypisania. Następnie na próbce mierzy się, jak dobrze wypadają Państwa obecne sortowanie i proste reguły oparte na słowach kluczowych. Dopiero wtedy można ocenić, czy metoda uczenia maszynowego daje szansę na wystarczającą przewagę.

Źródła

  1. Joseph Weizenbaum: ELIZA - A Computer Program For the Study of Natural Language Communication Between Man and Machine. Communications of the ACM 9 (1), 1966, s. 36-45. https://doi.org/10.1145/365153.365168
  2. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin: Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017). https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
  3. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, t. 1, s. 4171-4186, preprint arXiv:1810.04805 z października 2018 r. https://doi.org/10.18653/v1/N19-1423
  4. Armand Joulin, Edouard Grave, Piotr Bojanowski, Tomas Mikolov: Bag of Tricks for Efficient Text Classification. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL), t. 2, Short Papers, 2017, s. 427-431. https://aclanthology.org/E17-2068/
  5. Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. (ogólne rozporządzenie o ochronie danych), art. 4 pkt 1 („dane osobowe”) i art. 9 ust. 1 („Przetwarzanie szczególnych kategorii danych osobowych”). https://eur-lex.europa.eu/legal-content/PL/TXT/HTML/?uri=CELEX:32016R0679
  6. Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, Pascale Fung: Survey of Hallucination in Natural Language Generation. ACM Computing Surveys 55 (12), 2023, s. 1-38. https://doi.org/10.1145/3571730

Policzmy razem Państwa wolumen tekstów

Roczny wolumen, obecny czas sortowania i koszt błędnego przypisania wystarczą do pierwszej oceny, czy metoda uczenia maszynowego opłaca się w Państwa firmie.

Zarezerwuj bezpłatną rozmowę wstępną