Przejdź do treści

Sieć neuronowa co to jest i jak działa? Prosto, bez wzorów

Adam Marzec
Schemat sieci neuronowej zbudowanej z trzech warstw kółek połączonych liniami, z podpisami warstwa wejściowa, warstwy ukryte i warstwa wyjściowa

Gdy piszesz wiadomość do czatu AI albo dyktujesz SMS przez mikrofon, w tle pracuje sieć neuronowa. Ten sam wynalazek wyłapuje spam w skrzynce, znajduje twarze na zdjęciach i tłumaczy instrukcje z języka, którego nie znasz. Nazwa brzmi jak z podręcznika neurobiologii i częściowo słusznie, bo pierwsze modele wzorowano na komórkach nerwowych, przy czym podobieństwo do mózgu kończy się po dwóch zdaniach i lepiej traktować je jako ciekawostkę historyczną niż opis działania. W tym tekście rozbieram sieć neuronową na części: pojedynczy neuron, wagi, warstwy i trening, który je skleja. Bez jednego wzoru. To kolejny tekst z serii prowadzonej na stronie Podstawy AI, w której po kolei wyjaśniam pojęcia, których branża AI używa tak, jakby znał je każdy.

Sieć neuronowa co to jest?

Najkrótsza uczciwa definicja brzmi tak: to model uczenia maszynowego, w którym bardzo proste elementy zwane neuronami ustawia się w warstwy, a sieć sama uczy się rozpoznawać wzorce, dopasowując liczby zwane wagami. Tak definiuje to IBM, i dokładnie tak będę o tym pisał przez resztę tekstu. Polska Wikipedia dodaje kontekst nazwy: to system przetwarzania informacji, którego budowa jest w pewnym stopniu wzorowana na biologicznym systemie nerwowym, choć redaktorzy hasła od razu zaznaczają, że schematy połączeń wybiera się arbitralnie i nie odwzorowują one rzeczywistych struktur mózgu. Skoro o mózgu mowa, warto od razu zrzucić balast: współczesne sieci neuronowe nie próbują modelować pracy mózgu, a jako model neurobiologii wypadają słabo. To narzędzie matematyczne, które kiedyś dostało biologiczną kryptonimę i już jej nie zdejmuje.

Teraz analogia, na której opiera się cały tekst. Wyobraź sobie komisję rekrutacyjną oceniającą kandydatów. Każdy członek komisji patrzy na te same kryteria, ale każdy ma swoją wagę opinii: dla jednego liczy się doświadczenie, dla innego certyfikaty, dla jeszcze innego to, jak kandydat odpowiada na niewygodne pytania. Nikt nie dostał instrukcji z regułami. Zamiast tego komisja widziała już tysiąc ocenionych osób i po każdej rekrutacji coś sobie poprawiła: może doświadczenie wcale nie przewiduje wyników w pracy, a szczerość na rozmowie tak. Sieć neuronowa działa w tym stylu, tylko członków komisji są tysiące albo miliony, każda opinia jest liczbą, a każda waga również.

Trzecia rzecz, którą trzeba zrozumieć na starcie: sieć nie dostaje reguł pisanych przez człowieka. Najbardziej wyróżniającą cechą tych systemów, jak podaje polskie hasło encyklopedyczne, jest zdolność uczenia się na podstawie przykładów i automatyczne uogólnianie zdobytej wiedzy. Dostajesz dane z odpowiedziami (to zdjęcie pokazuje kota, to nie), a sieć dobiera wagi tak, żeby na kolejnych przykładach odpowiadać podobnie dobrze. To odwrócenie klasycznego programowania, w którym to człowiek spisuje reguły, jest całym sekretem, dla którego sieci neuronowe zjadły dotychczasowe podejścia do rozpoznawania obrazów i tekstu.

Jak działa pojedynczy neuron sztuczny?

Pojedynczy neuron to najmniejszy element układanki i da się go opisać w trzech ruchach. Na wejściu przyjmuje liczby: to mogą być piksele zdjęcia, wartości pomiarów albo wyniki pracy innych neuronów. Każde wejście ma swoją wagę, czyli liczbę mówiącą, jak mocno się liczy. Neuron mnoży wejścia przez wagi, sumuje wynik i przepuszcza go przez coś, co nazywa się funkcją aktywacji. Na wyjściu dostajesz jedną liczbę, która idzie dalej, do neuronów w następnej warstwie. Tyle. Cała „magia” to mnożenie, sumowanie i jedna decyzja, czy neuron przemówi mocno, słabo albo wcale.

Wróćmy do komisji. Neuron to jeden członek komisji, który przygląda się jednym kryterium. Waga mówi, ile ten głos znaczy: wysoka waga to kryterium rozstrzygające, waga bliska zera to kryterium ignorowane, a waga ujemna to kryterium, które psuje ocenę, jak spóźnienie na rozmowę kandydata, który ma świetne CV. Żaden członek nie widzi całej rekrutacji. Widzi swój wycinek, głosuje zgodnie z nim i tyle. Jeśli brzmi to zbyt prosto, żeby budować z tego inteligentne systemy, to spójrz na skalę: nowoczesne modele mają ogromną liczbę takich neuronów i jeszcze większą liczbę połączeń między nimi, a o tym, ile dokładnie parametrów mają komercyjne modele, producenci zwykle nie informują, więc nie będę wymyślał liczb.

Funkcja aktywacji zasługuje na jedno zdanie, bo w niej siedzi sens całego przeciągania liny. Gdyby neuron po prostu sumował i oddawał sumę, sieć umiałaby wyłapywać wyłącznie proste, liniowe zależności. Aktywacja sprawia, że neuron reaguje nieliniowo: poniżej progu milczy, powyżej przemawia, czasem łagodnie, czasem głośno. Dzięki temu warstwy można układać jedna na drugiej i każda wnosi coś nowego, zamiast powtarzać pracę poprzedniej. Dokładne wzory zostawię podręcznikom; do zrozumienia reszty tego tekstu wystarczy intuicja.

Na koniec puenta tego rozdziału: jeden neuron prawie nic nie umie. Najprostszy historyczny przykład, perceptron, czyli pojedyncza warstwa neuronów decyzyjnych, nie potrafił nauczyć się nawet logicznego XOR, co w 1969 roku wytknęli mu Marvin Minsky i Seymour Papert. Moc zaczyna się, gdy neurony składasz w warstwy.

Warstwy: dlaczego uczenie głębokie jest głębokie?

Neurony w sieci stoją w grupach zwanych warstwami. Pierwsza to warstwa wejściowa, która przyjmuje dane takimi, jakie są: piksele obrazu, liczby z pomiarów, słowa zamienione wcześniej na liczby. Ostatnia to warstwa wyjściowa, która oddaje odpowiedź: kategorię (kot albo nie kot), liczbę (prognoza na jutro) albo rozkład prawdopodobieństwa po możliwych odpowiedziach. A między nimi siedzą warstwy ukryte, właśnie tam dzieje się cała robota. Sygnał płynie od wejścia do wyjścia i po drodze każda warstwa przetwarza go po swojemu.

Po co te warstwy ukryte? Każda z nich buduje z prostych rzeczy coś bardziej złożonego. W sieciach rozpoznających obrazy pierwsze warstwy reagują na krawędzie i plamy koloru, głębsze na narożniki i sylwetki, jeszcze głębsze na twarze albo tablice rejestracyjne. Encyklopedyczne hasło mówi wprost, że głębokie sieci potrafią uczyć się wyrafinowanych reprezentacji hierarchicznych, i to jest dokładnie ten mechanizm. W tekstach działa to podobnie, tylko budulec jest inny: proste cechy znaków i słów składają się wyżej w coś, co w praktyce wygląda jak ogarnianie kontekstu i niuansów zdania.

Słowo „głębokie” oznacza po prostu dużo warstw ukrytych i nic bardziej tajemniczego. Wartość graniczną każdy opisuje trochę inaczej: jedno z haseł encyklopedycznych nazywa sieć głęboką, gdy ma co najmniej dwie warstwy ukryte, inne, poświęcone samemu uczeniu głębokiemu, podaje zakres od trzech do kilkuset czy nawet kilku tysięcy warstw. Ostrej linii nie ma i nie potrzebuję jej do niczego w tym tekście. Gdy w mediach czytasz o deep learningu, mechanicznie chodzi o sieci, które mają warstw ukrytych na tyle dużo, że same budują sobie reprezentacje danych, zamiast dostawać cechy przygotowane ręcznie przez człowieka. Jak uczenie głębokie wpasowuje się w drabinkę sztuczna inteligencja, uczenie maszynowe i uczenie głębokie, opisuję osobno w tekście Co to jest uczenie maszynowe.

Skąd sieć wie, jak ustawić wagi?

Na początku treningu wagi to liczby losowe i sieć odpowiada kompletne bzdury. Trening polega na zapętlonym rytuale: pokaż sieci przykład, porównaj jej odpowiedź z prawidłową, policz, jak bardzo się pomyliła, i popraw wszystkie wagi tak, żeby następnym razem błąd był odrobinę mniejszy. Potem kolejny przykład i milion razy to samo. Po drodze sieć sama odkrywa, które wejścia i które kombinacje wejść coś znaczą, bo te wagi dostają coraz sensowniejsze wartości. Cały ten proces, od danych po pułapki przygotowania zbioru, opisałem dokładnie w tekście Jak AI się uczy, tam zajmuję się nim osobno, tu wrócę tylko do jednego kawałka.

Bo pojawia się pytanie, na którym potyka się niejeden początkujący: skąd sieć wie, która z milionów wag zawiniła, gdy odpowiedź wyszła zła? Odpowiedź nazywa się propagacją wsteczną, po angielsku backpropagation. Błąd liczy się na wyjściu, a potem płynie warstwami do tyłu, od wyjścia do wejścia, i po drodze każdej wadze mówi, w którą stronę i jak mocno powinna się ruszyć. Historia tej metody jest pogmatwana, bo kawałki odkrywano wielokrotnie, ale popularność przyniósł jej artykuł Davida Rumelharta z współpracownikami z 1986 roku w czasopiśmie Nature, który trafił na falę wracającego zainteresowania sieciami. Praktycznie każdy większy trening dzisiejszych modeli używa tej samej idei.

Trzeba jednak uczciwie przyznać jedną rzecz, o której w marketingowej narracji mówią rzadko. Po treningu nikt nie potrafi wyjaśnić, dlaczego konkretna waga ma akurat taką, a nie inną wartość. Polskie hasło encyklopedyczne nazywa sieci neuronowe czarną skrzynką właśnie dlatego: przy dużej liczbie parametrów nie da się prześledzić, jak naprawdę zapadają decyzje. Są próby zbudowania teorii matematycznej pod tym mechanizmem, ale w praktyce rozliczeniowej, w medycynie czy przy decyzjach kredytowych, ta nieprzejrzystość jest realnym problemem, a nie detalą.

Od perceptronu do modeli językowych: krótka historia

Pomysł jest starszy, niż większość ludzi obstawia. W 1943 roku Warren McCulloch i Walter Pitts opublikowali pracę, w której opisali logiczny model komórki nerwowej, i to ich zapis uważa się za narodziny sztucznego neuronu. Była to czysta teoria na papierze, bez maszyny, która by to liczyła.

Sprzęt przyszedł z osobą Franka Rosenblatta, psychologa z Cornella, który bywa nazywany ojcem uczenia głębokiego. W 1957 roku, pracując w Cornell Aeronautical Laboratory, symulował perceptron na maszynie IBM 704, a rok później opisał szczegóły konstrukcji w artykule w czasopiśmie Psychological Review. Zespół złożył potem fizyczną maszynę Mark I Perceptron, w której wagi siedziały na potencjometrach, a korekty wag podczas nauki wykonywały silniczki elektryczne; pierwsza publiczna prezentacja odbyła się 23 czerwca 1960 roku. Przy tej okazji zrobiła się prasa: po konferencji Navy New York Times zacytował zapowiedzi, że maszyna jest zarodkiem elektronicznego komputera, który kiedyś będzie chodził, mówił, widział, pisał, rozmnażał się i będzie świadom własnego istnienia (tłumaczenie moje z oryginału z 1958 roku). Z perspektywy 2026 roku ta zapowiedź wygląda przewrotnie, bo większość z wymienionych umiejętności w podstawowym zakresie faktycznie istnieje, choć potrzebowała sześćdziesięciu lat i skali obliczeń, o jakiej wtedy nikt nie śnił.

Potem przyszła odczepka. Książka „Perceptrons” Minsky’ego i Paperta z 1969 roku pokazała, że jednowarstwowe sieci nie nauczą się nawet XOR, i choć hasło encyklopedyczne odnotowuje, że teza o rzekomej bezradności sieci wielowarstwowych została im przypisana niesłusznie, publikacja realnie ucięła zainteresowanie i finansowanie badań na około dekadę. Powrót zaczął się w latach 80. od propagacji wstecznej z artykułu w Nature, o której pisałem wyżej. Przełom praktyczny przyszedł w październiku 2012 roku, gdy sieć AlexNet Alexa Krizhevsky’ego, Ilji Sutskevera i Geoffreya Hintona wygrała wielkoskalowy konkurs rozpoznawania obrazów ImageNet z wyraźną przewagą nad dotychczasowymi metodami; pokazała przy okazji, że karty graficzne świetnie nadają się do treningu.

Reszta to już historia, którą znasz z wiadomości. W 2017 roku badacze z Google opublikowali pracę „Attention Is All You Need”, w której opisali architekturę transformera, opartą na mechanizmie uwagi zamiast sekwencyjnego przerabiania tekstu. Warianty transformera stały się podstawą wielkich modeli językowych. Jeśli chcesz pójść tą ścieżką głębiej, pisałem już o tym, co to jest LLM i jak działają embeddingi, czyli liczby, na które zamienia się słowa, żeby sieć mogła je trawić. Mechanicznie rzecz biorąc, czat, z którego dziś korzystasz, to nadal ta sama idea z 1943 roku: neurony, wagi, warstwy. Urósł skalą o rzędy wielkości i zmienił architekturę, ale rdzeń został.

Gdzie sieci neuronowe pracują dziś?

Najpierw przykłady nudne, czyli te z życia codziennego, w których sieci pracują od dawna. Programy do rozpoznawania pisma, które zamieniają skan faktury w tekst, oraz systemy na lotniskach sprawdzające, czy prześwietlony bagaż zawiera coś niebezpiecznego: to jedne z najpopularniejszych zastosowań wymienianych w polskim haśle encyklopedycznym. Filtry spamu w skrzynce pocztowej dopisuje do listy encyklopedia angielska, prognozy i rozpoznawanie twarzy IBM. Rozpoznawanie mowy, na którym stoją asystenci głosowi tacy jak Amazon Alexa i automatyczne transkrypcje, to również praca sieci neuronowych, które radzą sobie mimo różnej barwy, tonu, języka i akcentu mówiącego. W samochodach z systemami wizyjnymi sieci rozpoznają znaki drogowe i innych uczestników ruchu.

Druga grupa to ta, o której piszą media. Encyklopedyczne hasło wymienia chatboty, duże systemy generowania tekstu, obrazów i wideo oraz robotykę jako typowe zadania sieci neuronowych. W medycynie sieci wykorzystywano już do diagnozowania nowotworów, a uczenie głębokie aplikuje się w analizie obrazów medycznych, bioinformatyce i projektowaniu leków, osiągając wyniki porównywalne z ekspertami, a miejscami je przewyższając. W cyberbezpieczeństwie odróżniają legalny ruch od złośliwego. Trudno dziś znaleźć obszar technologii, w którym czegoś takiego nie ma, więc gdy czytasz o kolejnej nowości AI, możesz założyć, że pod spodem stoi sieć neuronowa, nawet gdy komunikat prasowy tego słowa nie używa.

Warto na koniec oddzielić technikę od narracji. Sieci neuronowe to dziś substrat całej branży AI i właśnie dlatego rozmowy o sztucznej ogólnej inteligencji, które opisywałem w tekście co to jest AGI, w praktyce dotyczą pytania, co się stanie, gdy takie sieci skaluje się dalej. Mechanicznie jednak nic się w zasadzie nie zmienia: liczby wchodzą w warstwę wejściową, wagi ważą głosy neuronów, na wyjściu wychodzi odpowiedź, a trening poprawia wagi na przykładach. Jeśli to rozumiesz, masz w głowie cały szkielet, na którym da się powiesić każdą nową zapowiedź z branży i ocenić, co w niej jest nowego, a co tylko marketing.

Najważniejsze informacje

ElementDo czego służyAnalogia
Neuron sztucznyPrzyjmuje liczby na wejściu i oddaje jedną liczbę na wyjściuCzłonek komisji z własnym zdaniem
WagiMówią, jak mocno każde wejście wpływa na wynikSiła głosu każdego z członków
Funkcja aktywacjiDecyduje, czy neuron przemówi i jak głośnoPróg, po którym członek bierze głos
Warstwa wejściowaPrzyjmuje dane: piksele, liczby, słowaMateriały dostarczone przed posiedzeniem
Warstwy ukryteSkładają proste cechy w złożone wzorceKolejni recenzenci, każdy patrzy z innej strony
Warstwa wyjściowaZwraca odpowiedź: kategorię albo liczbęWerdykt komisji
TreningPoprawia wagi na przykładach, aż odpowiedzi są trafneDebriefing po każdej rekrutacji
Sieć głębokaMa dużo warstw ukrytych, wyłapuje złożone zależnościKomisja z wieloma szczeblami oceny

Najczęstsze pytania

Sieć neuronowa co to jest?

To model uczenia maszynowego zbudowany z prostych elementów zwanych neuronami, ułożonych w warstwy. Sieć uczy się rozpoznawać wzorce na przykładach, dopasowując liczby zwane wagami, zamiast dostawać reguły napisane przez człowieka. Nazwa pochodzi od komórek nerwowych, ale sieci neuronowe nie modelują pracy mózgu.

Czym jest sieć neuronowa w AI?

To technika, na której stoją współczesne systemy sztucznej inteligencji: od czatów, przez rozpoznawanie mowy i obrazów, po generowanie zdjęć. Po angielsku mówi się artificial neural network, w skrócie ANN. Sama sieć to element większej konstrukcji, nie cała sztuczna inteligencja.

Jak działa sieć neuronowa?

Każdy neuron przyjmuje wejścia liczbowe, mnoży je przez wagi i sumuje, a wynik przepuszcza przez funkcję aktywacji. Neurony stoją w warstwach: wejściowej, ukrytych i wyjściowej, a sygnał płynie od danych do odpowiedzi. Wagi dobiera trening na przykładach, poprawiając je tak, żeby błąd odpowiadał coraz mniejszy.

Co to jest perceptron?

Najprostsza sieć neuronowa w historii, opisana przez Franka Rosenblatta w 1958 roku, a rok później zbudowana też jako fizyczna maszyna Mark I. Składa się z jednej warstwy neuronów decyzyjnych i potrafi rozdzielać dane na dwie grupy. Nie nauczy się zadań, których nie da się rozciąć jedną prostą granicą, i ta właśnie granica sprawiła, że krytyka z 1969 roku sparaliżowała dziedzinę na dekadę.

Czy sieć neuronowa to to samo co sztuczna inteligencja?

Nie. Sieć neuronowa jest narzędziem, jednym z budulców systemów sztucznej inteligencji, a nie synonimem AI. Większość dzisiejszej AI, o której czytasz w wiadomościach, faktycznie opiera się na sieciach, ale sama dziedzina jest szersza i starsza. Rozróżnienie najlepiej widać na drabince: AI zawiera uczenie maszynowe, a uczenie głębokie, czyli głębokie sieci neuronowe, jest jego częścią.

Źródła

Powiązane artykuły