Przejdź do treści

Jak AI się uczy? Trening modeli od danych do odpowiedzi, bez wzorów

Adam Marzec
Ilustracja treningu modelu AI: tekst przechodzi przez warstwy sieci neuronowej z regulowanymi wagami, a z drugiej strony wychodzi poprawiona odpowiedź

Model językowy uczy się przez powtarzanie jednej mechanicznej czynności: przewiduje kolejny fragment tekstu, liczy, o ile się pomylił, i koryguje miliardy własnych nastaw, żeby następnym razem trafić bliżej. Nic w tym procesie nie przypomina czytania książek po ludzku. To pętla prób i błędów liczona na tysiącach procesorów, z liczbami zamiast ocen. Jak ta pętla działa, pokazuję od zera: sieć neuronowa, wagi, pretraining, fine-tuning i RLHF, potem dane, koszty, spory prawne i wnioski dla użytkownika. Z tego jednego procesu wynika większość tego, co znasz z codziennej pracy z czatami AI: znajomość polskiego, skłonność do zmyślania i nieświadomość wydarzeń po dacie cutoffu. Jeśli dopiero zaczynasz, Podstawy AI to hub całej serii z podstawami ułożonymi po kolei.

Czym jest sieć neuronowa, kiedy „sieć” nie znaczy mózg?

Pod tym pojęciem kryje się coś mniej tajemniczego, niż podpowiada nazwa. Glosariusz uczenia maszynowego Google definiuje sieć neuronową jako model zawierający co najmniej jedną warstwę ukrytą, a warstwę jako zbiór neuronów. Sama nazwa jest z biologii zapożyczona luźno: autorzy glosariusza piszą wprost, że sieci komputerowe nazywa się czasem sztucznymi, żeby odróżnić je od sieci w mózgach i układach nerwowych. Neuron w takiej sieci to kawałek arytmetyki, nie komórka: mnoży wejścia przez swoje wagi, sumuje wynik i przekazuje go dalej.

Wagi to serce całego tematu. Każda jest zwykłą liczbą, czymś w rodzaju nastawki przy pokrętle: większa wzmacnia wpływ danego wejścia, mniejsza osłabia. Model językowy ma takich nastaw miliardy i nie wie o niczym w sensie, w jakim wie człowiek; cała jego wiedza jest rozsmarowana po tych liczbach. Dokumentacja Hugging Face opisuje duże modele językowe przez pryzmat rozmiaru, objętości danych treningowych i zdolności do wielu zadań bez osobnego treningu dla każdego.

Moim zdaniem najprościej myśleć o modelu jak o radiu z bilionem pokręteł: stacja istnieje niezależnie od ciebie, ale żeby ją usłyszeć, pokrętła muszą stać w odpowiednich pozycjach. Ta analogia jest poglądowa, nie dosłowna. Trening, o którym piszę niżej, to właśnie szukanie tych pozycji. Samą nazwę rozpisałem osobno w tekście czym jest LLM.

Na czym polega trening: przewidź, porównaj, skoryguj, powtórz?

Cały trening dużego modelu językowego sprowadza się do jednego zadania: odgadnięcia następnego tokenu, fragmentu tekstu wydzielonego przez tokenizację. Jeśli to pojęcie jest ci obce, co to jest token AI wyjaśnia je od podstaw. Dokumentacja Hugging Face opisuje mechanikę precyzyjnie: model predykuje następny token w sekwencji na podstawie tylko poprzednich, bez wglądu w to, co jest dalej. Do tego dochodzi nieintuicyjny szczegół: taki trening nie potrzebuje etykiet, bo właściwa odpowiedź jest ukryta w samym tekście, kolejne słowo jest jednocześnie etykietą.

Pętla wygląda tak. System bierze paczkę przykładów i przepuszcza ją przez sieć, dostając predykcje. Porównuje predykcję z faktycznym rozwinięciem tekstu, a różnica między nimi to strata. Potem algorytm zwany propagacją wsteczną koryguje wagi neuronów tak, żeby strata spadła; glosariusz Google opisuje to jako cykl dwóch przebiegów: w przód sieć liczy predykcje, w tył ustawia wagi neuronów we wszystkich warstwach ukrytych. Całość nosi nazwę gradient descent, iteracyjnego dokręcania wag, aż trafią na kombinację minimalizującą stratę. Po każdej korekcie model dostaje nową porcję przykładów i wszystko zaczyna się od nowa, miliony razy.

Wielkość pojedynczej korekty reguluje learning rate, mnożnik decydujący o tym, jak mocno każde pokrętło się przesunie. Za duży i model przestrzeli, za mały i trening będzie się pełzał miesiącami. Analogia z uczniem odgadującym zakończenie zdania jest poglądowa, nie dosłowna: trening to biliony prób na tysiącach układów scalonych, nie jedna głowa i setki kartek. Samego treningu modelu frontowego nie uruchamiałem, opisuję mechanikę z dokumentacji producentów i materiałów edukacyjnych Hugging Face.

Skąd się biorą „miliardy parametrów”?

Parametr to inaczej waga: jedna liczba, którą trening zmienia. Gdy producent chwali się modelem o 8 miliardach parametrów, mówi o 8 miliardach nastawek, nie o 8 miliardach faktów zapamiętanych wprost. Rozmiar mierzy objętość układu, nie jego mądrość, choć większe modele wypadały w testach lepiej; zależność ta jest słabsza, niż sugeruje marketing.

Liczby podają jednak nie wszyscy. Meta opublikowała parametry rodziny Llama 3.1: warianty 8B, 70B i 405B, pretraining na ok. 15 bilionach tokenów z publicznie dostępnych źródeł, premiera 23 lipca 2024. W dokumentacji GPT-6, Claude czy Gemini takich liczb szukałem bezskutecznie; producenci podają tam cutoffy wiedzy i limity użycia, rozmiarów modeli nie podano. Zapisuję to wprost, bo po sieci krążą tabele z „liczbą parametrów GPT-6″ bez podania pochodzenia.

Wagi gotowego modelu to jednocześnie jego plik. Stan parametrów zapisany w trakcie albo po treningu glosariusz Google nazywa checkpointem; z takiego zapisu powstają pliki, które pobierasz, gdy sięgasz po otwarte modele. Otwarte wagi to nic innego jak efekt zakończonego treningu udostępniony do ściągnięcia, o czym szerzej piszę w tekście o otwartych modelach AI.

Co robią kolejne etapy: pretraining, fine-tuning i RLHF?

Pretraining to pierwszy etap i wg glosariusza Google początkowy trening modelu na wielkim zbiorze danych. Po nim model potrafi przewidywać tekst, ale zachowuje się jak olbrzym, który zna język, a nie umie się nim posługiwać; autorzy glosariusza nazywają je wprost clumsy giants, niezdarnymi gigantami, i zalecają doszlifowanie. Przez tygodnie na tysiącach procesorów model łapie gramatykę, fakty i style pisania z zasobów, których nikt nie zobaczy w całości.

Fine-tuning to doszlifowanie na mniejszym, staranniejszym zbiorze. Model widzi tysiące przykładów dialogów albo zadań z odpowiedziami i uczy się formy: odpowiadać na pytanie zamiast kontynuować tekst, odmówić, gdy prośba wykracza poza granice, trzymać się przyjętej roli. Glosariusz Google wymienia tu obok zwykłego fine-tuningu między innymi instruction tuning, trening na poleceniach.

RLHF, uczenie ze wzmocnieniem z informacją zwrotną od ludzi, wchodzi do gry, bo jakości odpowiedzi nie da się zamknąć w prostej formule. Blog Hugging Face opisuje trzy kroki: bierze się wytrenowany model, trenuje model nagrody na rankingach, w których ludzie wybierali lepszą z dwóch odpowiedzi, i dostraja właściwy model metodami uczenia ze wzmocnieniem, zwykle algorytmem PPO, żeby częściej wypuszczał odpowiedzi wysoko oceniane. Przy tym pilnuje się, żeby model nie oddalił się za daleko od wersji wyjściowej i nie zaczął gonić nagrody bełkotem.

EtapCo się dziejeCo to daje użytkownikowi
Pretrainingprzewidywanie tokenu na bilionach słówznajomość języka i faktów
Fine-tuningtrening na przykładach zadań i dialogówodpowiada na polecenia, nie kontynuuje tekstu
RLHFludzie rankują odpowiedzi, model nadrabiaprzyzwoity ton i odmowy w granicach

Kolejność nie jest przypadkowa i warunki brzegowe mają tu znaczenie: bez pretrainingu fine-tuning nie ma na czym pracować, bez fine-tuningu RLHF honowałby model, który zna tylko statystykę tekstu. Te trzy etapy razem dają znany ci efekt: czat, który mówi po polsku, trzyma się tematu i pilnuje granic.

Skąd biorą się dane treningowe i co na to prawnicy?

Pełny skład danych OpenAI opublikowała ostatni raz w pracy naukowej o GPT-3 z 2020 roku. Miks wyglądał tak: przefiltrowany Common Crawl, czyli zrzuty stron z sieci, 410 miliardów tokenów i 60% miksu; zbiór WebText2, 22%; dwa zbiory książek po 8%; Wikipedia 3%. Autorzy napisali wprost, że zbiory nie są próbkowane proporcjonalnie do rozmiaru, te uznane za lepszej jakości trafiały do treningu częściej. Z Common Crawl zostało 570 GB po filtracji z 45 TB surowca z lat 2016-2019.

Współczesne modele mieszają podobne składniki na większą skalę, ale dokładnych proporcji producenci już nie podają. Anthropic kieruje po szczegóły do swojego Transparency Hub, OpenAI składowych miksu nie publikuje. Zapisuję to wprost: dokładny skład danych treningowych obecnych komercyjnych modeli jest niepodany, procenty z losowych tabel traktuj jako zgadywankę.

Polskiego surowca jest obiektywnie mało. Wg licznika W3Techs z 15 października 2026 strony po polsku to 1,8% internetu, dziesiąte miejsce wśród języków treści, wobec 49,5% po angielsku. Prawo to osobna historia. New York Times pozwał OpenAI i Microsoft w grudniu 2023 przed sąd federalny na Manhattanie, żądając zakończenia praktyki trenowania czatów na swoich artykułach. Anthropic w 2025 ugodził się z autorami książek na 1,5 miliarda dolarów, ok. 3 tys. USD za dzieło przy ok. 500 tys. pozycji, i zobowiązał się zniszczyć pobrane kopie; sędia zatwierdził ugodę 25 września 2025. Biblioteka pirackich książek LibGen, według doniesień użyta w zbiorach treningowych OpenAI, ma własną odsłonę w tekście o OpenAI i LibGen.

Ile kosztuje trening jednego modelu?

Firmy nie publikują rachunków, więc wszystko poniżej to szacunki nazwanych instytucji. Stanford AI Index policzył, że trening GPT-4 zużył ok. 78 mln USD mocy obliczeniowej, a Gemini Ultra ok. 191 mln USD. Epoch AI w analizie z czerwca 2024 na 45 modelach frontowych wyliczyło, że koszty finalnych runów rosną 2,4 raza rocznie od 2016 roku i że największe treningi będą kosztować ponad miliard dolarów przed 2027; sama Gemini Ultra wymagała szacunkowo 35 MW mocy.

Interesujący jest rozkład tych kwot. Sprzęt to 47-67% kosztu całego rozwoju modelu, wynagrodzenia zespołów badawczych 29-49%, energia 2-6%. Krzem dominuje, ale ludzie potrafią dojść do połowy budżetu. Ile kosztował trening GPT-6 albo Claude Sonnet 5.5, nie podano; publikowane analizy opisują starsze generacje.

Dlaczego model po treningu niczego nie uczy się dalej?

Trening i korzystanie z modelu to dwie różne czynności. W trakcie rozmowy wagi nie drgną: twoje zdania trafiają do kontekstu, czyli pamięci podręcznej na czas jednej rozmowy, a nie do miliardów parametrów. Model odgaduje kolejne tokeny z nastawami, które dostał w fabryce. Dopisanie wiedzy to nowy run treningowy i nowa wersja modelu, nie tło za okienkiem czatu.

Stąd cutoff wiedzy, data, po której model świata już nie widział. Dokumentacja Anthropica podaje dla czterech aktualnych modeli Claude, w tym Fable 5.1 i Sonnet 5.5, cutoff danych na czerwiec 2026. Dokumentacja OpenAI wylicza GPT-6 Astra i GPT-6.1 Sol z cutoffem 30 kwietnia 2026 oraz GPT-6 Lunę z 18 maja 2026. Te daty sprawdzałem 15 października 2026; Gemini w dokumentacji deweloperskiej cutoffów nie podaje.

Czy model uczy się od użytkowników? W ograniczonym, prawniczym sensie tak. Warunki korzystania OpenAI obowiązujące od 1 stycznia 2026 mówią, że firma może używać treści użytkowników do rozwoju i doskonalenia usług, i dają opt-out z trenowania modeli na twoich danych. To nie jest jednak nauka na żywo: twoja rozmowa nie zmienia modelu pod twoimi palcami, najwyżej trafi do materiału, z którego kiedyś powstanie następna wersja.

Co użytkownik ma z tego praktycznego?

Halucynacje biorą się z mechaniki treningu, nie z błędu programisty. Praca naukowa z września 2025 stawia tezę, że procedury treningu i ocen nagradzają zgadywanie bardziej niż przyznanie się do niepewności; autorzy porównują modele do studentów, którzy przy trudnych pytaniach egzaminacyjnych strzelają, zamiast napisać „nie wiem”. Gdy model nie umie odróżnić faktów od wiarygodnie brzmiących zmyśleń, sama statystyka pcha go w stronę odpowiedzi, choćby zmyślonej. Po polsku rozpisałem to osobno w tekście o halucynacjach AI.

Druga konsekwencja to jakość polskiego. Skoro po polsku jest 1,8% stron internetu, a po angielsku 49,5%, surowca do nauki naszego języka jest kilkadziesiąt razy mniej. Mniej danych zwykle znaczy więcej potknięć, choć publikowanej liczby porównawczej nie ma i nie zmyślam jej. Moim zdaniem widać to w drobnych szwach: składnia poprawna, ale rzadsze kolokacje i słabsza znajomość lokalnych realiów.

Trzecia: skoro model nie uczy się w rozmowie, rolę „douczania” przejmuje kontekst. Wklejasz dokument, definicje, własny styl i model pracuje na tym do końca rozmowy; to naklejka na gotowym silniku, nie rozbudowa silnika. Dlatego ta sama prośba w świeżym oknie daje inny wynik. Na marginesie: dzisiejszy schemat treningu nie jest dogmatem, Yann LeCun buduje modele świata jako alternatywną koncepcję uczenia, w której rozumienie zasad świata jest ważniejsze niż przewidywanie tokenów.

Najważniejsze informacje

TematKonkretŹródło (odczyt 15.10.2026)
Zadanie treninguprzewidzenie następnego tokenuHugging Face docs
Korekta błędówgradient descent i propagacja wstecznaglosariusz Google
Llama 3.18B, 70B, 405B; ok. 15 bln tokenówkarta modelu HF
Parametry GPT-6 i Claudenie podanodocs OpenAI i Anthropic
Koszt treningu GPT-4ok. 78 mln USDStanford AI Index 2024
Koszt treningu Gemini Ultraok. 191 mln USDStanford AI Index 2024
Ugoda Anthropic1,5 mld USD, zatwierdzona 25.09.2025Reuters
Polski w sieci1,8% stron, 10. miejsceW3Techs

Najczęstsze pytania

Jak trenuje się AI?

Przez powtarzalną pętlę: model przewiduje kolejny fragment tekstu, porównuje go z oryginałem i poprawia miliardy wag, żeby mylić się rzadziej. Składają się na to pretraining na wielkim korpusie, doszlifowanie na przykładach zadań i uczenie ze wzmocnieniem z ocenami ludzi. Wiedza modelu to efekt tej pętli, nie kopiowanie stron do bazy.

Jak się trenuje model AI?

Najpierw model uczy się przewidywać dalszy tekst na ogromnym zbiorze danych z internetu, książek i Wikipedii. Potem dostaje mniejszy, staranniejszy zestaw przykładów dialogów i poleceń, a na końcu ludzie rankują jego odpowiedzi i model nadrabia w stronę preferowanych. Dokładny przepis dla konkretnych komercyjnych modeli producenci nie podają.

Co to jest sieć neuronowa?

To model matematyczny zbudowany z warstw prostych jednostek, neuronów, z których każdy mnoży wejścia przez swoje wagi i przekazuje wynik dalej. Nazwa zapożyczona z biologii jest luźnym nawiązaniem; glosariusz Google wprost odróżnia sieci komputerowe od sieci w mózgach. Podczas treningu zmieniają się tylko wagi, czyli liczby przypisane połączeniom.

Na jakich danych trenuje się ChatGPT?

OpenAI opisała pełny skład w 2020 roku dla GPT-3: przefiltrowany Common Crawl, 60% miksu, plus zbiór linków polecanych, dwa zbiory książek i Wikipedia. Składu danych obecnych modeli firma nie publikuje, więc dokładnie nie podano. Z warunków korzystania wynika dodatkowo, że do treningu mogą trafiać rozmowy użytkowników, z możliwością wyłączenia.

Czy ChatGPT uczy się od użytkowników?

Tak w sensie prawnym, nie w czasie rzeczywistym. Warunki OpenAI obowiązujące od 1 stycznia 2026 pozwalają firmie używać treści użytkowników do treningu i doskonalenia modeli, z opt-outem w ustawieniach. Rozmowa nie zmienia jednak wag na bieżąco, wiedza trafia do modelu najwcześniej w treningu następnej wersji. Stąd cutoff: GPT-6 Astra i Sol mają dane do 30 kwietnia 2026, Luna do 18 maja 2026.

Źródła

Powiązane artykuły