Przejdź do treści

Esej Goodfire: sieci neuronowe są już czyste, nie czarna skrzynka

Adam Marzec
Karta z nagłówkiem neurony bez chaosu, chipami Goodfire, HN 806 i Interpretacja, trzema kartami metryk: wątek HN 806 punktów, 65 minut czytania i 99-100 procent neuronów InceptionV1, pomarańczowa pieczątka esej badawczy, obraz wyróżniający analizy eseju Goodfire

Dobra wiadomość o sieciach neuronowych przychodzi z niezbyt pewnym tonem. Goodfire, badawcze laboratorium interpretowalności z San Francisco, opublikowało w połowie października tekst o znamiennym tytule Neural Networks Are Already Clean, czyli sieci neuronowe są już czyste. Autorem jest Nick Cammarata, jeden z ludzi, którzy tę dziedzinę w OpenAI budowali, a formę określono wprost jako nieformalny esej badawczy i hipotezę roboczą, na której przeczytanie trzeba zarezerwować 65 minut. Rdzeń tezy brzmi tak: wieloznaczność neuronów, czyli zjawisko, że jeden neuron odpala na wielu niepowiązanych pojęciach, nie wynikała z egzotycznej zasady uczenia, tylko ze zwykłych, w większości naprawialnych problemów.

Wątek na Hacker News zebrał 806 punktów i ponad 300 komentarzy przy moim odczycie 17.10, a reakcje rozjechały się na dwie skrajności. Stawka jest poważna, bo duże laboratoria, w tym Anthropic i OpenAI, budowały od lat narzędzia wokół założenia, że sieć jest splątaną kłębowiną i trzeba ją najpierw rozplątać osobnym modelem. Esej Goodfire twierdzi, że to założenie było w dużej mierze złym odczytem.

Co dokładnie ogłoszono

Kluczowy pojęciowo jest termin polysemanticity, czyli obserwacja, że pojedynczy neuron reaguje na wiele niepowiązanych rzeczy. Dominującym wyjaśnieniem była superposition, zasada, że gdy sieci zaczyna brakować neuronów, zaczyna ona składać w jednym neuronie rzeczy zupełnie niezwiązane, bo sobie nie przeszkadzają. Jedyną drogą zostaje wtedy wytrenowanie drugiego modelu, na przykład sparse autoencoders, który przybliży sieć w formie rozplecionej, i badanie tamtego modelu.

Cammarata pisze wprost, że sam pomagał stworzyć oba wyjaśnienia i przez lata obstawał przy superpozycji. Teraz uważa, że problem był źle postawiony: superpozycję traktowano jak hipotezę zerową, a powinna być ostatnią, bo jej jedynym objawem jest to, że coś nie ma sensu. Nowa teza mówi, że prawie wszystko, co wyglądało na arbitralne pakiety, było błędem narzędzi, defektem architektury albo motywem nazwanym recursive generalization, znacznie mniej niepokojącym.

Neuron kota i samochodu okazał się neuronem litery V

Sercem dowodowym jest powrót do najsłynniejszego wieloznacznego neuronu w historii dziedziny, jednostki 4e:55 w sieci InceptionV1. Ten neuron od lat wędrował po publikacjach jako dowód chaosu, bo odpalał jednocześnie na pyskach kotów i na przodach samochodów. Cammarata, współautor pracy Zoom In z 2020 roku, która ten przykład popularyzowała, przyznaje, że wtedy uznali go za bramkę LUB między kotem a samochodem. Gdy po raz pierwszy zadał sobie pytanie, czym jednym ten neuron może być, odpowiedź przyszła natychmiast: to neuron kształtu V. Wśród jego wejść znalazł płomienie w kształcie V, strugi wody z łodzi pożarniczej i pyski lisów zbudowane z liter V, a na biegunie ujemnym kształty okrągłe. Dosłowny cytat z eseju brzmi: it’s not a cat and car neuron, it’s a V-shape neuron.

Problem okazał się szerszy, bo ostatnia warstwa InceptionV1 była uznawana za nieczytelną w ogóle. Winne były prozaiczne przyczyny: problemy architektoniczne, przez które późne warstwy się przepełniały, plus słabe narzędzia. Po zwyczajnych poprawkach, bez zmiany rozmiaru modelu ani danych, 99-100% neuronów tej warstwy daje się łatwo interpretować. Autor wytrenował wersje sieci w zakresie 300× rozmiaru, czytelne na każdej skali: przy mniejszej pojemności neurony opisują pojęcia grubiej, jak jeden neuron samochodu pokrywający wiele rodzajów aut.

Co to podważa: dogmat superpozycji i przemysł sparse autoencoders

W 2023 roku Anthropic opublikował pracę Towards Monosemanticity, która otworzyła się obserwacją, że neurony zawierają arbitralne mieszanki, i właśnie neuron kot-samochód przywołała jako dowód. Na tej linii zbudowano cały kierunek badań i spory segment narzędzi opartych o słowniki cech. Cammarata pisze, że nie jest przeciw słownikom, ale w takich przypadkach jak neuron V odciągają one od tego, co neuron faktycznie robi: autoenkoder rozłupuje neuron V na cechę samochodu i cechę kota, dwa byty tam, gdzie jest jeden element.

Największe wrażenie robi w eseju rozliczenie z własną pracą. W projekcie automatycznej interpretowalności, który Cammarata uruchomił w OpenAI, czysto wyszło mniej niż 2% neuronów modelu GPT-2 XL. Ekipa Goodfire wróciła do tego samego modelu z nowymi narzędziami, zrobiła 500 opracowań neuronów prawie bez iteracji i teraz około 70% z nich wygląda jak mniej więcej jedna rzecz, choć w pełni krystalicznych jest tylko około 5%. W modelach językowych jest podobnie: na tysiącu opracowań neuronów w Qwen3-32B i Qwen3.6-35B-A3B około 90% ma w zasadzie jedno zadanie, z odgałęzieniami zwykle zostającymi w temacie.

Recursive generalization, czyli uogólnianie fraktalne

Nazwa recursive generalization opisuje prosty mechanizm: neuron rośnie jak gałąź drzewa, wypuszcza odnogi, a odnogi wypuszczają kolejne. Przykład z eseju: neuron odpalający na zbitce dźwiękowej iy wyrasta w kierunku diy, a potem do it yourself, choć ta fraza w ogóle nie zawiera iy. Inny przykład: neuron geologii odpalający dla pierwiastka cezu wyrasta też w stronę CesiumJS, biblioteki JavaScript do rysowania globusów. Rzeczy powiązane dzielą neuron, drzewo podziałów jest fraktalne, więc i wyjaśnienia mogą być fraktalne: najpierw ogólna odpowiedź, potem zoom, gdy potrzeba szczegółów. Esej uczciwie wskazuje, że idea pojawiła się już w 2021 roku w zapomnianej podsekcji pracy Multimodal Neurons.

Jedna z liczbowych sekcji rozbraja inny lęk: że sieć ma ukryte, słabe aktywacje robiące coś ważnego w cieniu. W eksperymencie na modelu wizyjnym usunięcie najsłabszych 75% aktywacji obniża dokładność z 72% do 71%, a usunięcie najsilniejszych 7% rzuca ją z 72% na 4%. Autor przyznaje, że surowa ocena czystości może jeszcze spaść, bo zależy od progów, ale bardziej niż licznik interesuje go przyczyna współdzielenia neuronów, bo od niej zależy, czy da się sieci czytać.

Dobra wiadomość dla audytu i bezpieczeństwa modeli

Najbardziej praktyczna część eseju to demo skalowalności. Zespół pokazuje graf atrybucji, attribution graph, dla Kimi K3, modelu o wielu trylionach parametrów; według autorów to pierwszy opublikowany taki graf dla modelu tej wielkości. Model zapytany, co zrobić ze znalezionym portfelem, łączy portfel, gotówkę i dokument tożsamości właściciela z pojęciami rzecz znalezioną i uczciwością, po czym odpowiada return, czyli oddaj. Autor zastrzega, że pełnych audytów tej skali jeszcze nie robili.

Jeśli można czytać sieć bezpośrednio, szybciej odpowiada się na pytania w stylu: czemu model skłamał albo posłuchał instrukcji wkręconej w dane. Teza o czytelności osłabia też obraz modelu jako układu, którego nikt nigdy nie zrozumie, a ten obraz napędza i pesymizm, i marketing. Cytowany w eseju komentarz Josha Batsona z Anthropica idzie w tym samym kierunku: brakujące kawałki wpasują się w początkową układankę, zamiast leżeć losowo na wierzchu. Głos komentującego antics z HN dodaje gorzkiej nuty: jeśli reprezentacje są naprawdę czytelne, zachowania, którymi martwią się osoby obawiające się ryzyka egzystencjalnego, mogą być prostą interpolacją skatalogowanej wiedzy, i wtedy czytelność problemu niczego nie rozwiąże.

Zastrzeżenia i krytyka

Zacznę od formy, bo tu esej sam sobie podkłada dokumenty. Autor oznacza tekst jako roboczą hipotezę, nie wynik przerecenzowany; techniczna praca z pełnymi liczbami jest dopiero w drodze. Część twierdzeń spoczywa na ocenach jakościowych typu wygląda jak jedna rzecz, a progi pomiarów autor sam uznaje za umowne.

Krytyczne głosy z Hacker News mają swoją logikę. Neel Nanda, jeden z najbardziej znanych badaczy interpretowalności, odpowiedział linkpostem na LessWrong: ciekawa praca, ale nie istotna zmiana w wielkim obrazie dziedziny; chwali grafy atrybucji do praktycznych pytań, odrzuca wnioski o bliskim rozwiązaniu interpretowalności. Sama odpowiedź była z tego adresu IP nieosiągalna, więc cytuję ją za wątkiem HN. Komentujący yurimo ostrzega przed pochopnym uznaniem superpozycji za obaloną: modele będą rosły w złożoność, nie tylko w rozmiar, a przy ciągłym uczeniu neurony mogą się reorganizować. Z kolei _alternator_ bije się z autorem o oznaczenia: błąd w pracy Zoom In zmylił badaczy na lata, więc powinno się mówić o korekcie, może nawet wycofaniu. Po drugiej stronie questionable_ju chwali esej jako elegancki, a sebmellen przytacza post startowy Cammaraty: autor pisze tam, że zaczynał w OpenAI pesymistą, bo czytelne było około 2% neuronów, a dziś widzi większość czytelną aż po tryliony parametrów.

Co to znaczy dla zwykłego użytkownika

Na poziomie codziennego używania narzędzi nic się dziś nie zmienia i dobrze to napisać wprost, bo ta historia nie jest poradnikiem. Zmienia się natomiast pytanie, o które opiera się pół plotkarskiego dyskursu o AI: czy jak ai podejmuje decyzje, da się to kiedyś wyjaśnić, czy czarna skrzynka ai pozostanie na zawsze zamknięta. Esej Goodfire mówi, że skrzynka jest mniej czarna, niż obieg głosi, choć od czytelności w laboratorium do wyjaśnień w produkcie droga jest długa. Dla polskiego czytelnika dochodzi kontekst informacyjny: sprawdziłem Google News po polsku, przy frazie goodfire interpretowalność nie ma ani jednego wyniku, a sama nazwa goodfire zwraca jeden artykuł, i to nie polskiej redakcji, tylko Unite.AI w automatycznym tłumaczeniu, o innym wątku. Pokrycia w polskich mediach na 17.10 nie ma, więc jedyną pełną wersją jest oryginał. Więcej tła znajdziesz w tekstach o tym, czym jest LLM, czym jest sieć neuronowa i jak wygląda uczenie maszynowe, a podstawy po kolei zbiera hub Podstawy AI.

Najczęstsze pytania

Czy sieci neuronowe są naprawdę czyste?

Tego nie wiadomo na pewno i sam esej nie twierdzi, że to udowodniony wynik. To robocza hipoteza poparta badaniami własnymi na kilku modelach wizyjnych i językowych, od InceptionV1 po Kimi K3. Autor jest pewniejszy rodzaju obiektu, jakim jest sieć, niż liczb czystości, które mogą spaść przy zmianie progów.

Czy superpozycja została obalona?

Esej odbiera jej rolę głównego wyjaśnienia wieloznaczności w badanych modelach i proponuje, by w kolejce hipotez stała na końcu, a nie na początku. Nie jest to obalenie matematyczne: krytycy na HN wskazują, że dowody pochodzą od jednego zespołu na wybranych modelach, a przy ciągłym uczeniu zjawisko może wracać w innej postaci.

Kim jest Nick Cammarata?

Badacz interpretowalności, współautor wczesnych prac mechanistycznych w OpenAI, między innymi Zoom In i Multimodal Neurons, a także projektu automatycznej interpretowalności GPT-2 XL, w którym czysto wyszło mniej niż 2% neuronów. Obecnie związany z Goodfire.

Czym jest Goodfire?

Badawcze laboratorium interpretowalności z San Francisco, formalnie public benefit corporation, założone przez ludzi, którzy budowali interpretowalność w OpenAI i Google DeepMind. Sprzedaje produkt o nazwie Silico, agenta interpretowalności do badania i kontrolowania zachowań modeli. Kwot finansowania ze strony firmy nie weryfikowaliśmy drugim źródłem, więc ich nie przytaczamy.

Co to zmienia dla zwykłego użytkownika narzędzi AI?

Na dziś nic praktycznego w produktach, których używasz, ale sporo dla oceny dyskursu o AI. Jeśli teza się utrzyma, twierdzenia w stylu nie da się tego nigdy sprawdzić będą tracić na sile, a audyty modeli staną się realniejsze, od wykrywania konfabulacji po śledzenie, skąd model wziął odpowiedź.

Źródła

Powiązane artykuły