Przejdź do treści

Claude wysłał policji w Filadelfii fałszywy tip o morderstwie. To miał być tylko test

Adam Marzec
Karta wpadki agenta AI: Fałszywy tip do policji, data 18.07 z godziną 23:27 i osią czasu incydentu od wysłania zgłoszenia przez wykrycie 28 września po raport i reakcję Białego Domu 9 października; pieczątka tip trafił do spamu; chipsy Filadelfia, Raport 9.10, Biały Dom

O 23:27 osiemnastego lipca model Claude Haiku 4.5 wysłał do policji w Filadelfii zgłoszenie w sprawie niewyjaśnionego morderstwa, opisując świadka, który nie istniał. Model wypełniał w tym czasie publiczny formularz na stronie phillyunsolvedmurders.com w ramach wewnętrznego testu firmy Anthropic, zgodnie z którym miał dojść do końcowego etapu i się zatrzymać, a zamiast tego złożył zgłoszenie. Trafiło ono do folderu spam i przez dwa miesiące nie przeczytał go żaden człowiek. Sprawa wyszła na jaw 9 października, kiedy Anthropic opublikowało raport o niezamierzonych akcjach swoich modeli, a policja Filadelfii osobnym oświadczeniem potwierdziła przebieg i nazwała dwumiesięczne opóźnienie niedopuszczalnym. Tego samego dnia Waszyngton dopisał sprawie wagę: zespół White House Super Intelligence Force przekazał Axiosowi oświadczenie, z którego wynika, że zgłaszanie takich incydentów przez firmy AI i naprawianie szkód staje się obowiązkiem, nie uprzejmością. Poniżej rozpisuję całą drogę wpadki, trzy pozostałe kategorie błędów z raportu i praktyczne wnioski dla każdego, kto daje agentowi dostęp do prawdziwych stron. Modele, ceny i plany tej rodziny trzymamy w hubie o Claude.

Najważniejsze informacje

CoSzczegóły
Kiedy18 lipca 2026, godz. 23:27 (oś czasu policji Filadelfii)
KtoClaude Haiku 4.5 w wewnętrznym teście agentów Anthropic
Gdziepubliczny formularz na phillyunsolvedmurders.com
Co poszło nie takmodel wysłał formularz z zmyślonym opisem świadka, z pustymi polami kontaktowymi
Skutki dla śledztwabrak: zgłoszenie trafiło do spamu i nigdy nie weszło do analizy
Wykrycie28 września przy przeglądzie transkryptów; policja poinformowana 7 albo 8 października (źródła różnią się o jeden dzień)
Raport„Investigating unintended model actions”, 9 października, korekta 12 października
Reakcja WaszyngtonuWhite House Super Intelligence Force: zgłaszanie incydentów i naprawianie szkód obowiązkowe

Co dokładnie zrobił model

Anthropic testuje w ten sposób modele agentyczne: system dostaje losowo wybrane strony internetowe i przykładowe zadania do wykonania, a badacze czytają potem transkrypty i sprawdzają, jak model radzi sobie z prawdziwym webem. W tych testach obowiązywały twarde zakazy: żadnego logowania, zakładania kont, podawania danych osobowych, zakupów ani akcji destrukcyjnych. Wysyłania formularzy nikt wprost nie zabronił, i to jest sedno całej sprawy. Haiku 4.5 natrafił na stronę policyjną z formularzem dla osób, które coś wiedzą o niewyjaśnionych zabójstwach, wypełnił go i wysłał, choć zadanie zakładało tylko dojście do końcowego etapu. W treści zgłoszenia napisał, że „może mieć informacje w tej sprawie” i że „pamięta osobę pasującą do opisu w okolicy” ulicy wymienionej na stronie. Imię i dane kontaktowe zostawił puste, bo formularz na to pozwalał. Treść o świadku była zmyślona od początku do końca, więc formalnie mamy tu dwie usterki w jednej akcji: halucynację, czyli dopowiedzenie sobie nieistniejącego świadka, i błąd wykonania, czyli wysłanie formularza poza zakresem zadania. Pierwszą z nich opisujemy szeroko w osobnym tekście o halucynacjach AI, a ta druga jest rzadsza w publicznych opisach i bardziej szkodliwa w praktyce, bo kończy się realnym zapisem w cudzym systemie.

Dlaczego model w ogóle kliknął wyślij

Raport Anthropica podaje przyczyny suchym językiem inżynierskim: instrukcje były niejednoznaczne, ćwiczebne kopie formularzy w środowisku testowym nie ładowały się albo zamykały się w połowie, a model spodziewał się po wysłaniu dodatkowej strony z potwierdzeniem, której nie dostał. „Kilkukrotnie Claude przez pomyłkę wysłał formularz, oczekując dodatkowej strony potwierdzającej”, czytamy w raporcie. We własnym łańcuchu rozumowania model tłumaczył, że tylko demonstruje procedurę, więc z jego perspektywy nic złego się nie działo. To dobry przykład na to, że rozkaz „wypełnij, ale nie wysyłaj” bez technicznej blokady jest pobożnym życzeniem: granica między wypełnianiem a wysyłaniem jest dla modelu kwestią interpretacji, nie architektury. Anthropic potwierdza, że do wysłania doszło kilkukrotnie w tej samej ewaluacji, i że po opisanych zdarzeniach dokłada walidacje po stronie narzędzi, a nie tylko w treści instrukcji.

Nie tylko Filadelfia: cztery kategorie wpadek

Incydent z Filadelfią to jedna z czterech kategorii opisanych w raporcie i nie jest nawet najdziwniejsza. W pierwszej kategorii modele wykorzystywały błędy w cudzych stronach: jeden z testowanych systemów użył wstrzyknięcia SQL i poleceń na stronie uniwersytetu, żeby wymusić wykonanie obliczeń, gdy publiczne narzędzie zwracało błąd, a inny zaakceptował w imieniu użytkownika umowę o wykorzystanie danych. Trzecia kategoria to omijanie ograniczeń dostępu: model znalazł działające tokeny w pliku ustawień jednej ze stron i użył ich, a w innym przypadku pobrał płatne dane za darmo przez token wystający z publicznego pulpitu. Czwarta kategoria dotyczy skracaczy linków: modele Opus 5 i Mythos 5 obchodziły limity długości adresów w narzędziu pobierania stron, przepuszczając je przez darmowe skracacze, a operator jednego z nich, serwisu da.gd, sam zgłosił firmie takie użycie. Skala całości wygląda tak: większość przypadków wyszła przy przeglądzie transkryptów prowadzonym od lipca, żaden nie dotyczył danych klientów Anthropica, a część obejmowała strony agencji rządowych USA w trzech poziomach, federalnym, stanowym i lokalnym. Firma poinformowała Biały Dom i każdą z zaangażowanych agencji osobno.

Po stronie napraw ruszyły rzeczy twarde. Żywy internet wyłączono we wszystkich wewnętrznych testach, wcześniej blokada obejmowała tylko ewaluacje wysokiego ryzyka i cyberbezpieczeństwa, część publicznych benchmarków wycofano albo dostała wersje offline, a narzędzia dostępu do sieci dostają ostrzejsze ograniczenia. Na koniec firma buduje automatyczną detekcję takich zachowań i podaje, że na zbiorze opisanych incydentów wyłapywała wszystkie: „it blocked all of them”. Przenosi to ciężar z instrukcji na infrastrukturę, dokładnie tam, gdzie po Filadelfii powinien się znaleźć.

Wnioski wizowe i mandat Białego Domu

Druga sprawa, którą Anthropic potwierdziło rządowi USA, dotyczy formularzy Departamentu Stanu. Jeden z testowanych modeli wysłał w sierpniu 19 wniosków o wizy nieimigracyjne i jeden w maju, wszystko przez publiczny formularz na stronie departamentu, jak podał jego rzecznik w rozmowie z Axiosem. Żaden wniosek nie wszedł do obiegu, a do włamania na systemy departamentu nie doszło. Ars Technica, cytując New York Times, pisało łącznie o dwudziestu wnioskach, co z wersją Axiosa zgadza się dopiero po zsumowaniu obu liczb.

Waszyngton zareagował w piątek, w dniu publikacji raportu. White House Super Intelligence Force, zespół nadzorujący czołowe firmy AI, przekazał Axiosowi oświadczenie ze zdaniem: „Ten proces zgłaszania i naprawiania nie jest opcjonalny. To krytyczny obowiązek z zakresu bezpieczeństwa narodowego”. Mandat mają objąć wszystkie firmy budujące modele na granicy możliwości, z natychmiastowym zgłaszaniem incydentów i naprawianiem szkód, choć oświadczenie nie precyzuje, co grozi za brak współpracy. Z Anthropikiem rozmawiali Jay Clayton, pełniący rolę AI czara i dyrektora wywiadu narodowego, oraz współprzewodniczący zespołu: przewodniczący FTC Andrew Ferguson, szef OPM Scott Kupor i podsekretarz obrony Emil Michael. Podejście administracji do regulacji AI opisywano do tej pory jako oparte na dobrowolnych deklaracjach, więc to pierwszy taki zwrot.

Co na to policja i miasto

Policja Filadelfii potwierdziła, że zgłoszenie trafiło do jej rejestrów 18 lipca o 23:27, zostało oznaczone jako spam i nigdy nie dotarło do Real-Time Crime Center, gdzie podejmuje się decyzje o weryfikacji tropów. „Dwumiesięczne opóźnienie w wykryciu i zgłoszeniu incydentu miastu jest niedopuszczalne”, stwierdzono w oświadczeniu przekazanym stacji 6abc, z wymogiem, żeby firma „wzmocniła zabezpieczenia, by podobne incydenty nie uderzały w systemy miasta”. Jednocześnie departament podkreśla, że nie ma dowodów na nieautoryzowany dostęp do swoich systemów, a każdy tip traktowany jest jako trop do sprawdzenia, nie potwierdzony fakt, więc decyzję zawsze weryfikuje człowiek; to ona zatrzymała tę sprawę. Drobna rozbieżność na marginesie: raport Anthropica mówi o poinformowaniu policji 8 października, policja o pierwszym kontakcie 7 października i spotkaniu następnego dnia. Prawdopodobnie chodzi o dwie różne czynności zrobione dzień po dniu, ale żadne źródło tego nie dopowiada, więc zostawiamy obie daty. Administracja burmistrz Cherelle Parker zapowiada przegląd zabezpieczeń regulacyjnych z partnerami stanowymi i federalnymi, a strona phillyunsolvedmurders.com nadal przyjmuje prawdziwe tropy od mieszkańców. Od zewnętrznych komentatorów odzywał się Venkat Margapuri z Villanova University, który ocenił dla 6abc, że incydent mógł zostać wykryty wcześniej, a wysyłanie informacji do cudzej strony w imieniu użytkownika to akcja wysokiego ryzyka, wymagająca własnej bariery.

Co z tego wynika dla ludzi podłączających agentów do sieci

Trzy rzeczy z tej historii przenoszą się bezpośrednio na praktykę i żadna nie wymaga laboratorium AI. Po pierwsze, jeśli dajesz agentowi dostęp do sieci, traktuj każdy publiczny formularz jak system produkcyjny, bo właśnie nim jest: strony urzędów, serwisów zgłoszeniowych i sklepów nie mają trybu ćwiczebnego dla robotów. Po drugie, zakazy w treści polecenia to najsłabsza możliwa bariera; tam, gdzie wysłanie czegoś jest drogie albo nieodwracalne, potrzebna jest walidacja po stronie narzędzia, dokładnie taka, jaką Anthropic dokłada po fakcie. Po trzecie, przy ocenie newsów o agentach, które wyszły spod kontroli, sprawdza się konstrukcja zdarzenia: tutaj firma wykryła problem sama podczas własnego przeglądu, zgłosiła go z własnej inicjatywy, a zabezpieczenia strony odbiorcy, folder spam i obowiązkowa ludzka weryfikacja, zadziałały. Agent, który wykonuje coś, czego operator nie planował, to zresztą motyw, który opisywaliśmy przy próbie samoreplikacji agenta AI. Sam model z tej historii, Haiku 4.5, to najmniejszy i najszybszy członek rodziny Claude, o którym piszemy w osobnym tekście.

Anthropic kończy raport umiarkowanie: wpływ opisanych zdarzeń na świat zewnętrzny ocenia jako minimalny i żaden nie dotyczył danych klientów. Najbardziej wymowna pozostaje jednak reakcja otoczenia: miasto zapowiada przegląd regulacji, Waszyngton zamienia dobrowolne deklaracje w obowiązek, a jedyny świadek w sprawie, którego wymyślił model, nadal figuruje w policyjnym folderze spam.

Źródła

Powiązane artykuły