Przejdź do treści

90% pracy w USA poza benchmarkami AI. Mapa Mercora pokazuje białe plamy

Adam Marzec
Okładka: mapa pokrycia benchmarków AI, 208 z 923 zawodów, 29 benchmarków, 90% godzin pracy bez pokrycia

Firma Mercor, zespół stojący za benchmarkami APEX, wystawił mapę, która porządkuje rzecz pomijaną w codziennych rankingach modeli: które fragmenty pracy mają w ogóle jakiekolwiek benchmarki AI, a które latają na ślepo. Wynik jest wymowny. 90% amerykańskich godzin pracy przypada na zadania o małym albo zerowym pokryciu benchmarkami. Z 923 zawodów amerykańskiej taksonomii O*NET tylko 208 ma choć jedno zadanie z pięcioma promptami w indeksie, który liczy 29 benchmarków.

Mapa trafiła na Hacker News 16 października i ma 605 punktów przy odczycie 18 października; daty publikacji strona nie podaje, a pierwszy zapis w archiwum Wayback pochodzi z tego samego dnia. Z tego tekstu wynikają trzy rzeczy: skąd te liczby i jak je policzono, dlaczego programowanie jest mierzone dokładnie, a praca biurowa, zarządzanie czy opieka zdrowotna prawie wcale, oraz co to zmienia, gdy wybierasz model do własnych zadań. Uprzedzam: mapy dla polskich zawodów nie ma, wszystkie dane opisują rynek pracy USA.

Najważniejsze informacje

CoSzczegóły
Co opublikowanoMapa benchmarków AI na gospodarce USA w serwisie Mercor Research
Materiał mapy923 zawody O*NET w 22 rodzinach, opisanych 18 797 zadaniami
Pokrycie zadań924 z 18 797 zadań pokryte; próg to 5 promptów benchmarkowych
Pokrycie zawodów208 z 923 zawodów ma zadanie z co najmniej 5 promptami
Indeks benchmarków29 pozycji, w tym APEX Mercora
Główny wniosek90% godzin pracy w USA na zadaniach o małym lub zerowym pokryciu
Rodziny puste6 z 22 rodzin bez żadnego zawodu z zadaniem na 5 promptach
OdbiórWątek HN z 16.10, 605 pkt przy odczycie 18.10; brak prasowych omówień

Co i jak zmierzył Mercor

Szkieletem jest O*NET, taksonomia Departamentu Pracy USA. Dzieli rynek pracy na 923 zawody w 22 rodzinach i opisuje każdy z nich listą zadań, łącznie 18 797 pozycji. Mercor dokłada indeks 29 benchmarków wybranych według kryteriów ze strony: publiczne (od 25 zadań), agentowe, bliskie realnej pracy w firmach, rozłożone na rodziny zawodów i jeszcze niesytuowane, czyli takie, w których najlepsze modele nie osiągnęły maksimum.

Mapowanie wygląda tak: sędzia oparty na modelu językowym przypisuje każdy prompt benchmarkowy odpowiednim zadaniom O*NET (metoda za Wang et al., cytowaną na stronie), a mapowania dla benchmarków APEX sprawdzili ludzcy eksperci, przyjmując 76,7% pierwszych wyborów. Zadanie liczy się jako pokryte od pięciu promptów. Udział godzin pracy w poszczególnych zadaniach pochodzi z szacunków Hatgis-Kessell et al., także cytowanych na stronie mapy. Po zsumowaniu wychodzi 924 pokryte zadania, 208 zawodów z zadaniem na progu i 90% godzin pracy na zadaniach słabo albo wcale niezmierzonych.

Autorzy sami wypunktowują słabości: niepełna lista benchmarków zaniża pokrycie, limit pozycji na rodzinę zawodów ścina programowanie, a wymóg niesytuowania, czyli odrzucania benchmarków, na których modele osiągnęły już maksimum, może zaniżać pokrycie tam, gdzie zadania są po prostu łatwe. Sprawdzili też pomysł ważenia wyników według zadań O*NET na czterech zawodach (bankowość inwestycyjna, prawo, księgowość, inżynieria oprogramowania) i wyszło, że mniej niż jedna trzecia zadań tych zawodów ma dość promptów, by wejść do średniej.

Programowanie mierzone najlepiej, biuro prawie wcale

Rozkład po rodzinach zawodów mówi więcej niż sama liczba 90%. Computer & Math ma pokrycie w 29 zawodach na 36, Business & Financial 33 na 48, prawo 5 na 7. Dalej robi się cienko: Office & Admin 21 na 51, Management 21 na 56, Science 15 na 60, Healthcare Practitioners 12 na 89, Education & Library 9 na 62, Sales 6 na 22. Sześć rodzin z 22 nie ma żadnego zawodu, którego choć jedno zadanie dochodzi do progu pięciu promptów.

Mercor pokazuje też, że pokrycie nie jest losowe. Zadania oznaczone jako eksponowane na AI (tagi z pracy Eloundou et al. z 2023) są około 6 razy częściej reprezentowane w benchmarkach niż reszta. Po uwzględnieniu ekspozycji liczy się wielkość: im większy roczny fundusz płac zawodu (oś idzie od 500 mln do 50 mld dolarów), tym większe prawdopodobieństwo pokrycia. Zadania oceniane w O*NET jako najważniejsze w zawodzie są 6-10 razy częściej testowane niż te z dołu skali. Autorzy dają przykład: mocno pokryte zadania prawników i niemal nieobecne w benchmarkach zadania podobnie eksponowanych sekretarek prawnych i urzędników sądowych.

Jest i twarda granica metody. Z pracy Dingela i Neimana, cytowanej na mapie, wynika że tylko 37% miejsc pracy w USA da się wykonać w całości zdalnie. Reszta ma komponent fizyczny, którego obecne benchmarki agentowe nie obejmują z definicji, bo testują pracę na laptopie.

Kto stoi za badaniem

Mercor to startup z San Francisco założony w 2023 przez troje dwudziestolatków ze stypendiami programu Petera Thiela: Brendana Foody’ego (CEO), Adarsha Hirematha (CTO) i Suryę Midhę (COO). Firma łączy laboratoria AI z ekspertami domenowymi do treningu i ewaluacji modeli, pobierając opłaty godzinowe. Według TechCrunch z 27 października 2025 na liście ma ponad 30 tys. ekspertów, wypłaca im łącznie ponad 1,5 mln dolarów dziennie, a średnia stawka przekracza 85 dolarów za godzinę. Kapitał: 100 mln dolarów przy wycenie 2 mld w lutym 2025, potem 350 mln przy wycenie 10 mld 27 października 2025 (Felicis, obok Benchmark, General Catalyst i Robinhood Ventures).

To tło ma znaczenie dla oceny badania. Mapa to praca własna firmy, nie publikacja recenzowana; autorzy dziękują Nathanowi Lambertowi za uwagi do szkicu. Interes jest czytelny: Mercor sprzedaje pomiary kompetencji modeli (APEX) i dostęp do ekspertów, więc mapa opisuje rynek, na którym sama zarabia. Nie unieważnia to liczb, ale każe czytać je jako wersję firmy. Na 18 października nie znalazłem żadnego niezależnego omówienia mapy: zapytania w Google News po polsku i po angielsku zwracają zero, dyskusja toczy się właściwie tylko w wątku HN.

Co mówią komentujący z Hacker News

Pierwszy głos pod wpisem (verdverm) tłumaczy wynik strukturą pracy: większość tego, co robią ludzie, nie ma ciasnej pętli sprzężenia zwrotnego, której wymaga trening i praca agentowa. Dlatego nie widać ani apokalipsy zatrudnienia, ani skokowej produktywności, tylko stare 2% rocznie. ChrisLTD dopowiada resztę z dystansem: piszemy na forum pełnym inżynierów oprogramowania, więc zbyt łatwo wierzymy, że AI idzie w zawody wszystkich, a nie tylko w generowanie kodu.

Jest i zarzut metodologiczny. gregwebs kwestionuje wnioskowanie z przykładu prawniczego: co stoi na przeszkodzie, by AI przejęło komputerową pracę sekretarek prawnych i urzędników sądowych? Brak benchmarku może znaczyć, że nikt jeszcze nie nauczał modeli na tych zadaniach, a nie że modeli na nie stać. Najlepszy komentarz do całej dyskusji zostawił qurren: około 80% jego pracy inżyniera to rozstrzyganie sporów między interesariuszami. Nawet w najlepiej mierzonym zawodzie świata jest pasmo, którego prompty testowe nie dosięgną.

Co to zmienia przy wyborze narzędzia AI

Punkt modelu na benchmarku programistycznym mówi niewiele o twoich fakturach, umowach albo prezentacjach. Jeśli twój zawód mieści się w proporcji 21 na 51 albo 12 na 89, rankingi nie mają po prostu czego uśrednić. Reklamy typu „numer jeden w benchmarkach” czytaj więc wąsko: zwycięstwo dotyczy pasma, zwykle kodu i analiz, nie twojego dnia pracy.

Pewniejsza droga jest nudna: własny test. Wybierz 5-10 zadań z ostatnich dwóch tygodni, najlepiej z prawdziwymi dokumentami, tylko z wyczyszczonymi danymi osobowymi. Te same prompty wklej do 2-3 modeli, porównaj wyniki i oceń sam, bo nikt nie zrobi tego za ciebie. Dokładnie taki schemat stosowaliśmy w teście czy warto płacić za ChatGPT, a pomysł, które zadania w ogóle powierzać modelom, rozpisaliśmy w poradniku jak używać AI w pracy.

Polskiego odpowiednika mapy nie ma. W polskim Google żyją frazy typu „ai w pracy biurowej” albo „czy ai mnie zastąpi” (autouzupełnianie, odczyt 18 października), ale polskiej mapy benchmarków nie znalazłem nigdzie. Amerykańskie proporcje rodzin można czytać jako wskazówkę kierunkową, nie jako przekład. Benchmarki mierzą wąskie pasmo: kod, analizy, część prawa. Twoja praca to zwykle inny kraj.

Najczęstsze pytania

Czy AI mnie zastąpi?

Mapa Mercora tego nie rozstrzyga, bo mierzy pokrycie benchmarkami, a nie ryzyko automatyzacji. Brak benchmarku nie znaczy, że zawód jest bezpieczny, podobnie jak pokrycie nie znaczy, że jest zagrożony. Z mapy wynika raczej coś węższego: o większości zawodów wiemy bardzo mało w kategoriach zmierzonych możliwości modeli.

Co mówi mapa o AI w pracy biurowej?

Office & Admin ma pokrycie w 21 zawodach na 51, Management 21 na 56. Paradoks jest wyraźny: praca biurowa uchodzi za podatną na automatyzację, a jest zmierzona słabo. Sama mapa daje zresztą taki przykład: sekretarki prawne i urzędnicy sądowi mają zadania z tagiem ekspozycji na AI, ale niemal żadnego z nich nie pokrywają benchmarki. Decyzje o narzędziach podejmujesz tu praktycznie bez pomocy rankingów.

Co to jest benchmark AI?

Zestaw zadań testowych z jasną miarą wyniku, na którym porównuje się modele językowe. W indeksie Mercora są wyłącznie benchmarki publiczne (od 25 zadań), agentowe i jeszcze niesytuowane, czyli takie, w których czołowe modele nie osiągnęły maksimum. Przykładem jest APEX samego Mercora.

Dlaczego benchmarki modeli AI skupiają się na programowaniu?

Bo kod da się zweryfikować automatycznie i ma twardą miarę, więc trening i testowanie jest tam najtańsze. Autorzy piszą wprost o masywnej nadreprezentacji zadań inżynierii oprogramowania i dlatego limitowali liczbę benchmarków na rodzinę zawodów. Zadania oznaczone jako eksponowane na AI wchodzą do benchmarków około 6 razy częściej niż pozostałe.

Czy jest polska mapa benchmarków AI?

Nie ma. O*NET opisuje wyłącznie rynek pracy USA, a polskiego odpowiednika z podobnym mapowaniem benchmarków na zawody i zadania nikt do tej pory nie opublikował. Amerykańskie proporcje rodzin można traktować jako wskazówkę, ale każde przełożenie na polskie warunki to intuicja, nie pomiar.

Jak sprawdzić model na własnych zadaniach?

Zbierz 5-10 realnych zadań z ostatnich tygodni, przygotuj jeden zestaw promptów i przelej go przez 2-3 modele, potem oceń wyniki samodzielnie. Liczy się zgodność z twoim procesem, nie punkt na liście. Wzorzec takiego porównania z konkretnymi liczbami znajdziesz w naszym teście kosztów ChatGPT.

Źródła

Powiązane artykuły