Przejdź do treści

Llmspeed: jak szybko pójdzie lokalny LLM na twoim sprzęcie

Adam Marzec
Karta z nagłówkiem Llmspeed: tok/s przed zakupem, chipami Lokalne AI, 30 GPU i 15 modeli, metrykami GPT-OSS 20B na RTX 5060 Ti, Qwen 27B na RTX 3090 i trzema etykietami źródeł, pomarańczowa pieczątka szacunki, obraz wyróżniający poradnika o Llmspeed

Cena wejścia w lokalne AI to prawie zawsze decyzja o sprzęcie, a jedyna liczba, która naprawdę przesądza o codziennym komforcie, brzmi: ile tokenów na sekundę strumieniuje ten konkretny model na tej konkretnej maszynie. Rankingi jakości, na które patrzy każdy przed wyborem modelu, mierzą zupełnie coś innego, bo oceniają, jak trafne są odpowiedzi, a nie jak szybko płyną z karty graficznej do twojego ekranu. Dane o wydajności istnieją, tyle że porozrzucane po komentarzach na Reddicie, dyskusjach llama.cpp i pojedynczych benchmarkach, więc zanim ktokolwiek wyda pieniądze, musi sam składać tę układankę.

17 października 2026 na Hacker News pokazał się Show HN o narzędziu Llmspeed, które próbuje tę układankę złożyć za nas. Wybierasz sprzęt z listy trzydziestu konfiguracji i model z listy piętnastu, a strona strumieniuje przykładowy tekst z symulowaną prędkością wybranego zestawu, razem z czasem oczekiwania na pierwszy token. Przy odczycie tego samego dnia wątek zbierał 179 punktów, autor odpowiadał na krytykę w komentarzach, a cały projekt leży na GitHubie na licencji MIT. W tym poradniku przechodzę przez to, jak z narzędzia korzystać, co znaczą pokazywane liczby, którym z nich ufać ostrożnie i czym je uzupełnić.

Dlaczego wybór sprzętu pod lokalny LLM to strzał w ciemno

Skalę problemu dobrze pokazuje jeden model poprzewrzucany na różne maszyny. Qwen 3.6/3.8 27B po kwantyzacji Q4_K_M potrzebuje około 17,6 GB pamięci na wagi, więc kwestia, czy zmieści się w 16 GB karty, w 24 GB karty, czy w 128 GB zunifikowanej pamięci minikomputera, przesądza o wszystkim, zanim jeszcze zaczniemy mówić o prędkości. A potem przychodzi prędkość: wg danych Llmspeed ten sam model w tej samej kwantyzacji osiąga około 47 tok/s na Mac Studio M5 Ultra 256GB, około 7,9 tok/s na RTX 5060 Ti 16GB i około 3,6 tok/s na samym procesorze Ryzen 9 9950X z 96 GB DDR5. Różnica między najlepszym a najgorszym z tych zestawów to trzynaście razy.

Drugą stroną tej samej monety są małe modele MoE. GPT-OSS 20B w kwantyzacji MXFP4 to plik 12,1 GB, więc wchodzi nawet na kartę 16 GB, a ponieważ aktywnych parametrów na token jest tylko 3,6 miliarda z 20,91, potrafi ciągnąć około 94 tok/s na RTX 5060 Ti 16GB i około 196 tok/s na RTX 3090. Model o zbliżonej nazwie i rozmiarze pliku, ale gęsty, zachowałby się zupełnie inaczej. Bez narzędzia, które składa te zmienne razem, kupno sprzętu pod lokalne AI to w praktyce obstawianie.

Co robi Llmspeed i jak z niego korzystać

Llmspeed to strona internetowa, niczego nie instalujesz i niczego się nie logujesz, bo według README projekt jest w pełni statyczny i buduje się na GitHub Pages. Na stronie głównej jest matryca Browse by hardware z trzydziestoma konfiguracjami, od RTX 3060 12GB przez RTX 5090 32GB, Mac Studio M5 Ultra i DGX Spark po CPU-only (Ryzen 9 9950X, 96GB DDR5) i chmurowe H100 z H200, oraz matryca Browse by model z piętnastoma modelami, w tym Qwen 3.6/3.8 27B, GLM-5.3 Flash, Gemma 4 26B A4B, GPT-OSS 20B, DeepSeek V4 Flash i Llama 3.1 8B. Każda para sprzęt i model ma własny adres, na przykład /qwen3.6-27b-on-rtx-3090/, więc wynik można komuś po prostu wysłać.

Po wybraniu pary strona strumieniuje tekst atrapę z symulowaną prędkością danego zestawu, więc różnicę między 3,6 tok/s na samym procesorze a ponad setką na Macu czujesz w kilkanaście sekund. Pod strumieniem widać przedział prędkości, na przykład około 24 tok/s w zakresie od 12 do 37 dla wspomnianej pary RTX 3090 i Qwen 3.6/3.8 27B, oraz czas do pierwszego tokena przy krótkim prompcie, tu 0,4 s. Osobne podstrony zbierają wszystkie modele dla jednego sprzętu i cały sprzęt dla jednego modelu, więc ranking par widać z lotu ptaka.

Tabelę kwantyzacji czytasz tak: w kolumnie Memory jest stan dopasowania do pamięci, Fits, Partial offload albo Doesn't fit, w Generation prędkość generacji, w First token czas oczekiwania, a w Source etykieta zaufania, do której jeszcze wrócę. Przykładowo ta sama para RTX 3090 z modelem 27B w kwantyzacji Q8_0 już się nie mieści w całości, spada na partial offload i jej szacowana prędkość to 5,1 tok/s, czyli prawie pięć razy mniej niż w Q4_K_M. To jest dokładnie ten typ decyzji, który wcześniej wymagał czytania forów.

Drugi tryb, race mode, stawia dwa zestawy obok siebie i puszcza wyścig strumieni. Przykład z README: RTX 5090 32GB przeciwko Mac Studio M5 Ultra 512GB na GLM-5.3 Flash w Q8, przy czym karta NVIDII w ogóle nie jest w stanie załadować modelu, bo mowa o wagach rzędu 341 GB.

Sens korzystania zależy od sytuacji. Jeśli sprzęt już masz, znajdź swoją parę i porównaj odczyt z tym, co widzisz w praktyce, bo to najszybszy test wiarygodności szacunków dla twojej okolicy sprzętowej. Jeśli dopiero planujesz zakup, wybierz dwóch albo trzech kandydatów i przeglądaj dla każdego listę wszystkich modeli, bo obok ulubionego modelu od razu zobaczysz, co jeszcze mieści się w pamięci i ile zapasu zostaje na dłuższe rozmowy.

Jak czytać liczby na stronie

Podstawową jednostką jest token, czyli kawałek tekstu, na który model dzieli wejście i wyjście, mechanizm tego rozpisujemy osobno w tekście co to jest token AI. Prędkość generacji w tok/s mówi, jak szybko model dopisuje kolejne tokeny odpowiedzi, a czas do pierwszego tokena, w narzędziu oznaczony jako first token, sumuje przetworzenie promptu przed startem. Przy krótkim zapytaniu obie liczby wyglądają różowo, 0,3 do 0,4 s na większości par, ale przy prompcie z wklejonym kodem robi się inaczej i o tym w następnej sekcji.

Llmspeed sprawdza też, czy model w ogóle zmieści się w pamięci, i robi to z konkretnymi założeniami opisanymi w README: na kartach dyskretnych liczy 93% VRAM jako usable, na Macach 75% pamięci zunifikowanej, a do wag dolicza cache KV i narzut runtime. Dlatego RTX 5060 Ti 16GB ma w narzędziu 15 GB usable, a nie pełne 16.

Najbardziej praktyczna część strony to tabela kwantyzacji. Zebrałem kilka odczytów w jedną ściągę, wszystkie liczby pochodzą z podstron narzędzia z 17 października 2026.

SprzętModelTok/s wg strony
RTX 3090 24GBQwen 3.6/3.8 27B~24 w Q4_K_M
RTX 4090 24GBQwen 3.6/3.8 27B~26 w Q4_K_M
RTX 5060 Ti 16GBGPT-OSS 20B~94 w MXFP4
Mac Studio M5 Ultra 256GBGLM-5.3 Flash~63 w Q4_K
Ryzen AI Max+ 395 128GBGLM-5.3 Flash~25 w UD-Q2_K_XL
CPU Ryzen 9 9950XQwen 3.6/3.8 27B~3,6 w Q4_K_M

Zwróć uwagę na GLM-5.3 Flash: to MoE o 321,3 miliarda parametrów, z czego aktywnych na token jest 18 miliardów, więc narzędzie szacuje mu na Mac Studio M5 Ultra 256GB około 63 tok/s w Q4_K a aż 118 tok/s w mocno ściśniętej kwantyzacji UD-IQ1_S, która zajmuje 93,1 GB i mieści się w 192 GB usable tej maszyny z ogromnym zapasem. Wersja Q8_0 tego samego modelu to 341 GB i komunikat, że nie pójdzie.

Układ MoE z pamięcią zunifikowaną wyjaśnia, czemu właśnie na Macach duże modele stają się osiągalne dla domowych budżetów. Model MoE czyta przy każdym tokenie tylko aktywne wagi, a zunifikowana pamięć pozwala zmieścić całość bez dodatkowych sztuczek. Ta sama rodzina modeli na kartach konsumenckich wygląda źle: w liście sprzętu dla GLM-5.3 Flash prawie wszystkie karty, od RTX 3060 po RTX 5090, mają status, że model nie pójdzie.

Ile tok/s wystarcza, to już kwestia odczucia, a twarde progi porównawcze mają słabe pokrycie w źródłach, więc zamiast zmyślać liczbę, przywołam głosy z wątku HN. Użytkownik hbogert opisuje 20 tok/s na starszej karcie RX 580 jako w pełni wygodne do codziennej pracy z kodem, a lopotubez trzyma 16-19 tok/s na laptopie z GTX 1070 Max-Q i nazywa to doświadczenie zaskakująco dobrym. Obie wypowiedzi sprowadzają się do tego samego: w okolicy dwudziestu tokenów na sekundę czytanie na żywo przestaje przeszkadzać, a poniżej kilku zaczyna się lectura na raty.

Szacunki, nie pomiary: na co uważać

Każdy wiersz tabeli ma etykietę źródła i to jest najważniejsza rzecz, którą trzeba zrozumieć przed użyciem narzędzia. Measured oznacza pomiar na dokładnie tym sprzęcie, modelu i kwantyzacji, Derived to interpolacja z pomiarów podobnych zestawów, a Projected to wyliczenie z samych specyfikacji, na przykład dla sprzętu zapowiedzianego, ale jeszcze nieprzetestowanego. Stopka każdej podstrony mówi wprost, że szacunki dotyczą krótkiego prompta na pojedynczym urządzeniu, a liczby mierzone pochodzą od społeczności, głównie z r/LocalLLaMA, serwisu localscore.ai i dyskusji llama.cpp. Gdy pomiaru nie ma, narzędzie liczy od zera: generacja jest ograniczona przepustowością pamięci, bo każdy token wymaga przeczytania aktywnych wag, prompt processing jest ograniczony mocą obliczeniową, a partial offload dostaje model hybrydowy z kalibrowanymi współczynnikami.

Teoria teorią, a wątek HN z dnia premiery dostarcza bezlitosnych porównań z praktyką. Użytkownik pil0u napisał, że jego M2 Ultra 128GB działa prawie dwa razy szybciej, niż narzędzie szacuje dla M3 Ultra 512GB. adrian17 sprawdził parę Gemma 4 26B A4B na RTX 5060 Ti 16GB, gdzie strona pokazuje przedział 21-88 tok/s w Q4_K_M, i sam wyciągał około 70 tok/s w Q3 oraz około 40 tok/s w Q4, więc górna granica szacunku była dla niego nieosiągalna. binary132 raportował około 80 t/s na RTX 4090 z modelem Qwen 3.8 27B w UD-Q4_K_XL, przy kontekście 110 tys. i trzech draftach dekodowania spekulatywnego, wobec około 25 tok/s w symulatorze. Draftów, czyli dekodowania spekulatywnego, narzędzie nie modeluje. Jabdoa2 z perspektywy serwerowej dorzucił obserwację, że realna praca agentowa z promptami 60-140 tys. tokenów daje od połowy do jednej trzeciej dekodu znanego z benchmarków.

Do tego dochodzi cień rzucany przez samą metodologię zbierania danych. Na wątku HN padło pytanie o harness, czyli środowisko pomiarowe, bo różne wersje llama.cpp albo inne silniki potrafią przesuwać wyniki. Autor odpowiedział wprost, że źródła benchmarków zwykle nie podają harnessu, więc dane są pod tym względem ograniczone. README przyjmuje zresztą pomiary także z innych silników, na przykład MLX albo vLLM, wystarczy nazwać silnik w zgłoszeniu, co dodatkowo rozstraja warunki porównania.

Z tych głosów wychodzi kilka praktycznych reguł. Po pierwsze, traktuj wynik jako kolejność wielkości i ranking par, nie jako obietnicę: README samo przyznaje, że sterowniki, wersje silnika, flash attention, limity mocy i termika potrafią przesunąć realne liczby o 10-30%. Po drugie, krótki prompt to scenariusz best case, bo cache KV rośnie z długością kontekstu i zjada pamięć oraz prędkość, co widać nawet w odczytach czytelników: snerbles na RTX 3090 z tym samym modelem 27B raportował około 50 t/s przy kontekście około 100 tys., a lopotubez spadek z 16-19 do 9 tok/s powyżej 100 tys. kontekstu. thadk porównał na M4 Max 128GB czas do pierwszego tokena przy prompcie 5 687 tokenów: Gemma 4 31B potrzebuje 36 s, a Gemma 4 26B A4B tylko 4,7 s, więc dla pracy z długimi wklejkami mały MoE wygrywa mimo wolniejszej generacji. Po trzecie, patrz na kolumnę Source, a wyniki z etykietą Projected odbieraj jako prognozę pogody.

Jest też jedno zastrzeżenie po drugiej stronie: komunikat, że para nie pójdzie, bywa zbyt kategoryczny, bo llama.cpp potrafi część warstw zostawić na CPU, co na wątku zgłosił tom_alexander na przykładzie FP16. Narzędzie stan partial offload pokazuje, ale nie każdą konfigurację umie doradzić. I ostatnia rzecz: narzędzie symuluje jedno urządzenie, bez macierzy z dwóch kart i bez splitu tensorowego, co kilku komentujących od razu zgłosiło jako najpilniejszą brakującą funkcję.

Czym uzupełnić Llmspeed

Narzędzie nie wyrasta w próżni, tylko agreguje to, co społeczność robi od dawna. Źródłem pomiarów jest przede wszystkim r/LocalLLaMA, gdzie ludzie wklejają wyniki z własnych maszyn, oraz localscore.ai, serwis agregujący benchmarki sprzętu pod kątem lokalnych modeli. Po zakupie sprzętu najlepszym uzupełnieniem jest własny pomiar narzędziem llama-bench z pakietu llama.cpp, a jeśli chcesz oddać społeczności przysługę, README opisuje ścieżkę: uruchamiasz llama-bench z parametrami -p 512 i -n 128, dopisujesz wiersz do pliku benchmarks/submissions.csv w repozytorium i wysyłasz PR z pełnym wyjściem pomiaru, z linkiem do źródła.

Druga droga to nie kupować nic od razu i przetestować sprzęt na wynajem. W dyskusji padł prosty rachunek: kilkanaście minut z chmurową kartą klasy H100 kosztuje dobrze poniżej 0,50 USD, a często mieści się w darmowych kredytach startowych dostawcy, co pozwala poczuć realny model zamiast symulacji, włącznie z długaśnym kontekstem.

Jeśli dopiero rozważasz wejście w temat, po tym tekście sięgnij po nasze podstawy: przegląd lokalnego AI na komputerze pokazuje pełen kontekst, jak wybrać model AI na słaby komputer prowadzi przez dobór modelu do możliwości maszyny, a otwarte modele AI wyjaśnia, skąd w ogóle biorą się wagi, które tu ładujemy do pamięci. Dla skrajnej strony spektrum, gdzie sprzęt kosztuje kilkadziesiąt złotych, jest tekst o BitNet na ESP32.

Nota o tym tekście

Opis narzędzia i wszystkie liczby z podstron pochodzą z odczytów strony llmspeed.dev, README na GitHubie i wątku Hacker News z 17 października 2026, który miał wtedy 179 punktów. Narzędzia nie uruchamialiśmy na własnym sprzęcie i żadnego pomiaru nie potwierdzaliśmy llama-benchem, więc traktuj ten tekst jako opis i rozkład liczbowy narzędzia, nie jako nasz test. Szacunki wewnątrz Llmspeed należą do ich autorów i, jak pisze wyżej, mają różną jakość. Własne porównanie symulacji z rzeczywistością na naszej karcie jest w planach i wtedy ten tekst dostanie aktualizację.

Najczęstsze pytania

Czy Llmspeed jest darmowe i czy wymaga konta?

Tak, według danych strukturalnych na stronie narzędzie jest darmowe, a repozytorium stoi na licencji MIT. Konta nie ma po prostu czego założyć, bo strona jest w pełni statyczna i żyje na GitHub Pages.

Skąd Llmspeed bierze swoje liczby?

Z pomiarów społeczności, głównie r/LocalLLaMA, localscore.ai i dyskusji llama.cpp, a gdy pomiaru brak, wylicza je od zera z przepustowości pamięci i mocy obliczeniowej sprzętu. Każdy wiersz ma etykietę Measured, Derived albo Projected.

Ile tokenów na sekundę to płynna praca z lokalnym LLM?

Nie ma ustalonego progu, na który wszyscy się zgodzą. W wątku HN użytkownicy opisywali 20 tok/s jako komfortowe przy pracy z kodem, a 16-19 tok/s jako zaskakująco dobre na starym laptopie, natomiast poniżej kilku tok/s czytanie strumienia na żywo robi się męczące. Najlepiej sprawdzić na własnym czytaniu, bo to kwestia odczucia.

Czy Llmspeed obsłuży dwa GPU albo nietypowy zestaw?

Nie, na razie symuluje pojedyncze urządzenie i konfiguracje z listy trzydziestu, bez splitu na kilka kart, bez NVLink i bez wyboru generacji PCIe. To najczęściej zgłaszany brak w wątku premiery, więc temat prawdopodobnie wróci.

Jak dokładne są szacunki Llmspeed?

Zróżnicowane. Autor w README podaje okno 10-30% odchyłek od warunków technicznych, a użytkownicy w wątku raportowali zarówno wyniki blisko szacunku, jak i dwukrotne różnice w obie strony, zwłaszcza przy długim kontekście albo dekodowaniu spekulatywnym. Wynik z etykietą Measured jest najpewniejszy, Projected najmniej.

Źródła

Powiązane artykuły