Bonsai 27B: 1-bitowy model, który mieści 27 miliardów parametrów w iPhonie

W tygodniu, w którym Moonshot chwali się modelem o 2,8 biliona parametrów, a Thinking Machines wypuszcza prawie bilionowego Inklinga, najbardziej zaintrygowała mnie premiera z zupełnie przeciwnego bieguna. 14 lipca startup PrismML, wywodzący się z Caltechu, opublikował Bonsai 27B - model klasy 27 miliardów parametrów, który po natywnej kwantyzacji 1-bitowej zajmuje 3,9 GB i działa lokalnie na iPhonie 17 Pro z prędkością 11 tokenów na sekundę. Nie jako demo technologiczne, tylko jako pełnoprawny, multimodalny model pod licencją Apache 2.0, z wagami na Hugging Face. Przyglądałem się liczbom, benchmarkom i pierwszym zgłoszeniom problemów - i uważam, że to jedna z tych premier, które za parę lat będziemy wspominać jako punkt zwrotny dla AI na urządzeniach.

Bonsai 27B: co dokładnie wypuścił PrismML

Bonsai 27B bazuje na modelu Qwen3.6 27B i przenosi go na autorską, ekstremalnie niskobitową architekturę PrismML. Kluczowe fakty:

Kwantyzacja 1-bitowa: każda waga to -1 albo +1, a wspólny współczynnik skali FP16 przypada na każdą grupę 128 wag. Efektywnie wychodzi 1,125 bita na wagę zamiast 16.
Kompresja 14,2x: z 54 GB w pełnej precyzji do 3,9 GB w wariancie 1-bitowym. Jest też wariant ternarny (-1/0/+1) o rozmiarze 5,9 GB, który zachowuje 94,6% jakości bazowej.
Multimodalność i 262 tysiące tokenów kontekstu - model przyjmuje obrazy i tekst, celuje w rozumowanie, kodowanie i zadania agentowe.
Apache 2.0, wagi w formatach MLX (Apple Silicon i iOS) oraz GGUF (llama.cpp), do tego dostępność przez API Together AI.

Najważniejsze zdanie tego ogłoszenia brzmi jednak inaczej, niż można się spodziewać: Bonsai nie został skwantyzowany po treningu. PrismML trenował go natywnie w reżimie 1-bitowym od początku, z ograniczeniem nałożonym na embeddingi, warstwy uwagi i MLP jednocześnie. To zasadnicza różnica wobec typowych kwantyzacji, które biorą gotowy model i stratnie go kompresują - i to właśnie ona tłumaczy, czemu wyniki są tak dobre.

Kompresja 14,2x sprowadza model klasy 27B do rozmiaru, który mieści się w smartfonie.

Ile jakości kosztuje 1 bit? Zaskakująco mało

Kwantyzacja zawsze była grą o to, ile jakości oddajemy za rozmiar. Historycznie zejście poniżej 4 bitów oznaczało wyraźną degradację. Bonsai łamie tę intuicję - według opublikowanych pomiarów wariant 1-bitowy zachowuje ponad 90% jakości pełnej precyzji. W teście matematycznym AIME pełny Qwen3.6 27B osiąga 95,3, a 1-bitowy Bonsai 91,7 - strata 3,8%. W zadaniach kodowania jest to odpowiednio 88,7 wobec 81,9, czyli strata 7,7%. Wariant ternarny traci jeszcze mniej.

Ponad 90% jakości przy czternastokrotnie mniejszym modelu - to zmienia rachunek opłacalności lokalnej AI.

Skąd ten wynik? Właśnie z natywnego treningu. Model, który od pierwszego kroku optymalizacji "wie", że jego wagi będą binarne, uczy się rozkładać informację inaczej niż model trenowany w pełnej precyzji i przycinany po fakcie. To podejście znane z badań nad BitNet, ale Bonsai jest pierwszym przypadkiem, w którym zastosowano je end-to-end w tej skali i wypuszczono jako produkt, nie paper.

Prędkości: telefon, laptop, karta graficzna

Liczby z pomiarów wyglądają tak: iPhone 17 Pro - 11 tokenów na sekundę, MacBook z M5 Max - 87 tokenów na sekundę, RTX 5090 - 163 tokeny na sekundę. Uczciwie: 11 tokenów na sekundę na telefonie to poniżej progu komfortowej konwersacji, który zwykle szacuje się na 15-20. Rozmowa z Bonsai na iPhonie przypomina czat z kimś, kto pisze wolno, ale do rzeczy. Tyle że pozycjonowanie tego modelu wcale nie zakłada, że będziecie z nim gadać w czasie rzeczywistym.

Na laptopie z Apple Silicon Bonsai działa już z prędkością w pełni użytkową.

Dlaczego w ogóle 1 bit przekłada się na szybkość, a nie tylko na rozmiar? Bo współczesna inferencja LLM-ów na sprzęcie konsumenckim jest ograniczona głównie przepustowością pamięci, nie mocą obliczeniową. Procesor spędza większość czasu na czekaniu, aż wagi przypłyną z RAM-u. Model czternastokrotnie mniejszy to czternastokrotnie mniej danych do przepompowania na każdy token - stąd te 87 tokenów na sekundę na laptopie, wynik nieosiągalny dla pełnoprecyzyjnego modelu tej klasy na tym samym sprzęcie. Do tego mnożenie przez wagi -1/+1 sprowadza się do dodawania i odejmowania, co otwiera drogę do dedykowanych akceleratorów - i pewnie dlatego temat interesuje producentów sprzętu.

Jak to uruchomić u siebie

Dobra wiadomość: próg wejścia jest niski. Ścieżki na dziś wyglądają tak:

Mac z Apple Silicon: wariant MLX z Hugging Face (repozytorium prism-ml/Bonsai-27B-mlx-1bit) i standardowy toolchain MLX. Na 16 GB RAM zmieści się z zapasem na kontekst; na 8 GB będzie ciasno, ale wykonalnie przy krótszych kontekstach.
PC z kartą Nvidii albo bez: format GGUF pod llama.cpp (prism-ml/Bonsai-27B-gguf). Na RTX 5090 model osiąga 163 tok/s, ale nawet na samym CPU z szybkim RAM-em da się pracować wsadowo.
Bez własnego sprzętu: model jest też dostępny przez API Together AI, co pozwala porównać jakość zanim poświęcicie wieczór na lokalną konfigurację.
Wybór wariantu: jeśli macie 6-8 GB wolnej pamięci, bierzcie wersję ternarną (5,9 GB, 94,6% jakości bazowej). Wariant 1-bitowy (3,9 GB) zostawcie dla urządzeń, gdzie każdy gigabajt się liczy.

Uwaga na kontekst: 262 tysiące tokenów brzmi pięknie, ale pamięć na cache KV rośnie z długością kontekstu niezależnie od kwantyzacji wag. Na telefonie realnie popracujecie z kontekstem rzędu kilkudziesięciu tysięcy tokenów, nie ćwierci miliona - to ograniczenie fizyki, nie modelu.

Zgrzyty: czego nie mówi komunikat prasowy

Pierwsze dni z modelem w rękach społeczności przyniosły też listę problemów, którą warto znać przed testami:

Tool-calling wyraźnie słabszy niż w modelu bazowym - to boli, bo zadania agentowe są jednym z deklarowanych zastosowań.
Pętle rozumowania przy zapytaniach SQL - zgłaszane przypadki, w których model kręci się w kółko zamiast dojść do odpowiedzi.
Wizja poniżej oczekiwań - multimodalność jest, ale jakość analizy obrazów odstaje od reszty możliwości.
Nieregularności na GSM8K - część wyników matematycznych budzi pytania o kontaminację lub niestabilność.
Surowy toolchain - na starcie LM Studio i Unsloth nie wspierały formatu, więc zostaje MLX i llama.cpp.

Nic z tego nie unieważnia przełomu, ale przypomina, że "działa na telefonie" i "działa dobrze na telefonie" to wciąż dwa różne zdania. Format 1-bitowy jest młody i ekosystem musi go dogonić.

Po co komu 27B w telefonie?

Najczęstszy komentarz pod tą premierą brzmi: "fajne, ale po co, skoro API jest szybsze i lepsze". Moim zdaniem to pytanie myli dzisiejszą wygodę z jutrzejszymi wymaganiami. Realne scenariusze, w których lokalny model tej klasy ma sens, już istnieją:

Dane, które nie mogą opuścić urządzenia: medycyna, prawo, finanse - wszędzie tam, gdzie RODO, HIPAA albo NDA wykluczają wysyłanie treści do chmury, lokalny model to nie gadżet, tylko warunek wdrożenia.
Praca offline i edge: analiza dokumentów w terenie, urządzenia przemysłowe, wszędzie tam, gdzie łączność jest luksusem.
Przetwarzanie wsadowe bez licznika: przemielenie tysięcy dokumentów lokalnie na laptopie z M5 Max przy 87 tokenach na sekundę kosztuje dokładnie zero dolarów za token.
Prywatny asystent na co dzień: 262 tysiące tokenów kontekstu wystarcza na całkiem poważną pracę z kodem czy dokumentami bez wysyłania czegokolwiek komukolwiek.

Warto to zestawić z drugim końcem skali, o którym pisałem w tym tygodniu: Kimi K3 ma 2,8 biliona parametrów i wymaga infrastruktury centrum danych, a rynek jednocześnie uczy się upychać sensowną inteligencję w 4 GB pamięci telefonu. Te dwa kierunki nie konkurują ze sobą - one wyznaczają widełki, w których za chwilę będzie się mieścić całe spektrum produktów. Ciekawym sygnałem jest też doniesienie TechTimes, że technologii PrismML przygląda się Apple - firma, która od lat szuka sposobu na porządną AI działającą w całości na urządzeniu.

Jest jeszcze jeden wymiar tej premiery, o którym warto pomyśleć: konkurencja dla dotychczasowych królów lokalnej AI. Do tej pory na urządzeniach rządziły małe modele projektowane od początku jako małe - 3B, 7B, może 12B parametrów. Były szybkie, ale ich sufit możliwości był wyraźnie niżej niż modeli klasy 27B+. Bonsai odwraca tę logikę: zamiast trenować mały model, bierze duży i kompresuje go tak, żeby zmieścił się w tym samym budżecie pamięci. Jeśli ta metoda się przyjmie, kategoria "modelu mobilnego" przestanie oznaczać "modelu okrojonego" - a to zmienia założenia projektowe każdej aplikacji z lokalną AI, od klawiatur po asystentów kodowania działających w trybie offline.

Podsumowanie: mały model, duży sygnał

Moje wnioski z premiery Bonsai 27B:

Natywny trening niskobitowy przeszedł z paperów do produktu. Ponad 90% jakości przy 1,125 bita na wagę to wynik, który jeszcze niedawno uznałbym za literówkę.
Lokalna AI przestaje być kompromisem z konieczności. Model klasy 27B na laptopie przy 87 tok/s to już narzędzie pracy, nie ciekawostka dla hobbystów.
Telefon to na razie proof of concept. 11 tok/s i wczesne problemy z tool-callingiem oznaczają, że na "agenta w kieszeni" jeszcze poczekamy - ale krzywa idzie w oczywistym kierunku.
Apache 2.0 i GGUF/MLX od pierwszego dnia to wzorcowy sposób wypuszczania takich modeli: społeczność może weryfikować, portować i poprawiać od razu.

Jeśli macie MacBooka z Apple Silicon, wagi są na Hugging Face i eksperyment zajmuje wieczór. U mnie na M-serii Bonsai właśnie mieli lokalnie dokumentację projektu - i sam fakt, że to zdanie brzmi zwyczajnie, najlepiej pokazuje, jak szybko przesuwa się granica. Źródła: ogłoszenie PrismML, analiza byteiota.