arhīvsls -la
# kvantizācija
$ ls | wc -l → 2 raksti
Programmatūra
4 bitu Qwen3.8 27B nokārto Terminal-Bench tāpat kā pilnais modelis: 17 GB pret 55 GB
Quesma izmērīja piecus Qwen3.8 27B kvantizācijas līmeņus un atrada, ka 17 GB Q4_K_M variants uz Terminal-Bench 2.1 nokārto tikpat daudz uzdevumu, cik 55 GB oriģināls. Viena bita variants nokrīt līdz nejaušas minēšanas līmenim.
Tehnika
28,9 miljonu parametru valodas modelis darbojas uz 8 dolāru mikrokontrollera
ESP32-S3 ar 512 KB SRAM darbina modeli ar 28,9 miljoniem parametru pie 9,5 žetoniem sekundē. 25 miljoni no tiem paliek zibatmiņā.