Tencent 6. jūlijā publiskoja sava lielā valodas modeļa Hunyuan Hy3 pilno versiju un uzreiz izdarīja to, ko konkurenti dara reti — atdeva svarus zem Apache 2.0 licences, bez ierobežojumiem komerciālai lietošanai. Uz papīra tas ir milzis ar 295 miljardiem parametru. Praksē tas darbojas kā daudz mazāks modelis, jo katrai atbildei aktivizē tikai daļu no tiem.
Izstrādātājiem tas ir interesanti divu iemeslu dēļ. Pirmkārt, modelis ir mērķēts uz aģentu darbu — koda rakstīšanu, rīku izsaukšanu un garu kontekstu. Otrkārt, licences maiņa nozīmē, ka to drīkst likt produktā bez juridiskiem āķiem, kas vēl aprīlī bija klāt.
Kā 295 miljardi strādā kā 21
Hy3 ir uzbūvēts pēc Mixture-of-Experts (MoE) principa. Vienkāršoti: modelī ir 192 atsevišķi “eksperti”, bet katram tokenam nostrādā tikai astoņi no tiem. Rezultātā no 295 miljardiem parametru vienā solī reāli iesaistīti aptuveni 21 miljards — apmēram 7% no kopējā apjoma. Tāpēc modelis atbild ātrāk un lētāk, nekā liktos pēc kopējā skaitļa.
Zem pārsega ir 80 slāņu transformeris ar 4096 slēpto izmēru un grupētu vaicājumu uzmanību (64 galvas pret 8 atslēgu-vērtību galvām). Klāt nāk atsevišķs 3,8 miljardu parametru slānis, kas paredz vairākus tokenus uz priekšu — tas paātrina ģenerēšanu ar tā saukto spekulatīvo dekodēšanu. Konteksta logs ir 256 tūkstoši tokenu, tātad modelim var iebarot veselu koda bāzi vai garu dokumentu kaudzi vienā piegājienā.
Praktiskā priekšrocība ir vienkārša. Blīvs modelis ar 295 miljardiem parametru katrai atbildei liktu strādāt visiem parametriem un prasītu attiecīgi daudz atmiņas un rēķinu jaudas. MoE ļauj glabāt milzīgu “zināšanu apjomu”, bet maksāt tikai par to šķēli, kas konkrētajam jautājumam vajadzīga. Kompromiss ir atmiņa: visi 192 eksperti tāpat jātur ielādēti, tāpēc modelis ir smags glabāšanā, kaut ātrs izpildē.
Skaitļi, kas piesaista uzmanību
Tencent publicētie rezultāti izklausās spēcīgi. SWE-bench Verified testā, kur modelim jāizlabo reālas kļūdas atvērtā pirmkoda repozitorijos, Hy3 uzrāda 78%. Zināšanu testā GPQA Diamond tas sasniedz 90,4%, bet grūtajā HLE eksāmenā — 53,2%. Aģentu uzdevumos, piemēram, rīku orķestrēšanā (MCP-Atlas) un meklēšanā (BrowseComp), skaitļi turas ap 79–84%.
Salīdzinājumā ar iepriekšējo aprīļa priekšskatījumu Tencent apgalvo, ka halucināciju biežums nokrities no 12,5% līdz 5,4%, bet kļūdas daudzsoļu sarunās — no 17,4% līdz 7,9%. Šeit gan vietā ir veselīga skepse: visi šie cipari nāk no paša ražotāja, un neatkarīga pārbaude publicēšanas brīdī vēl nebija veikta. Reālā vērtība izstrādātājiem parādīsies tad, kad modeli izmēģinās uz saviem uzdevumiem.
Atsevišķi vērts pieminēt rīku izsaukšanu. Aģentu darbā modelis pats izlemj, kad palaist kompilatoru, meklētāju vai datubāzes vaicājumu, un pēc tam saprot atgriezto atbildi. Tieši šeit vājie modeļi bieži klūp — izsauc nepareizo rīku vai sajauc argumentus. Hy3 tabulās rāda augstu ticamību šajos uzdevumos, un tā ir tā prasme, kas izšķir, vai modeli var likt reālā automatizācijas ķēdē, vai tikai čatbotā.
MoE pieeja ir vienkārša ideja ar lielām sekām: maksā tikai par tiem parametriem, ko tiešām izmanto. Tieši tāpēc atvērtie modeļi šogad kļuvuši par nopietnu alternatīvu maksas API.
Licences maiņa ir atsevišķs stāsts
Vēl aprīlī Hy3 priekšskatījums nāca ar Tencent pašu rakstīto “Community License”, kas skaidri izslēdza Eiropas Savienību, Lielbritāniju un Dienvidkoreju no lietošanas noteikumiem. Praksē tas nozīmēja, ka Latvijas uzņēmums modeli likumīgi lietot nevarēja.
Jūlija pilnā versija šo pantu izmet pavisam. Apache 2.0 ir viena no atļautākajām licencēm — bez ģeogrāfiskiem ierobežojumiem, bez lietojuma jomas klauzulām, ar tiesībām pārveidot un pārdot atvasinājumus. Priekš komandas, kas grib modeli iebūvēt savā produktā, tā ir liela atšķirība: juridiskais risks praktiski pazūd.
Cik dzelžu īsti vajag
Te sākas prozaiskā daļa. Hy3 nav modelis, ko palaist uz klēpjdatora. Pilnā BF16 precizitātē svari aizņem aptuveni 598 GB, bet FP8 saspiestā versijā — mazliet zem 300 GB. Tencent norāda minimālo prasību ap astoņiem GPU ar tensoru paralelizāciju, ieteicot H200 klases kartes.
Tas nozīmē, ka pašmāju hostings ir reāls tikai tiem, kam pieejama datu centra infrastruktūra. Lielākā daļa izstrādātāju modeli sākumā izmēģinās caur mākoņa API. Svari ir pieejami lejupielādei Hugging Face platformā, kā arī ModelScope un GitHub, gan pilnā, gan kvantētā formātā.
Ko tas maina praksē
Hy3 iekļaujas šī gada tendencē, kur Ķīnas laboratorijas atver arvien spēcīgākus modeļus zem brīvām licencēm un spiež cenas uz leju. OpenRouter platformā modelis līdz 21. jūlijam pieejams bez maksas kā ievadposms, pēc tam cena sākas no dažiem centiem par miljonu tokenu — vairākas reizes lētāk nekā slēgtie līderi.
Priekš IT komandām tas dod trešo iespēju blakus dārgajiem slēgtajiem API un mazākajiem lokālajiem modeļiem: jaudīgs aģentu modelis, ko var vai nu īrēt lēti, vai — ja ir dzelži — palaist pilnīgi savā infrastruktūrā, saglabājot datus mājās. Vai Hy3 tiešām sasniedz apsolītos rādītājus, izšķirsies tuvākajās nedēļās, kad kopiena to izmēģinās reālos projektos. Bet virziens ir skaidrs: atvērtie svari vairs nav otršķirīga izvēle.
Komentāri
Šim rakstam vēl nav komentāru. Esi pirmais, kurš dalās ar savu viedokli.