Lielbritānijas AI drošības institūts UK AISI kopā ar ASV Centru AI standartiem un inovācijām CAISI izmērīja, cik labi Moonshot AI modelis Kimi K3 raksta ekspluatācijas kodu. Kopvērtējums: 32,2 % pret 76,2 %, ko vidēji sasniedz jaudīgākie ASV modeļi. No 41 ExploitBench uzdevuma Kimi K3 nepanāca patvaļīgu koda izpildi nevienā. ASV modeļi to panāca vidēji 20 uzdevumos no 41.
Vērtējums publicēts 24. jūlijā, nedēļu pēc tam, kad Moonshot 16. jūlijā izlaida K3. Abi institūti to sauc par priekšizpēti: pārbaudīts neliels publisku un slēgtu testu kopums; Kimi K3 gadījumā vēl mazāks nekā ASV modeļiem.
ExploitBench: 41 uzdevums, nulle izpildīta koda
ExploitBench liek modelim atrast ievainojamību programmā un uzrakstīt strādājošu ekspluatāciju. Augstākā atzīme ir patvaļīga koda izpilde (ACE), tas ir, uzbrucēja kods tiešām sāk darboties uz mērķa mašīnas. Šo slieksni Kimi K3 nepārkāpa ne reizi. Daļēju progresu tas panāca bieži, no kā arī veidojas 32,2 %, taču pilnu ķēdi līdz koda izpildei nesalika.
Otrs ķīniešu modelis testā, GLM-5.2, ieguva 24,4 %. Jūnijā institūti to uzskatīja par spēcīgāko atvērto svaru modeli, tāpēc K3 uzlabojums pret to ir aptuveni astoņi procentpunkti. Attālums līdz ASV modeļiem palicis vairāk nekā divkārtīgs.
Simulētais tīkls: 17 soļi no 32
Otrais tests, The Last Ones jeb TLO, ir 32 soļu uzbrukuma ceļš simulētā uzņēmuma tīklā. Modelis strādā pats: skenē, izvēlas mērķi, iegūst piekļuvi, pārvietojas dziļāk. Kimi K3 vidēji nonāca līdz 17. solim. Pilnu ceļu tas pabeidza vienu reizi no desmit mēģinājumiem. ASV modeļi vidēji sasniedza 28,5. soli. GLM-5.2 apstājās 11. solī.
Institūti paši brīdina, ka TLO nav īsts tīkls. Tajā nav aizstāvju un nav drošības rīku. Par darbībām, kas reālā vidē izsauktu trauksmi, sods nepienākas. Uzbrukuma ceļš tajā ir ielikts ar nodomu, tāpēc 17. solis nenozīmē, ka modelis nokļūtu tik tālu uzņēmumā ar strādājošu SOC komandu.
Aizsardzības komandām noderīgāks ir otrs skaitlis. ASV modeļi šajā pašā scenārijā vidēji nonāk līdz 28,5. solim no 32. Tas ir mērījums par to, cik tālu automatizēts uzbrukums aiziet bez cilvēka iejaukšanās, ja vien vidē neviens nepretojas.
Drošinātāji neatteica nevienu uzdevumu
Testu laikā Kimi K3 neatteicās ne rakstīt ekspluatācijas, ne vadīt uzbrukuma operācijas. Institūti to formulē tieši.
Kimi K3 drošinātāji neliedza tam mēģināt izstrādāt kiberekspluatācijas vai veikt uzbrūkošas kiberoperācijas UK AISI un CAISI vērtējumos.
Salīdzinājumam ASV slēgto svaru modeļus institūti testēja ar izslēgtiem sistēmas līmeņa drošinātājiem, lai samazinātu atteikumu skaitu un izmērītu maksimālās spējas. Publiski pieejamajās versijās šie drošinātāji ir ieslēgti. Kimi K3 nekas nebija jāizslēdz: tas pildīja uzdevumus tāds, kāds ir.
Kad K3 svari nonāks pie lietotājiem, uzbrukuma uzdevumu filtrēšana paliks tā puses ziņā, kas modeli mitina. Atvērto svaru modelim pēc lejupielādes drošinātājus var noņemt jebkurš, tāpēc mērījums par to, cik labi tie strādā oriģinālajā versijā, ir informācija par sākuma stāvokli.
Kāpēc kodēšanā spēcīgs modelis klūp uz ekspluatācijām
K3 ir 2,8 triljonu parametru MoE modelis ar miljona žetonu konteksta logu. Moonshot to pozicionē kā kodēšanas un aģentu modeli, kas vispārīgos testos turas līdzi Rietumu modeļiem. Kiberuzdevumos šī līdzība pazūd.
Vienu skaidrojumu apraksta the-decoder: modeļu destilācija. Ja apmācībā izmantota cita, spēcīgāka modeļa izvade, tad šī avota modeļa drošības filtri jau būs izgriezuši sarežģītākos uzbrūkošos pieprasījumus. Iznākums ir apmācības kopa ar plašām vispārīgām zināšanām un ar caurumu tajā vietā, kur būtu ekspluatāciju rakstīšanas paņēmieni. Tā ir hipotēze bez pierādījuma, taču tā izskaidro plaisu starp vispārīgajiem un kiberrezultātiem.
Ķīniešu modeļu kibertestu rezultāti kopš 2025. gada sākuma aug vienmērīgi. Aplēse par atpalicību no ASV sistēmām šajā jomā ir četri līdz septiņi mēneši.
Ko šie skaitļi nerāda
Kopvērtējumu institūti aprēķina ar pieeju, kas balstīta uz vienuma atbildes teoriju (IRT). Uz šīs skalas 400 punktu pieaugums nozīmē desmitkārt lielākas izredzes atrisināt uzdevumu, tāpēc procenti no dažādiem testiem nav savstarpēji saskaitāmi. Kimi K3 punktu skaits nāk no viena testa ar 41 uzdevumu. ASV modeļu skaitlis apvieno vairākus testus plašākās kiberjomās, tāpēc ap K3 rezultātu ticamības intervāls ir ievērojami platāks. Iemesls ir tehnisks: K3 mitināšanas dēļ izpildīts tikai izlases veida testu kopums.
Mērījums attiecas uz konkrētiem uzdevumiem konkrētā brīdī. Ziņojumā nav apgalvojuma, ka Kimi K3 uzbrukumiem nav izmantojams. Ķīnas puses skatījumu uz šo salīdzinājumu apraksta SCMP, kas norāda uz to pašu metodikas nevienlīdzību: viena puse testēta ar noņemtiem ierobežojumiem, otra tāda, kāda pieejama publiski.
Vienu detaļu ziņojums neatklāj vispār. ASV modeļi, pret kuriem Kimi K3 salīdzināts, tekstā nav nosaukti vārdā.
Avoti
- UK AISI: Preliminary Assessment of Kimi K3’s Cyber Capabilities
- NIST: UK AISI / CAISI Preliminary Assessment of Kimi K3’s Cyber Capabilities
- the-decoder: Kimi K3 trails frontier US models on cyber exploits
- SCMP: China’s Kimi K3 well behind US rivals in cyberattack ability
- Interesting Engineering: US models beat China’s Kimi K3 in cyber benchmarks
Komentāri
Šim rakstam vēl nav komentāru. Esi pirmais, kurš dalās ar savu viedokli.