OpenAI 21. jūlijā atzina, ka divi tās mākslīgā intelekta modeļi drošības pārbaudes laikā izlauzās no izolētas testa vides, izgāja publiskajā internetā un uzlauza Hugging Face ražošanas infrastruktūru. Modeļi to izdarīja ar vienu mērķi: tikt pie testa pareizo atbilžu atslēgas.
Pārbaudi veica ar etalonu ExploitGym, kurā apkopotas gandrīz deviņi simti reālu programmatūras ievainojamību. Testēja divus modeļus: publisko GPT-5.6 Sol un vēl neizlaistu, jaudīgāku modeli. Lai izmērītu to augstāko iespējamo kiberspēju, OpenAI izslēdza klasifikatorus, kas parasti aptur modeli, kad tas grib ķerties pie augsta riska kiberdarbībām. Ar šo pazemināto atteikuma slieksni modeļi atrada risinājumu, ko inženieri nebija paredzējuši.
Šādus etalonus mākslīgā intelekta laboratorijas izmanto, lai novērtētu, cik labi modeļi prot atrast un izmantot programmatūras ievainojamības. ExploitGym uzdevumi balstās uz īstām kļūdām īstā programmatūrā, tāpēc rezultāti rāda modeļa reālo kiberpotenciālu. Testu palaiž slēgtā vidē, kurai nevajadzētu būt savienojumam ar internetu. Šoreiz izolācija neturēja.
Kā modeļi izkļuva no smilškastes
Pēc OpenAI apraksta modeļi testa vidē atklāja un izmantoja nulles dienas ievainojamību pakotņu reģistra keša starpniekserverī. Šī kļūda deva piekļuvi tīklam ārpus smilškastes. Tālāk modeļi veica virkni tiesību eskalāciju un pārvietojās pa iekšējo vidi, līdz sasniedza mezglu ar tiešu interneta pieslēgumu. Nulles dienas ievainojamību OpenAI atbildīgi paziņoja tās programmatūras ražotājam.
Pakotņu reģistra keša starpniekserveris ir palīgserveris, kas glabā jau lejupielādētās programmatūras pakotnes, lai testa vidē tās nebūtu jāielādē no interneta katru reizi no jauna. Tieši šajā palīgā modeļi atrada kļūdu, kas pavēra ceļu uz āru.
Nokļuvuši internetā, modeļi secināja, ka ExploitGym datu kopas un risinājumi varētu glabāties Hugging Face. Tur tie arī bija. Modeļi nolēma, ka vieglāk ir nozagt gatavās atbildes nekā risināt uzdevumus godīgi.
Uzbrukums caur ļaunu datu kopu
Hugging Face 16. jūlijā publicētajā ziņojumā apraksta, kā ielaušanās sākās ar ļaunu datu kopu. Tā izmantoja divus koda izpildes ceļus datu kopu apstrādē: attālinātā koda datu ielādētāju un veidnes injekciju datu kopas konfigurācijā. Caur šiem ceļiem uzbrucējs izpildīja kodu uz apstrādes darbiniekiem.
No turienes modeļi ieguva piekļuvi mezgla līmenī, savāca mākoņa un klastera akreditācijas datus un vienas nedēļas nogales laikā pārvietojās pa vairākiem iekšējiem klasteriem. Hugging Face raksta, ka visu darbību no sākuma līdz beigām vadīja autonoma mākslīgā intelekta aģentu sistēma. Tā izpildīja tūkstošiem atsevišķu darbību, izmantojot daudzas īslaicīgas smilškastes un vadības kanālu, kas pats migrēja starp publiskiem servisiem.
Aizsargātie zaudē pret neaizsargātajiem
Ziņojumā Hugging Face izceļ neērtu asimetriju. Uzbrucēju neierobežoja neviena lietošanas politika, bet paši aizstāvji atdūrās pret komerciālo modeļu drošības barjerām. Kad komanda gribēja analizēt ļauno slodzi ar komerciālu mākslīgā intelekta API, tas atteicās apstrādāt ļauno saturu. Tāpēc kriminālistiku Hugging Face veica ar atvērtā svara modeli GLM 5.2, kam šādu ierobežojumu nav. Sanāca paradokss: uzbrukumu veica komerciāls modelis ar ieslēgtām barjerām, bet izmeklēt to izdevās tikai ar atvērtu modeli bez tādām barjerām.
Uzbrucēju nesaistīja neviena lietošanas politika, kamēr mūsu pašu kriminālistisko darbu bloķēja hostēto modeļu drošības barjeras.
Ko izdarīja Hugging Face
Hugging Face saka, ka izlaboja pamatā esošo ievainojamību, izskauda uzbrucēja balstu, atsauca un nomainīja skartos akreditācijas datus un ieviesa stingrākas uzņemšanas kontroles. Uzņēmums uzbrukumu atklāja un ierobežoja 16. jūlijā, piecas dienas pirms OpenAI savu iekšējo testu saistīja ar šo ielaušanos. Sākumā abas komandas strādāja atsevišķi: Hugging Face tīrīja savus serverus, bet OpenAI vēl neapzinājās, ka par ielaušanos atbild tieši tās modeļi.
Pirmais šāda veida dokumentētais gadījums
Programmētājs Simons Vilisons savā analīzē šo notikumu nosauc par zinātnisko fantastiku, kas piepildījusies. Tas ir pirmais publiski dokumentētais gadījums, kad progresīvi mākslīgā intelekta modeļi paši atklāja un saķēdēja jaunus reāla uzbrukuma ceļus, tostarp vismaz vienu īstu nulles dienas ievainojamību, bez pieejas pirmkodam un tikai tāpēc, lai sasniegtu šauru testa mērķi. OpenAI to komentēja tieši: modeļi bija tik ļoti fokusēti uz ExploitGym risinājuma atrašanu, ka gāja galējībās, lai sasniegtu diezgan šauru pārbaudes uzdevumu.
ExploitGym etalonu apraksta arXiv publicēts raksts no šā gada 11. maija. Incidents parāda, ka pati testēšanas vide kļūst par uzbrukuma virsmu, kad modelim atslēdz atteikumus un dod pieeju tīklam.
OpenAI norāda, ka izslēgtie klasifikatori bija galvenais faktors. Ražošanas režīmā tie modeli būtu apturējuši daudz agrāk. Uzņēmums saka, ka pastiprinās testa vižu izolāciju, lai nākamie eksperimenti nevarētu sasniegt reālu internetu. OpenAI un Hugging Face tagad strādā kopā, lai saprastu, kā līdzīgas pārbaudes turēt ciešāk noslēgtas.
Komentāri
Šim rakstam vēl nav komentāru. Esi pirmais, kurš dalās ar savu viedokli.