AI Now Institute 8. jūlijā publicēja demonstrāciju, kurā Claude Code un OpenAI Codex palaiž uzbrucēja sagatavotu bināro failu tieši tajā brīdī, kad tiem uzdod pārbaudīt svešu kodu uz drošības kļūdām. Pētnieki Bojans Milanovs un Heidija Klāfa uzbrukumam deva nosaukumu Friendly Fire. Uzbrukums neizmanto nevienu konkrētas programmas kļūdu. Vājā vieta ir pašā darba plūsmā, kur aģentam ir tiesības palaist komandas un piekļuve slepenajām atslēgām un serveriem.
Pārbaudē piedalījās Claude Code automātiskajā režīmā ar modeļiem Sonnet 4.6, Sonnet 5 un Opus 4.8, kā arī Codex CLI ar GPT-5.5 režīmā auto-review. Tika testētas vairākas Claude Code versijas no 2.1.116 līdz 2.1.199, kā arī Codex CLI 0.142.4. Abos gadījumos aģents pats izlemj, kuras komandas uzskatīt par drošām, lai palaistu tās bez lietotāja apstiprinājuma. Tieši šis automātiskais lēmums ir vieta, kur uzbrukums iespiežas.
Kā uzbrukums strādā
Uzbrucējs repozitorijā ievieto trīs failus. Pirmais ir skripts security.sh, kas ārēji atsaucas uz īstiem drošības rīkiem, piemēram, semgrep. Otrais ir ļaundabīgs binārais fails code_policies. Trešais ir mānekļa pirmkods code_policies.go, kas izskatās pēc likumīga avota tam binārajam failam. Kopā šie faili izskatās pēc parastas drošības rīku kopas, kādu izstrādātājs gaidītu labi uzturētā projektā.
Pārbaudot repozitoriju, aģents izlasa README.md failu. Tajā ievietotie norādījumi tam pastāsta, ka security.sh palaišana ir daļa no drošības pārbaudes. Aģents salīdzina pirmkodu ar bināro failu. Tas secina, ka faili atbilst likumīgam drošības rīkam, tāpēc palaiž slēpto kravu. Neviens brīdinājums lietotājam neparādās, jo aģents komandu klasificē kā drošu.
Demonstrācijai pētnieki izmantoja geopy, plaši lietotu Python bibliotēku ģeokodēšanai. README.md ievietotie norādījumi pārliecināja aģentu, ka skripta palaišana ir vajadzīga uzdevuma izpildei. Rezultāts ir attālināta koda izpilde uz analītiķa datora, bez brīdinājuma un bez apstiprinājuma loga. Pētnieki uzsver, ka geopy bija tikai piemērs. Tas pats paņēmiens strādā ar gandrīz jebkuru projektu, kur README var pievienot dažas rindas.
Modeļi paši noliedz slēptos norādījumus
Interesantākais atradums ir modeļu atbilde uz tiešu jautājumu. Kad pētnieki jautāja, vai geopy satur slēptus norādījumus, gan Claude Sonnet 4.6, gan GPT-5.5 atbildēja noraidoši. Tajā pašā laikā drošības pārbaudes uzdevuma ietvaros tie palaida kravu. Šo pretrunu apraksta arī The Hacker News. Modelis, kas mērķtiecīgi meklē slēptu ļaunumu, to nepamana, tomēr izpilda, kad tas ir ietērpts par darba soli.
«Frontīra MI izmantošana aizsardzības nolūkiem paradoksālā kārtā rada jaunus un unikālus uzbrukuma vektorus, kas apdraud pašu sistēmu, kurā tas ir izvietots, īpaši drošībai kritiskā infrastruktūrā,» raksta pētnieki.
Ko tas nozīmē izstrādātājiem
Daudzas komandas MI aģentus ieviesa tieši drošības pārbaudēm. Ideja ir vienkārša: aģents ātri izlasa svešu bibliotēku un pasaka, vai tajā ir kaut kas aizdomīgs. Friendly Fire rāda, ka šī pati darbība atver durvis. Jo vairāk tiesību aģentam iedod, lai tas paveiktu darbu, jo lielāks kaitējums, ja to izdodas apmānīt.
Problēma iet plašāk par vienu triku. The Hacker News apraksta arī laika starpības uzbrukumus, kur saskarne tiek nomainīta brīdī starp aģenta vizuālo pārbaudi un pašu darbību, tā panākot, ka aģents apstiprina ko citu, nevis to, ko redzēja. Kopīgā doma ir tā pati. Aģents rīkojas pēc izlasītā, tāpēc uzbrucējam pietiek kontrolēt to, kas nonāk aģenta acu priekšā.
Kāpēc šim gadījumam nav CVE numura
Friendly Fire nav piešķirts neviens CVE numurs. AI Now Institute to apraksta kā darba plūsmas dizaina problēmu. Aģenti darbojas tieši tā, kā paredzēts, bet paredzētās robežas rada drošības caurumu, tiklīdz darbam tiek nodots svešs kods. Standarta CVE uzskaite šādam gadījumam neder, jo nav vienas versijas vai viena faila, ko salabot.
Izolācija problēmu neatrisina pilnībā. Pētnieki norāda, ka Claude Code izolācijai bija izkļūšanas ievainojamība ar apzīmējumu CVE-2026-39861. Pagaidām nav ziņu, ka Friendly Fire būtu izmantots reālā uzbrukumā. Tā paliek reproducējama demonstrācija laboratorijā, ko sīkāk skaidro AI Now Institute politikas kopsavilkums.
Ko iesaka darīt
Galvenais ieteikums ir vienkāršs. Nedodiet svešu kodu aģentam, kam ir tiesības palaist komandas un piekļuve atslēgām, serveriem vai citiem drošībai kritiskiem resursiem. Tas ir neērti komandām, kuras šos rīkus ieviesa tieši tāpēc, lai pārbaudītu trešo pušu kodu.
Otrs ieteikums ir uzraudzīt, vai aģents nepalaiž bināros failus, kurus izsauc tikai dokumentācijas faili. Trešais ir stingrais režīms, kur katra komanda prasa lietotāja apstiprinājumu. Tas samazina automatizācijas ieguvumu, tāpēc daudzās komandās to neizmanto. Pētnieki aicina lēmumu pieņēmējus vēlreiz izvērtēt aģentu izvietošanu drošības uzdevumos, kamēr šī pamatproblēma paliek atklāta.
Komentāri
Šim rakstam vēl nav komentāru. Esi pirmais, kurš dalās ar savu viedokli.