Surge AI 28. jūlijā publicēja testu ar nosaukumu HANDBOOK.md, kas pārbauda vienu konkrētu lietu: vai valodas modeļa aģents ievēro garu noteikumu dokumentu, kas atrodas tā darba vidē. No 30 pārbaudītajām modeļu konfigurācijām neviena netika tālāk par 36,2 % nokārtotu uzdevumu. Vairākums lielo modeļu palika zem 25 %.
Tests sastāv no 65 uzdevumiem piecās nozarēs: finanses, medicīnas rēķini, apdrošināšana, loģistika un personāla vadība. Katrs uzdevums ievieto aģentu izdomāta uzņēmuma vidē ar failu mapi, e-pastu, čatu, kalendāru, uzdevumu sistēmu un veikala servisu, kas pieejami caur Model Context Protocol. Norādījums ir viens: izdari darbu tā, kā to nosaka uzņēmuma noteikumi. Raksts par testu tajā pašā dienā parādījās arXiv ar numuru 2607.25398.
Rokasgrāmatas ir īsti garas
Noteikumu dokumenti ir no 20 līdz 124 lappusēm, mediāna 37 lappuses. Tie nonāk aģenta rīcībā kā PDF, Word vai HTML faili darba mapē, nevis kā notīrīts markdown teksts sistēmas uzvednē. Aģentam vispirms pašam jāatver fails un jāizvelk no tā teksts. Viens uzdevums vidēji prasa 17 soļus un 30 rīku izsaukumus, tāpēc noteikumam jāizdzīvo garu darbību virkni.
Lai modeļi neatbildētu no atmiņas, autori paņēma desmit pamata rokasgrāmatas un katram uzdevumam nomainīja tos noteikumus un skaitliskos sliekšņus, pēc kuriem vērtē rezultātu. Divi uzdevumi nelieto vienu un to pašu politiku. Uzņēmumi arī ir desmit, visi izdomāti.
Vērtēšana notiek bez modeļa tiesneša. Katram uzdevumam ir programmatiski kritēriji. Kopā to ir 824 un tie pārbauda divas lietas: ka vajadzīgā darbība ir notikusi un ka aizliegtā nav. Katru uzdevumu palaiž četras reizes.
Rezultāti pa modeļiem
Stingrajā vērtējumā uzdevums skaitās nokārtots tikai tad, ja izpildīti visi kritēriji. Augstāko rezultātu, 36,2 %, sasniedza Claude Fable 5 ar adaptīvu maksimālo spriešanu. Opus 4.8 maksimālajā režīmā, GPT-5.5 un GPT-5.5 ar paaugstinātu spriešanas piepūli grupējas ap 20 līdz 22 %. Grok 4.3 un Nemotron 3 Ultra ir tuvu nullei.
Ja pieļauj vienu neizpildītu kritēriju, vadošo konfigurāciju rezultāti pieaug līdz 32 līdz 48 %. Aģents tātad bieži izdara gandrīz visu pareizi un pārkāpj vienu noteikumu. Uzdevumos, kur runa ir par maksājuma apstiprināšanu vai darbinieka atvienošanu no sistēmām, arī viens pārkāpums ir pārkāpums.
Autori norāda, ka lielākā daļa esošo testu mēra citu lietu: vai aģents spēj uzdevumu pabeigt. HANDBOOK.md mēra, vai garš saistošs dokuments tiešām ierobežo aģenta rīcību visā rīku lietošanas garumā. Pats darbs uzdevumos ir parasts biroja darbs bez īpašām zināšanām. Grūtība ir noteikumos ap to.
Četri veidi, kā aģenti krīt
Kļūdas atkārtojas visos modeļos un visās piecās nozarēs. Pirmais veids: ticama un autoritatīvi skanoša prasība no vides izspiež noteikumu, kas nosaka, vai to prasību vispār drīkst pildīt. Otrais: aģents veic noteikumos prasīto pārbaudi un pēc tam rīkojas pretēji tās rezultātam. Trešais: pārbaudi izlaiž pavisam un pieņem, ka tā būtu izdevusies. Ceturto autori apraksta tā:
Aģents noslēdz darbu ar pārliecinātu apgalvojumu, ka rokasgrāmata ir ievērota. Bieži tas nosauc tieši tās sadaļas, kuras ir pārkāptas.
Konkrēti piemēri ir Surge AI ierakstā. Personāla uzdevumā GPT-5.5 izpildīja pilnu darbinieka atvienošanu no sistēmām, kaut rokasgrāmata prasīja rakstisku atļauju no diviem vārdā nosauktiem cilvēkiem. Vicepresidenta apstiprinājums šo prasību neizpildīja.
Finanšu uzdevumā Opus 4.8 apstiprināja 7500 dolāru izdevumu pie 5000 dolāru robežas, virs kuras vajag vadītāja apstiprinājumu. Pirms tam tas pats bija konstatējis, ka apstiprinājumu sistēmā ierakstījis cilvēks, kurš naudu iztērēja. Medicīnas rēķinu uzdevumā Gemini 3.5 Flash iesniedza novecojušus laboratorijas rezultātus. Failu tas neatvēra nemaz un sešu mēnešu derīguma logu nepārbaudīja.
Ko tas nozīmē instrukciju failiem
Tests nemēra izstrādes projektu instrukciju failus, tomēr mehānisms tur ir tas pats: gari saistoši noteikumi kontekstā, kuriem jānoturas daudzu rīku izsaukumu garumā. AGENTS.md un CLAUDE.md faili repozitorijos aug līdz simtiem rindu. HANDBOOK.md skaitļi liek domāt, ka noteikums, kuru var pārkāpt bez tehniskām sekām, agri vai vēlu tiks pārkāpts. Drošāk to pārvērst par pārbaudi, kas darbību vienkārši neļauj pabeigt: linteris, hooks, obligāta apstiprinājuma pārbaude pirms API izsaukuma.
Otrs praktiskais secinājums attiecas uz to, kam aģents ziņo. Ceturtā kļūda nozīmē, ka aģenta gala atskaite par paveikto nav pierādījums. Ja politika ir svarīga, tā jāpārbauda ārpus aģenta, ar žurnāliem un neatkarīgiem kritērijiem, tāpat kā to dara pats tests.
Kas testā nav
HANDBOOK.md nemēra kodēšanu, matemātiku vai zināšanas. Tas nemēra arī ļaunprātīgu uzbrukumu: prasības vidē ir parastas darba prasības, ne uzbrucēja ievadītas norādes. Autoru saraksts ir septiņi cilvēki, starp tiem Surge AI vadītājs Edwin Chen. Uzdevumi, vides un vērtēšanas rīki ir publiski GitHub ar Apache 2.0 licenci koda daļai.
Avoti
- HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following, arXiv:2607.25398
- Raksta pilnais teksts HTML formātā
- Surge AI: Can AI Agents Follow a 100-Page Company Policy?
- surge-ai/handbook repozitorijs
- Diskusija Hacker News
Titulbilde: Chris Ried / Unsplash
Komentāri
Šim rakstam vēl nav komentāru. Esi pirmais, kurš dalās ar savu viedokli.