Microsoft 19. oktobrī publicēja Scope, atvērtā koda platformu AI kodēšanas aģentu novērtēšanai. Projekts pieejams GitHub repozitorijā ar MIT licenci. Scope nav jauns AI aģents. Tā ir testēšanas vide, kas esošiem aģentiem iesniedz programmēšanas uzdevumu, pieraksta katru soli un novērtē rezultātu ar LLM tiesneša palīdzību.
Pašlaik platforma atbalsta divus aģentus: GitHub Copilot CLI un Claude Code CLI. Microsoft to atzīmē kā pētniecības priekšskatījumu (research preview), tāpēc saskarnes var mainīties. Bet arhitektūra jau ir pietiekami nobriedusi, lai parādītu, uz kurieni virzās AI rīku testēšana.
Uzdevums iekšā, punkti ārā
Scope darbības cikls ir tiešs. Lietotājs definē uzdevumu: apraksta, kas aģentam jāizdara, pievieno nepieciešamos failus un nosaka vērtēšanas kritērijus. Platforma palaiž aģentu izolētā vidē, piešķir tam piekļuvi repozitorijai un pieraksta visu, ko aģents dara. Rīku izsaukumus, failu izmaiņas, termināļa izvadi, kļūdu paziņojumus. Viss nonāk žurnālā.
Kad aģents pabeidz darbu, iestājas LLM tiesnesis (Judge serviss). Tas salīdzina gala stāvokli ar lietotāja definētajiem kritērijiem. Katru kritēriju tiesnesis vērtē atsevišķi, piešķirot punktus no nulles līdz simtam. Rezultātus var apskatīt tīmekļa portālā vai izvilkt caur CLI un REST API turpmākai analīzei.
Kritērijus var sakārtot atkarības grafikā. Bērnu kritērijs aktivizējas tikai tad, ja vecākkritērijs ir izpildīts. Piemēram, ja aģents neuzraksta pareizo failu, nav jēgas vērtēt, vai fails kompilējas. Ja fails nekompilējas, nav jēgas pārbaudīt, vai testi iziet zaļi. Šāda struktūra samazina maldīgi pozitīvus rezultātus. Aģents nesaņem daļējus punktus par neiespējamu turpinājumu.
DevAx: kad lietotājs ir robots
Blakus Scope Microsoft ievieš jēdzienu DevAx (Developer Agent Experience). Līdzīgi kā UX mēra, cik ērti cilvēks lieto saskarni, DevAx mēra, cik veiksmīgi AI aģents strādā ar API, dokumentāciju vai rīkiem. Ideja ir vienkārša: ja SDK dokumentācija ir neskaidra cilvēkam, tā visticamāk būs neskaidra arī aģentam. Bet aģents kļūdīsies savādāk. Cilvēks pajautās kolēģim vai meklēs piemēru forumā. Aģents klusi ģenerēs kodu, kas izskatās pareizs, bet nestrādā.
Scope ir pirmais publiskais rīks, kas šo jēdzienu pārvērš atkārtojamajos eksperimentos. Komanda var definēt piecdesmit uzdevumus savai SDK, palaist tos pret diviem aģentiem un apskatīt, kur katrs apstājas. Ja trīsdesmit procentos gadījumu aģents nepareizi izsauc autentifikācijas metodi, problēma nav aģentā. Problēma ir dokumentācijā vai API dizainā.
Prasības ir augstas
Scope nav pieejams kā mākoņpakalpojums. Vienīgais veids to palaist ir uz lokālās mašīnas vai Kubernetes klasterī ar Helm diagrammu. Lokālajai uzstādīšanai vajag Docker ar Compose v2, Node 22, pnpm, mkcert un GitHub CLI. Noklusējuma darbinieks papildus prasa aktīvu GitHub Copilot licenci. Judge servisam vajadzīgi piekļuves dati kādam modeļa sniedzējam: OpenAI, Azure OpenAI vai citam.
Šis saraksts ir garāks nekā vairumam atvērtā koda testēšanas rīku. Copilot licence nozīmē, ka bezmaksas eksperimentēšana ar Copilot darbinieku nav iespējama. Claude Code darbinieks pieprasa savu Anthropic API atslēgu. Kubernetes atbalsts gan nozīmē, ka komanda var koplietot vienu Scope instanci desmit izstrādātājiem, nevis katrs uzstāda savu.
Salīdzināšana ar reāliem uzdevumiem
AI kodēšanas aģentu tirgus pēdējā gadā ir strauji pieaudzis. GitHub Copilot, Claude Code, Cursor, Windsurf un citi rīki piedāvā rakstīt kodu izstrādātāja vietā. Salīdzināt šos rīkus ir grūti. Katrs ražotājs publicē savus mērījumus uz saviem uzdevumiem. SWE-bench, populārākais publiskais etalonrādītājs, mēra, cik labi aģents labo Python kļūdas atklātā koda projektos. Tas ir noderīgi, bet neatspoguļo, kā aģents strādā ar konkrētas komandas iekšējo SDK vai privāto API.
Scope ļauj komandai definēt savus uzdevumus ar saviem kritērijiem, palaist aģentus ar vienādiem nosacījumiem un salīdzināt rezultātus blakus. Tā ir atšķirība starp “mēs palaidām SWE-bench” un “mēs palaidām mūsu reālos uzdevumus ar mūsu kodu bāzi”.
Scope nenosaka, kurš aģents ir labākais vispārīgā nozīmē. Tas parāda, kurš aģents vislabāk strādā ar konkrēto produktu, SDK vai MCP serveri noteiktā brīdī.
Agrīna stadija ar skaidru virzienu
Platforma ir pētniecības priekšskatījumā. API var mainīties, dokumentācija ir nepilnīga. Atbalstīti tikai divi aģenti, abi caur komandrindas saskarni. VS Code Copilot variants ir vienīgais, kas spēj uzstādīt paplašinājumus. Kubernetes prasība attur individuālus izstrādātājus, lai gan Docker Compose režīms darbojas arī uz vienas mašīnas.
Pats fakts, ka Microsoft publicē šādu rīku ar MIT licenci, liecina par pārmaiņām. AI aģentu novērtēšana pēdējos divus gadus lielākoties notika mārketinga materiālos un ražotāju etalontestos. Scope pārvieto to uz inženierijas teritoriju ar atkārtojamiem eksperimentiem, definētiem kritērijiem un pierakstītiem rezultātiem. Nākamais jautājums ir tas, vai kopiena pievienos atbalstu citiem aģentiem ārpus Microsoft ekosistēmas.
Komentāri
Šim rakstam vēl nav komentāru. Esi pirmais, kurš dalās ar savu viedokli.