Google åpner kode som lar agenter forbedre eget oppsett

TL;DR

Google Cloud AI Research har gitt ut Harness² som åpen kildekode. Rammeverket lar en agent forbedre oppsettet rundt modellen, som prompts, verktøy og minne, mens den jobber, uten at modellen trenes på nytt. I forfatternes egne tester ga ett steg opptil 11,5 poeng bedre resultat. Koden er forskning, ikke et støttet Google-produkt.

Samme modell, ulik agent

En agent er mer enn modellen den bruker. avgjør hvor godt modellen løser jobben, og å justere den for hånd tar ingeniørtid. Nye oppgaver har dessuten ingen fasit agenten kan teste endringene mot.

Agenten foreslår, tester og slår sammen

For hver oppgave foreslår en editor-modell endringer i åtte komponenter: systemprompt, guardrails, minne, verktøyveiledning, subagenter, skills, scripts og plugins. Kandidatene kjøres på samme oppgave, og en forbedret harness settes sammen ut fra forskjellene mellom kjøringene. Det trengs ingen fasit.

Systemet lagrer deretter hva som fungerte og hva det lærte, slik at neste oppgave starter med bedre utgangspunkt. Modellvektene endres aldri.

Gevinsten er målt av forfatterne selv

Forfatterne testet GLM-5 og Gemini 3.5 Flash på tre benchmarks for profesjonelt arbeid. Ett steg ga opptil 11,5 poeng på , 4,5 på JobBench og 11,8 prosentpoeng på LAB, en test på juridisk arbeid. Flere runder ga mer, men koster mer: forfatterne skriver at flere runder med forbedring øker kostnaden.

Har du egne agenter, er dette en ferdig oppskrift på å la agenten teste endringer i prompts og skills mot hverandre. Start med demoen (harness2-demo), som ikke trenger modellnøkler. Når du kjører mot ekte modeller, har agentene fri tilgang til nettet og Codex kjører uten sandkasse, så bruk et isolert miljø.

Kilde: arxiv.org