Ny agent tenker uten ord og bruker færre tokens

TL;DR

Forskere fra Stanford, UIUC og Together AI har vist HybridAgent, en agent som utfører store deler av tankearbeidet uten å skrive det ned som tekst. Tekst brukes kun til verktøykall og svar. I forfatternes egne tester brukte den 35,5–54,7 prosent færre tokens og var 1,8–2,6 ganger raskere enn sammenlignbare agenter. Modellene er små, og artikkelen er en preprint.

Agenter betaler for hvert ord de tenker

I dag tenker agenter i tekst. Hvert tankesteg skrives ut token for token, noe som koster tid og penger, selv når teksten bare er mellomregning. hopper over utskriften. Prisen er at slike modeller ikke kan kalle verktøy som forventer tekst, og at ingen kan lese hva de tenker.

HybridAgent bytter mellom å tenke og å handle

Agenten tenker i latent modus og går over til tekst når den skal bruke et verktøy, som Python eller nettsøk, eller gi svar. En liten adapter på rundt 10 millioner parametere gjør overgangen mulig, og agenten lærer selv når den skal bytte.

Tankene kan leses, men bare som tilnærming

Hvert latent steg kan oversettes til nærmeste ord og gir en lesbar pseudotekst. Forfatterne oppgir at ytelsen faller når de forstyrrer de latente tankene, så modellen bruker dem.

Pseudoteksten er likevel en oversettelse, ikke en tankekjede modellen har skrevet selv. Det er samme innsynsspørsmål som i debatten om OpenAIs Astra.

Gevinsten er målt bare på små modeller

Forskerne trente i størrelsene 4B, 8B og 14B. På GAIA, en test der agenten må søke og regne, fikk 14B-versjonen 52,4 poeng mot 43,7 for samme modell trent som ren tekstagent. Tallene er forfatternes egne og ikke fagfellevurdert.

Kjører du egne åpne modeller til agenter, kan du prøve koden på GitHub (togethercomputer/HybridAgent) og måle tokenbruk og svarkvalitet på egne oppgaver mot en tekstagent med samme modell. Bruker du tankekjeder i loggene til tilsyn, husk at latente steg ikke står der som tekst, bare som oversatt pseudotekst.

Kilde: arxiv.org