Skalering er oppdagelse, ikke en rett linje
Majmudar jobber med forskning internt hos OpenAI og ser modellutviklingen tettere enn de fleste. Ifølge ham følger fremgangen skaleringslover som gir avtakende avkastning isolert sett, men som øker kraftig igjen hver gang en ny skaleringsakse blir tatt i bruk. Observatører som har lest tråden lister opp aksene som allerede er utnyttet: data og parametere, syntetisk data, kontekstlengde, sparsifisering, flere resonnementstokens, RL-miljøer, og lengre serielle resonnementer.
Det er en nyttig påminnelse når neste modell «bare» blir litt bedre på samme akse: gevinsten hentes ofte ikke ut før noen finner en ny akse å presse på.
Svermstørrelse er allerede i produkt
Den aksen Majmudar peker på som mest lovende er svermstørrelse: flere agentinstanser som løser deler av samme oppgave parallelt. Det er ikke bare teori. Dagen etter tråden lanserte OpenAI sitt Agents API i offentlig beta, med innebygd støtte for at en hovedagent kan dele opp arbeid og delegere til underagenter som kjører samtidig, med et konfigurerbart tak på hvor mange som kan jobbe parallelt.
Majmudar er samtidig ærlig om begrensningen: kapabilitetshoppene ser foreløpig ikke ut til å gi generalisering på tvers av domener. Selv interne modeller mangler grunnleggende kompetanse på mange områder, uten at noe domene ser ut til å være prinsipielt umulig å nå etter hvert.
Kilde: x.com