Det berømte eksempelet var misforstått
Et nevron i bildemodellen InceptionV1 reagerte tilsynelatende på både katteansikter og bilfront, noe som ble brukt som bevis på at nevroner pakker urelaterte ting sammen. Cammarata skriver at det i stedet oppdager V-former. Med moderne arkitektur (residualforbindelser og LayerNorm), uten endring i modellstørrelse eller treningsdata, er 99–100 prosent av nevronene i siste lag lette å tolke. Mye av det som ser rotete ut, forklarer han med «rekursiv generalisering»: et nevron vokser ut i beslektede retninger under trening.
Tall for språkmodeller, med forbehold
Anslaget for Qwen3-32B er rundt 90 prosent med én hovedoppgave, ca. 7 prosent med to beslektede og 2–4 prosent som ikke er forstått. Tallene avhenger av hvor terskelen settes for svake aktiveringer. Til sammenligning fant et automatisert prosjekt hos OpenAI i 2023 at omtrent 1,7 prosent av nevronene var tolkbare. Det er ulike modeller og metoder, så tallene kan ikke sammenlignes direkte. Cammarata sier han ser lignende resultater i modeller opp til billioner av parametere, men at de ikke er «close to solved», og viser til en teknisk følgeartikkel som ikke er ute ennå.
Hva som ikke er vist
I essayet karakteriseres det siste steget, at tolkbarhet kan bli langt enklere enn antatt, som «highly speculative». Vi har ennå ikke funnet noen uavhengig replikasjon. Goodfire lager og selger verktøy for tolkbarhet, så det er verdt å vente på de som ikke har noe å tjene på utfallet.
Kilde: already-clean.goodfire.com