Ny språkmodell skriver over 1 000 tokens i sekundet

TL;DR

Inception har lansert Mercury 3, en språkmodell som skriver mange ord samtidig i stedet for ett og ett. Ifølge selskapet når den over 1 000 tokens i sekundet. De hevder modellen er raskere enn GPT-6 Luna og Claude Haiku 5.5 med 4–8 ganger, og at den leverer bedre kvalitet. Tallene er Inceptions egne, og ingen uavhengig har testet modellen ennå.

Diffusjon gjør at modellen skriver flere ord samtidig

De fleste språkmodeller skriver svaret ett om gangen, og hvert nye token venter på det forrige. Mercury 3 bruker diffusjon, som i bildegeneratorer: modellen starter med et grovt utkast av hele svaret og forbedrer alle plassene parallelt.

Spørsmålet har vært om metoden holder når modellene vokser. Inception oppgir at Mercury 3 er over 40 ganger større enn første versjon, omtrent tre ganger så god på standardtester og like rask.

Slår to små modeller på de fleste tester, men ikke alle

Ifølge MarkTechPosts gjennomgang av Inceptions tabell leder Mercury 3 på åtte av tolv tester mot Luna og Haiku 5.5. Haiku 5.5 vinner på DeepSWE v1, en test på lengre kodeoppgaver, og på MRCR v2, som måler gjenfinning i lang kontekst.

Prisen er lav nå, men høyere enn konkurrentene etterpå

Listeprisen er 0,20 dollar per million tokens inn og 0,70 ut. Ved lansering er begge halvert til 0,10 og 0,35, uten oppgitt sluttdato. Luna og Haiku 5.5 koster 0,10 inn og 0,50 ut for prompter opp til 100 000 tokens. Til listepris er altså Mercury 3 dyrere, så gevinsten ligger i svartiden.

Modellen bruker OpenAIs API-format og er tilgjengelig hos Inception, OpenRouter, Baseten og Vercel. Nye kontoer får 100 millioner gratis tokens.

Er svartid flaskehalsen i en stemmebot, en støtteagent eller en agent som kaller modellen mange ganger, kan du kjøre egne oppgaver mot Mercury 3 med de gratis tokenene og sammenligne med Luna eller Haiku 5.5. Test lange kontekster og lengre kodeoppgaver først, og regn med listeprisen.

Kilde: inceptionlabs.ai