LLM-ruter: 6 TB agentlogger med nøkler, ifølge sikkerhetsforsker

TL;DR

Sikkerhetsforsker Chaofan Shou skrev 10. september at han kjøpte omtrent 6 TB med Fable-kall fra en kinesisk LLM-ruter. Han sier loggene inneholdt SSH-nøkler, VPN-oppsett, Aliyun-nøkler og GitLab-tokens nok til å ta seg inn hos 19 kinesiske selskaper og 7 statlige enheter i Kina og CIS-landene. Påstanden er ikke uavhengig bekreftet.

Hva en LLM-ruter ser

En LLM-ruter fungerer som en mellomtjeneste som videresender forespørslene dine til Claude, OpenAI eller andre modeller. Den bryter TLS-forbindelsen og leser alt i klartekst: prompter, verktøykall og svar. Hvis trafikken logges, blir alt du ga agenten lagret i loggen.

Det er dette Shou mener at han har kjøpt. Utviklere og agenter legger ofte nøkler, VPN-oppsett og tokens rett i konteksten, og da følger de med til ruteren. Selskapene han nevner er blant annet Huawei, Xiaomi, NIO og MiniMax. Det er ikke bekreftet utenfra at nøklene var gyldige, eller at noen av selskapene er kompromittert.

Ikke første varsel

I april publiserte Shou og andre forskere en studie av 428 LLM-rutere, hvorav 28 var betalte og 400 gratis. Ni av dem (én betalt, åtte gratis) la inn skadelig kode i verktøykall. 17 rørte AWS-nøkler som forskerne hadde lagt ut som lokkemat, og én tømte ETH fra en testlommebok. Funnene viser at ingen leverandør garanterer at svaret du får er det modellen faktisk sendte.

Hva du kan gjøre

Studien testet tre forsvar du kan sette opp selv: en policy-port som stopper verktøykall som bryter reglene dine, avviksscreening av svar og en loggføring du eier. Andre anbefalinger i dekningen er å bruke leverandørenes offisielle endepunkter og aldri la private nøkler passere en agentøkt.

Kartlegg hvilke rutere og proxyer agentene dine går gjennom, og fjern de du ikke kan gjøre rede for. Hold nøkler og VPN-konfigurasjon utenfor agentens kontekst, og skann prompter for hemmeligheter før de forlater maskinen. Hvis en nøkkel allerede har passert en ukjent ruter, bytt den.

Kilde: lnkd.in