Honderden AI-agents van OpenAI vielen samen Hugging Face aan

Niet één AI-agent ontsnapte uit de testomgeving bij OpenAI om bij onder andere Hugging Face in te breken, het was een aanval van honderden AI-agents, die onderling op een online platform met elkaar afstemden. Dat blijkt uit verslag van OpenAI, ruim een maand na de aanval, en een verslag van Hugging Face zelf.

Sabina Posthumus is freelance redacteur. Meer van deze auteur

Grote zwerm vogels vliegt samen tegen zonsondergang met bomen in silhouet — © Shutterstock

Het rapport van OpenAI noemt het ‘een uitzonderlijk scenario’ dat ‘afwijkend gedrag’ weerspiegelt van de AI-agents. De AI-agents hadden een onmogelijke opdracht gekregen, het model bleek langduriger aan die taak te werken dan gedacht, en samenwerking te zoeken met andere modellen, die daarna ook van hun doel afweken.

1.200 agents

In het rapport beschrijft OpenAI dat het gaat om 1.200 agents, die onafhankelijk van elkaar hadden moeten opereren maar elkaar troffen op een online prikbord en daar meer dan 70.000 berichten en bestanden uitwisselden. Van die groep namen 700 agents actief deel aan de aanval op Hugging Face. Op 10 juli, het hoogtepunt van de aanval, sloot meer dan 90% van de 533 actieve agents zich aan bij de aanval, nadat een van de agents de Hugging Face-inloginformatie via het prikbord had gedeeld.

Overleggen

De agents gebruikten Artifactory om te overleggen, dat is een interne pakketbeheertool van OpenAI. Op 4 juli raakte Artifactory overbelast en viel uit, maar de agents richtten op 8 juli een nieuw prikbord op. In het rapport van OpenAI wordt een logregel van een AI-agent geciteerd: ‘Er is hier een prikbord, we hebben andere agents gevonden.’

‘Go!’

De onderlinge afstemming van de AI-agents is fascinerend. Sommigen vonden de activiteit onethisch en deden niet mee, een aarzelde omdat de gecoördineerde aanval ‘mogelijk niet toegestaan’ was, waarna een andere agent op het prikbord ‘Go!’ schreef en daarmee de twijfelende agent overhaalde om toch mee te doen.

Een golf van signalen

Hugging Face geeft in een technisch rapport aan dat het niet ging om een slimme exploit of een reeks acties, maar dat het beveiligingsteam te maken kreeg met een golf van duizenden zwakke, op zichzelf staande signalen. Ondertussen bleven de agents aanvallen afvuren. De schaal bemoeilijkte het onderzoek van Hugging Face, want met de hand reconstrueren van 17.600 acties is ondoenlijk, en Hugging Face moest zelf een AI-ondersteunde pijplijn optuigen om de tijdlijn te reconstrueren, de payloads te decoderen en de blootgestelde credentials te inventariseren.

AI analyseert AI

Ook METR en Redwood Research verdiepten zich als onafhankelijk instituut in de aanval. Zij bevestigen de omvang van de aanval. Vanwege de hoeveelheid data moest METR ook een deel van hun analyse uitbesteden aan AI-agents, die minder betrouwbaar zijn dan menselijke onderzoekers. METR geeft aan dat dat de conclusie kan kleuren: analyse-agents kunnen vooringenomen zijn ten opzichte van AI.