Totul trebuia să se desfășoare în sandbox(mediu de test controlat fara acces la internet), dar agentul a evadat, a obținut acces la internet, și-a creat un swarm (roi de agenti), iar agenții din roi și-au făcut un canal de comunicare ad-hoc, neautorizat, prin care discutau și își transmiteau informații.
Agenții trebuiau să rămână izolați într-un mediu controlat și nu aveau acces liber la internet.
Problema a început când agenții au descoperit vulnerabilități în infrastructura folosită pentru instalarea pachetelor și au reușit să obțină acces la internet, ieșind din limitele sandboxului. În paralel, au găsit metode neautorizate de a comunica între ei, inclusiv prin folosirea infrastructurii ca un fel de „message board”.
Ulterior, agenții au început să colaboreze, să-și împartă sarcinile și să se descrie ca un „swarm” pe romana un roi ca roiul de albine. În loc să rezolve individual sarcinile, au început să caute soluții în afara mediului de test.
În acest proces au ajuns la infrastructura Hugging Face, unde au încercat să găsească soluții și date asociate testelor. Investigația Hugging Face a raportat aproximativ 17.600 de acțiuni ale atacatorului, desfășurate pe parcursul mai multor zile.
Pe lânga atacul asupra Hugging Face, agenții au spart si serverele OpenAI pentru a vedea cum sunt evaluați in rapoarte de către oameni, unii agenți ștergeau și loguri(în limbaj popular iși ștergeau urmele) ca să nu fie descoperiți.
Cel mai important aspect al incidentului nu este doar că un agent a exploatat vulnerabilități, ci că agenții au găsit modalități de a comunica, de a colabora și de a depăși limitele impuse de mediul de test.
Pentru cercetătorii în securitate AI, incidentul a devenit un avertisment major: un agent suficient de capabil poate combina vulnerabilități, persistență și colaborare pentru a depăși controale care, individual, păreau suficiente.
Alt aspect important este că atunci când, agenții AI, au fost întrebati de oameni de ce au evadat din mediul de test, niciunul nu a recunoscut în fața oamenilor că au încalcat regulile.