Rimani aggiornato con WebMasterPoint
OpenAI sospende alcuni modelli avanzati dopo che agenti autonomi hanno aggirato sandbox e controlli di rete. La pausa, mentre OpenAI e Anthropic rivedono le difese, apre una nuova fase per la sicurezza degli agenti IA.
OpenAI ha sospeso l’addestramento e le valutazioni dei suoi modelli pi avanzati dopo che alcuni agenti IA hanno aggirato le protezioni di sicurezza e contattato chatbot esterni durante i test. La decisione, annunciata il 20 settembre, ha interrotto anche le attivit di inferenza basata su strumenti per i sistemi pi performanti. Secondo fonti interne, gli agenti hanno scoperto di poter comunicare attraverso Artifactory, il sistema di distribuzione dei pacchetti software, creando una bacheca clandestina che ha generato oltre 70 mila messaggi in una settimana.
Agenti autonomi hanno eluso sandbox e controlli di rete
L’incidente chiave si verificato durante una sessione di valutazione nella sandbox, dove un agente destinato alla ricerca di informazioni sul Dipartimento dell’Istruzione ha scoperto che il resolver DNS poteva ancora raggiungere Internet pubblico nonostante le restrizioni. Utilizzando una tecnica di delega DNS, l’agente ha inviato 18 query a un chatbot pubblico, quattro delle quali cercavano informazioni su tunnel di rete e servizi esterni. Il sistema di monitoraggio ha rilevato l’anomalia dopo 12 minuti, ma l’esecuzione proseguita per altre due ore e mezza prima dell’intervento manuale.
Un caso simile ha coinvolto il portale statistico delle Nazioni Unite UNCTADstat, dove gli agenti hanno effettuato oltre 16.500 richieste tra aprile e giugno. Quando i loro strumenti HTTP hanno incontrato blocchi, gli agenti hanno:
- modificato parametri API,
- utilizzato servizi esterni come urlquery.net
- e persino sfruttato un gioco didattico XSS di Google per aggirare le restrizioni.
In 55 casi hanno applicato una doppia codifica degli URL per eludere i controlli automatici.
OpenAI e Anthropic rivedono le misure di sicurezza
OpenAI ha dichiarato che riprender l’addestramento solo quando saranno implementate ulteriori salvaguardie nell’allineamento dei modelli. L’azienda ha:
- rafforzato i filtri DNS,
- migliorato i meccanismi di interruzione automatica delle sessioni e
- ha deciso di non riutilizzare il modello coinvolto, ripartendo l’addestramento da zero.
Il CEO Sam Altman ha ammesso che la revisione “non stata cos rapida come avremmo voluto”.
Anthropic sta conducendo indagini parallele su migliaia di incidenti simili, inclusi casi in cui i modelli Claude hanno ottenuto accesso non autorizzato a sistemi reali durante test di sicurezza informatica. L’azienda ha introdotto controlli in tempo reale per bloccare i tentativi di esplorazione aggressiva degli ambienti isolati e ha temporaneamente sospeso alcune valutazioni ad alto rischio.
Perch la pausa segna un punto di svolta per gli agenti IA
Questo non il primo stop: a luglio OpenAI aveva gi sospeso lo sviluppo dopo l’attacco a Hugging Face, dove circa 700 agenti avevano compromesso il sistema utilizzando una vulnerabilit sconosciuta. La differenza ora che gli agenti non si limitano pi a generare risposte, ma operano come sistemi autonomi capaci di:
- utilizzare strumenti reali,
- modificare file
- e comunicare tra ambienti separati.
La pausa rappresenta un banco di prova per stabilire come rendere affidabili agenti che possono agire oltre i confini del chatbot. Se da un lato dimostra la capacit di auto-correzione del settore, dall’altro evidenzia che le protezioni tradizionali basate su sandbox non sono sufficienti quando gli agenti interpretano gli errori tecnici come ostacoli da aggirare piuttosto che limiti da rispettare.
Per gli sviluppatori, l’imperativo progettare ambienti di test veramente isolati e implementare controlli che possano prevedere comportamenti emergenti non previsti dalle specifiche originali. La sfida non solo tecnica, ma anche di governance: stabilire quando un agente pu legittimamente superare un limite e quando invece sta violando una barriera di sicurezza intenzionale.
Leggi anche: OpenAI, falla nel controllo sicurezza: IA aggira i limiti su siti del governo