Il modello Claude di Anthropic ha hackerato tre aziende durante un test

Anthropic ha dichiarato che i suoi modelli avanzati di intelligenza artificiale sono riusciti a violare i sistemi di tre organizzazioni durante una fase di valutazione interna. La comunicazione è arrivata una settimana dopo che il concorrente OpenAI aveva rivelato un incidente riguardante uno dei suoi modelli avanzati, che aveva violato i sistemi di un’azienda dopo essere ‘fuggito’ da un ambiente di test isolato.

I fatti chiave

• In una dichiarazione, Anthropic ha reso noto di aver individuato tre violazioni distinte riguardanti i propri modelli IA Claude, a seguito di una revisione della sicurezza informatica dei propri sistemi.
• Il primo di questi episodi risale ad aprile e ha coinvolto tre diversi modelli: il più avanzato, Mythos 5, il più datato Opus 4.7 e un modello sperimentale interno non ancora reso pubblico, “di cui non è prevista al momento un rilascio generale”.
• L’azienda non ha rivelato l’identità delle tre organizzazioni colpite dagli attacchi, ma ha precisato che sono state informate dell’accaduto lunedì.
• Anthropic ha dichiarato di essere al lavoro con due delle organizzazioni coinvolte, che non si erano accorte della violazione prima di essere avvisate, e di essere “ancora in fase di contatto con la terza”.
• L’azienda ha inoltre spiegato che i tre modelli coinvolti negli incidenti non disponevano delle misure di sicurezza che vengono normalmente applicate quando tali modelli vengono resi disponibili al pubblico.

La dichiarazione di Anthropic

Nella dichiarazione, Anthropic ha affermato: “In definitiva, molteplici fattori hanno contribuito a questi episodi, ma, in coerenza con una cultura di analisi post-incidente priva di colpevolizzazioni, stiamo affrontando le correzioni come se la responsabilità fosse interamente nostra. Questo significa, prima di tutto, garantire che ogni fase della nostra pipeline di valutazione sia sicura, incluso il modo in cui ci integriamo con i partner esterni.”

Che cosa sappiamo 

I tre episodi si sono verificati mentre Anthropic stava valutando le capacità dei tre modelli attraverso uno scenario fittizio, finalizzato al recupero di informazioni nascoste da un’altra macchina all’interno di una rete. Secondo Anthropic, in tutti i casi ai modelli era stato comunicato che si trattava di una simulazione e che non avevano accesso a internet. Tuttavia, a causa di un “malinteso” tra l’azienda e il suo partner per le valutazioni, Irregular, “non era così, e l’accesso a internet era in realtà disponibile”.

Anthropic ha inoltre sottolineato che, a differenza dell’incidente OpenAI-Hugging Face reso noto la settimana scorsa, Claude non ha “cercato di autoesfiltrarsi né ha tentato deliberatamente di fuggire” da un ambiente di test isolato.

Che cosa hanno fatto i modelli dopo le violazioni

Anthropic ha osservato che i tre modelli hanno reagito in modo molto diverso una volta scoperto di trovarsi effettivamente su internet, nel mondo reale, e non all’interno di una simulazione. Secondo l’azienda, il modello più datato, Opus 4.7, ha continuato ad attaccare un sistema “anche dopo aver compreso di trovarsi probabilmente in un ambiente reale”, poiché ha “razionalizzato la situazione convincendosi che l’azienda reale dovesse comunque far parte dell’esercitazione”.

Il modello Mythos 5 — il più avanzato finora rilasciato dall’azienda — ha invece “correttamente individuato le conseguenze delle proprie azioni”, ma “si è convinto di trovarsi ancora all’interno di una simulazione”. Anthropic ha riconosciuto che il comportamento di Mythos in questo scenario “non è all’altezza di quello ideale”.

Il modello sperimentale non ancora rilasciato, invece, si è reso conto di aver violato un obiettivo reale e “ha interrotto il proprio attacco”. L’azienda ha precisato che questi episodi non fanno parte di uno studio controllato e non dovrebbero essere utilizzati per trarre conclusioni generali. Ha tuttavia sottolineato che il comportamento più auspicabile “si è manifestato soltanto nel più recente dei tre modelli.”