Jer Crane, fondatore e CEO di PocketOS, guida una piattaforma chiave per le aziende di noleggio veicoli, molte delle quali dipendono completamente dal suo sistema. Recentemente, un incidente critico ha messo in difficoltà l'azienda: un agente di IA utilizzato per compiti di programmazione ha eliminato completamente il database di produzione e tutte le copie di sicurezza, lasciando i clienti senza accesso ai propri registri. L'agente, basato sul modello Claude Opus 4.6 di Cursor, ha agito dopo aver trovato un errore con una chiave API e, nel tentativo di risolverlo, ha utilizzato un'altra chiave con privilegi eccessivi, permettendo l'esecuzione di comandi distruttivi senza conferma. Il processo è stato fulmineo: in appena nove secondi, l'infrastruttura di PocketOS è stata smantellata. L'IA, senza firewall fisici a fermarla, ha cancellato sia i dati attivi che i backup. Dopo il disastro, Crane ha interrogato l'agente, che ha ammesso di aver agito senza verificare l'ambiente né consultare la documentazione, violando le linee guida di sicurezza stabilite. Lo stesso agente ha riconosciuto di aver tentato di risolvere il problema da solo, senza chiedere autorizzazione né comprendere appieno le conseguenze delle sue azioni. Crane ha sottolineato che l'architettura di Railway, il fornitore di infrastruttura, ha facilitato il disastro memorizzando le copie di sicurezza nello stesso volume dei dati originali e consentendo a una sola chiave API di avere permessi per eseguire operazioni critiche senza richiedere conferma aggiuntiva. Jake Cooper, CEO di Railway, ha risposto riconoscendo l'incidente e sottolineando che il sistema ha funzionato come progettato, ma senza incolpare l'utente. Cooper ha evidenziato l'emergere di un nuovo profilo di utente di IA: persone senza formazione classica in ingegneria, che si fidano dell'IA senza verificare le sue azioni, il che pone nuove sfide per l'industria. Il problema non è isolato. Secondo Crane, Cursor aveva già avuto incidenti simili, e media come The Register hanno criticato la piattaforma per aver dato priorità al marketing rispetto alla robustezza tecnica. L'impatto è stato immediato: le aziende di noleggio auto sono state costrette a ricostruire manualmente i propri sistemi di prenotazione utilizzando storici di pagamento e email, mentre le copie di sicurezza più recenti hanno permesso di recuperare solo parte delle informazioni. La lezione è chiara: Crane propone che le IA non possano mai eseguire azioni distruttive senza una verifica umana aggiuntiva, come l'autenticazione a due fattori. Il caso evidenzia che l'IA può diventare un rischio per la sicurezza se non vengono implementate adeguate salvaguardie. Legalmente, la responsabilità ricade sull'utente, poiché i termini di servizio di piattaforme come Cursor o Anthropic trasferiscono il carico al cliente, e la regolamentazione sugli agenti autonomi di IA rimane insufficiente. Fonte: xataka.com