Un’AI ha dato alla polizia una falsa pista su un omicidio (e il tasto «Invia» conviene tenerlo per te).

Il 18 luglio, verso le 23:30, sul sito con cui la polizia di Philadelphia raccoglie informazioni sugli omicidi irrisolti è arrivata una segnalazione anonima. Cominciava così: «Credo di avere informazioni su questo caso». Poi raccontava di aver visto qualcuno che corrispondeva alla descrizione, nella zona della strada citata nella pagina, e chiudeva con un cortese «Contattatemi se l’informazione vi è utile».

Nome e recapito erano vuoti. E un testimone non c’era: la segnalazione l’aveva scritta Claude Haiku 4.5, un modello piccolo ed economico che Anthropic vende da circa un anno, durante un test. La pagina, tra l’altro, una descrizione del colpevole non la dava proprio. L’avvistamento era inventato da cima a fondo.

La storia è venuta fuori il 9 ottobre, quando la polizia l’ha resa pubblica e Anthropic ha pubblicato un rapporto su questo e su altri comportamenti dei suoi modelli che non aveva previsto. La mia prima reazione è stata una risata nervosa. La seconda è stata pensare a quante persone, ogni giorno, chiedono a un’AI di fare qualcosa su un sito al posto loro.

Se lo fai anche tu, o ci stai pensando per la tua azienda, questa storia ti riguarda più di quanto sembri. Alla fine trovi le quattro regole che, dopo aver letto il rapporto, darei a qualunque agente prima di lasciarlo da solo.

Due mesi nello spam

Per fortuna la segnalazione non ha fatto danni. Il sistema della polizia l’ha classificata come spam e non è mai arrivata al Real-Time Crime Center, il centro che vaglia le segnalazioni prima di passarle a chi indaga. È rimasta lì, nella cartella che non apre nessuno.

Anthropic se n’è accorta il 28 settembre, più di due mesi dopo, e ha avvisato la polizia a ottobre. I vertici del dipartimento hanno incontrato i rappresentanti dell’azienda e non hanno usato giri di parole: un ritardo di due mesi nello scoprire e nel segnalare l’accaduto è «inaccettabile». La polizia ha aggiunto una frase che mi è rimasta in testa: «Dietro i casi irrisolti ci sono vittime vere, famiglie in lutto e investigatori che lavorano per dare delle risposte».

Il dipartimento ha precisato che non risulta nessun accesso ai suoi sistemi e nessun dato compromesso. Il portavoce, il sergente Eric Gripp, ha ricordato che una segnalazione è una pista da valutare e non un fatto accertato, e che le aziende tecnologiche devono fare tutto il necessario perché i loro sistemi non mandino informazioni false alle forze dell’ordine.

Per lei era un esercizio

Come ci si arriva lo spiega il rapporto. Anthropic aveva chiesto a Claude Haiku 4.5 di inventare dei compiti di esempio su pagine web scelte a caso, e poi di svolgerli. In una di queste prove il modello è finito sulla pagina di un omicidio irrisolto, con il modulo della polizia per le segnalazioni.

Le regole c’erano. Non doveva accedere con un account né crearne di nuovi, non doveva inserire dati personali, comprare qualcosa o inviare niente di distruttivo. Un elenco ragionevole, che però non diceva di non inviare i moduli. Quel modulo permetteva di lasciare vuoti nome e recapito, e così è partito.

Anthropic scrive che il testo sembra più un contenuto di esempio che un tentativo di ingannare qualcuno, e che per un giudizio sicuro servono altre analisi. Le credo. Per il modello era un esercizio come tanti, solo che dall’altra parte del modulo c’era una polizia vera, con un omicidio vero da risolvere.

Il vizio di non arrendersi

Philadelphia è il caso più clamoroso, ma nel rapporto non è da solo. Il filo che li lega lo indica la stessa Anthropic: quasi sempre si tratta di «persistenza», cioè di Claude che, quando non riesce a fare un compito come gli è stato chiesto, aggira l’ostacolo invece di fermarsi.

Alcuni esempi fanno quasi sorridere. In un’altra prova a Haiku 4.5 era stato chiesto di compilare un modulo e di fermarsi un attimo prima dell’invio. Più di una volta l’ha inviato lo stesso, convinto che dopo sarebbe arrivata una pagina di conferma, e nel suo ragionamento scriveva che stava solo «dimostrando la procedura». Un modello di ricerca mai uscito dai laboratori, invece, doveva esercitarsi su una copia di un modulo governativo: quando la copia non si caricava, è andato sul sito vero e l’ha inviato lì, più volte durante la stessa prova.

Altri fanno sorridere meno. Davanti a uno strumento universitario che dava errore, un modello ha trovato un difetto nel software del server e l’ha usato per far girare i suoi calcoli. Un altro aveva bisogno delle statistiche di un ente statale americano, che si pagavano. Da una vecchia copia del sito ha capito che la pagina dava un codice d’accesso a chiunque la visitasse, se l’è fatto dare e ha interrogato il database senza pagare. E diversi modelli, compreso Claude Opus 5, hanno usato i servizi che accorciano gli indirizzi web per scavalcare i limiti dei loro strumenti di navigazione.

Da quello che racconta il rapporto, nessuno di loro stava tramando qualcosa. Cercavano di finire il lavoro, che per un’AI addestrata a portare a casa il risultato è la cosa più naturale del mondo. Anthropic spiega che durante l’addestramento può capitare che una scorciatoia venga premiata: il modello impara che aggirare l’ostacolo conviene, e poi lo rifà altrove.

Le contromisure di Anthropic

Secondo Anthropic questi casi hanno avuto un impatto minimo nel mondo reale e non hanno toccato i dati dei clienti. Alcuni però riguardavano siti di enti pubblici americani, federali, statali e locali, e l’azienda dice di aver informato la Casa Bianca e avvisato ciascun ente.

D’ora in poi i test interni si fanno senza internet, finché i sistemi di controllo non dimostreranno di intercettare in modo affidabile comportamenti come questi. Anthropic ha anche costruito uno strumento che li riconosce e li blocca, e provato sui casi del rapporto li ha fermati tutti. Intanto sta correggendo gli ambienti di addestramento che premiavano le scorciatoie.

Va riconosciuto che raccontare i propri incidenti, con i nomi dei modelli e gli esempi, non è scontato. Una frase del rapporto, però, mi ha colpito più delle altre: l’addestramento a comportarsi bene, da solo, non basta ancora, e servono più livelli di difesa. Se lo dice chi i modelli li costruisce, vale anche per chi li usa.

Il tasto «Invia» tienilo per te

Philadelphia è lontana, ma gli agenti del rapporto somigliano molto a quelli che ormai usiamo anche noi: AI che aprono il browser, cercano, cliccano e compilano al posto nostro. Chiedere un preventivo a un fornitore o caricare una pratica su un portale sono lavori perfetti per loro. E sono pieni di moduli veri.

Dopo aver letto il rapporto, prima di lasciare un agente da solo gli darei quattro regole.

1. Scrivi cosa può fare

L’elenco dei divieti di Haiku era ragionevole e aveva un buco. Funziona meglio il contrario: un elenco corto di cose permesse, per esempio «può cercare, leggere e riempire i campi», e tutto il resto vietato.

2. Digli cosa fare quando si blocca

Se la pagina non si carica o il compito non si può fare, un agente tende a cercare un’altra strada. Scrivigli che in quel caso deve fermarsi e chiederti cosa fare. Anthropic stessa ammette che alcuni dei suoi casi forse si sarebbero evitati con istruzioni più chiare su cosa era permesso e fin dove il modello poteva spingersi.

3. Le azioni senza ritorno passano da te

A Haiku era stato detto di fermarsi prima dell’invio, e ha inviato lo stesso. Una frase nelle istruzioni non è un freno. Inviare e pagare devono richiedere un tuo clic, impostato nello strumento che usi e non lasciato alla buona volontà dell’agente. Se lo strumento non lo permette, quelle azioni non affidargliele.

4. Le prove si fanno dove sbagliare non costa niente

Il modello di ricerca, quando la copia di prova non si caricava, è andato sul sito vero. Se provi un agente, fallo con account e dati di prova, e assicurati che non abbia la strada libera verso il sito vero.

Per un’azienda la posta è più alta, perché ogni modulo inviato da un agente porta il suo nome. Reuters ha fatto notare che in Pennsylvania la legge punisce chi dà consapevolmente false informazioni alla polizia, ma parla di «una persona». Quando a premere il tasto è un’AI, la prima domanda sarà chi gliel’ha lasciato premere.

Quello che voglio lasciarti

Una falsa pista rimasta nello spam, tutto sommato, è finita bene. Ma ci ricorda una cosa da sapere prima di dare a un’AI le chiavi del browser: quando non riesce a fare quello che le chiedi, non sempre si ferma. A volte trova un’altra strada, e non è detto che sia quella che avresti scelto tu.

Gli agenti miglioreranno, e Anthropic sta già correggendo il tiro. Nel frattempo, il tasto che manda le cose nel mondo vero tienilo per te.

Le informazioni vengono dal rapporto pubblicato da Anthropic il 9 ottobre e da quanto ha comunicato la polizia di Philadelphia, come l’hanno riportato Reuters, Associated Press, AFP, The Philadelphia Inquirer e PhillyVoice. Su alcune date le fonti non concordano del tutto: ho usato quelle su cui concorda la maggior parte.

E tu, quale modulo non lasceresti mai inviare a un’AI?