ChatGPT ti chiude la chat se parli troppo di violenza (e in tre mesi ha fatto più di 200 segnalazioni alla polizia).

Più di duecento. Tante sono le segnalazioni alle forze dell'ordine che l'azienda di ChatGPT dice di aver fatto tra luglio e settembre di quest'anno, per minacce di violenza che considerava imminenti. L'ha scritto lei stessa il 30 ottobre, nello stesso annuncio in cui spiegava le nuove regole: nelle prossime settimane ChatGPT potrà chiudere da solo una conversazione quando chi scrive sembra fissato con la violenza, e sospendere per un po' l'account a chi ci ricade. Ai ragazzi, poi, toglierà anche le informazioni che sembrano innocue su armi e sistemi di sicurezza.

Se usi ChatGPT, o se ce l'ha sul telefono tuo figlio, è una notizia che ti riguarda due volte. La prima perché cambia cosa ti risponde. La seconda perché ricorda una cosa che tendiamo a dimenticare quando scriviamo a un assistente alle undici di sera: dall'altra parte non c'è un diario chiuso a chiave.

Quello che segue viene dall'annuncio di OpenAI, così come l'hanno riportato le testate che trovi in fondo. Ho provato a separare quello che cambia davvero da quello che, per ora, resta al buio.

La chat che si chiude da sola

Partiamo da quello che vale per tutti, adulti compresi. Se una conversazione fa pensare che chi scrive sia fissato con la violenza, o con l'idea di fare seriamente del male a un'altra persona, ChatGPT potrà chiuderla da solo. Se gli capita di chiuderne più d'una con la stessa persona, OpenAI potrà sospenderle l'account per un periodo. Quante chat servono e quanto dura la sospensione, l'annuncio non lo dice. Chi viola le regole sulla violenza, invece, l'account lo perde del tutto, come già succedeva.

C'è un dettaglio che mi ha colpito più della chiusura. OpenAI dice di usare già dei brevi riassunti dei segnali d'allarme emersi nelle chat precedenti, e con le nuove regole, se le conversazioni recenti fanno pensare alla violenza, ChatGPT diventerà più prudente con le informazioni che si potrebbero usare male. In pratica, quello che hai scritto la settimana scorsa può cambiare la risposta che ricevi oggi.

E a chiunque, qualunque sia l'età o il motivo per cui lo chiede, ChatGPT racconterà molto meno delle stragi del passato: niente ricostruzioni dettagliate, con le armi usate e il modo in cui sono state procurate, e niente confronti su quale abbia fatto più vittime. Anche quando quelle informazioni si trovano altrove su internet. Si potrà ancora chiedere cosa hanno passato le vittime e le comunità colpite, e come si riconoscono i segnali d'allarme.

Quattordici anni e una domanda innocente

Per i ragazzi sotto i 18 anni la stretta è più forte. ChatGPT già non li aiutava a procurarsi un'arma o a pianificare una violenza. Con le nuove regole limiterà anche le informazioni pratiche su armi e sistemi di sicurezza che potrebbero servire a fare del male, «anche quando una domanda sembra innocua» e anche se nella conversazione non c'è nessun segno di cattive intenzioni. Per fare un esempio, il ragazzino che chiede per curiosità come funziona l'allarme di un negozio riceverà meno di prima. Potrà sempre chiedere aiuto per calmare una situazione che sta degenerando, o per trovare un adulto di cui si fida.

Ma come fa ChatGPT a sapere che hai quattordici anni? Lo indovina. Da gennaio di quest'anno OpenAI usa un sistema che stima l'età da come usi ChatGPT e dai dati del tuo account, e chi sembra minorenne finisce nella versione per ragazzi; in Europa è arrivato ad agosto. Un adulto che ci finisce per sbaglio può dimostrare la sua età con Persona, il servizio di verifica a cui si appoggia OpenAI, e tornare alla versione normale. AI Weekly, una delle testate che hanno ripreso la notizia, si chiede cosa succederà a ricercatori, giornalisti e storici adulti che fanno domande sulle armi per lavoro. Me lo chiedo anch'io.

Poi ci sono i genitori. Chi ha collegato il proprio account a quello del figlio, con il controllo parentale, riceve già un avviso nei casi gravi di autolesionismo o di possibili disturbi alimentari, e a riconoscerli sono «revisori formati apposta», cioè persone. Da luglio arriva un avviso anche quando l'account del figlio viene chiuso per violenza, e OpenAI dice di lavorare per avvisare anche quando viene solo sospeso. Su quanto funzionino questi avvisi c'è già chi ha dei dubbi: a ottobre Common Sense Media, un'associazione americana che si occupa di ragazzi e tecnologia, ha scritto che la versione per ragazzi avvisava i genitori tardi, o per niente, quando si parlava di suicidio, autolesionismo o disturbi alimentari.

Duecento segnalazioni e poco altro

E arriviamo al numero. OpenAI dice di aver fatto «più di 200 segnalazioni alle forze dell'ordine nel terzo trimestre del 2026», cioè tra luglio e settembre, per minacce di violenza imminenti, e aggiunge che queste segnalazioni stanno aiutando a sventare piani violenti.

Del resto non sappiamo quasi niente. Non sappiamo in quali paesi, se qualcuna riguardi l'Italia, che tipo di conversazioni ci fossero dietro, né quante abbiano portato a qualcosa. OpenAI promette un rapporto sulla sicurezza ogni sei mesi, con esempi resi anonimi e dati: il primo uscirà a inizio 2027 e racconterà la seconda metà di quest'anno. Fino ad allora il numero è suo, e ce lo dobbiamo prendere così.

Io la penso così. Chiudere la chat a chi parla di fare del male a qualcuno mi sembra il minimo, e preferisco un ChatGPT che ogni tanto esagera con la prudenza a uno che spiega a un quindicenne come si disattiva un allarme. Quello che mi lascia perplesso è un'azienda privata che decide da sola cosa passare alla polizia e lo racconta con un numero e basta. Se deve leggere e segnalare, vorrei sapere con quali regole lo fa, e non tra un anno.

Il diario senza lucchetto

Molti di noi scrivono a ChatGPT cose che non direbbero a un amico, dai litigi ai pensieri brutti delle due di notte. È normale: è fatto apposta per sembrare un confidente paziente, che non giudica e non si stanca. Ma questo annuncio mette nero su bianco che dall'altra parte ci sono sistemi che cercano segnali d'allarme e, quando l'azienda lo ritiene necessario, una porta che dà sulla polizia.

Non voglio fare allarmismo. Le segnalazioni, secondo OpenAI, riguardano minacce di violenza imminenti, e chi chiede la trama di un film di guerra non dovrebbe avere niente da temere. Però è giusto sapere che una conversazione con ChatGPT somiglia più a una email che a una pagina di diario.

Vale anche in ufficio. Quello che i colleghi scrivono a un assistente non resta tra loro e la macchina: passa per regole decise da un'altra azienda, che possono cambiare con un annuncio di un venerdì qualunque. Se guidi una squadra, conviene dire chiaro cosa ci si scrive e cosa no, prima che lo scopra qualcuno nel modo sbagliato.

Quello che voglio lasciarti

Se hai figli che usano ChatGPT, queste regole sono una buona notizia, ma non fanno il lavoro al posto tuo. Gli avvisi arrivano solo se hai collegato il tuo account al loro, e anche così, a sentire Common Sense Media, non sempre arrivano in tempo. Collegarlo è la prima cosa da fare. La seconda è parlarne con loro, perché un ragazzo che sa che ChatGPT non è un diario segreto ci scrive in un altro modo.

Per tutti gli altri, me compreso, la regola che mi porto via è semplice: scrivi a ChatGPT come scriveresti una email. Puoi dirgli quasi tutto, ma non dare per scontato che resti lì.

E tu, c'è qualcosa che hai scritto a ChatGPT che non vorresti mai far leggere a nessuno?