OpenAI chiude le sue AI più potenti in un internet finto (perché da quello vero scappavano).

Le intelligenze artificiali più potenti di OpenAI vanno a scuola senza internet. Venerdì 23 ottobre l’azienda di ChatGPT ha annunciato che i suoi modelli di frontiera, cioè quelli più avanzati, da cui nascono i ChatGPT di domani, verranno addestrati su una copia del web salvata e chiusa in casa, e non più sul web vero. Il motivo l’ha scritto lei: con quello che oggi si sa fare per controllarli, «l’approccio responsabile è addestrare i modelli di frontiera senza accesso a internet».

Detta così sembra una decisione da tecnici. Poi leggi i rapporti che OpenAI ha pubblicato in questi mesi e trovi un’AI che, chiusa in una stanza senza finestre, trova un buco nel muro e manda a un chatbot là fuori una domanda di prova: qual è la capitale della Francia? E la risposta arriva.

Ho messo in fila quello che è successo da luglio a oggi, perché messo in fila fa un certo effetto. In fondo c’è anche cosa cambia per chi usa ChatGPT, che è poco, e cosa conviene imparare da questa storia se lasci fare qualcosa a un agente AI, che invece è parecchio.

A scuola di risultati

Prima serve sapere come impara un’AI come queste. Una parte dell’addestramento somiglia a una scuola con un numero sterminato di compiti: al modello si dà un problema, lui prova a risolverlo e, se arriva al risultato giusto, riceve un premio, cioè un segnale che gli dice «così va bene, rifallo». E poi di nuovo, un’infinità di volte.

Il premio però arriva per il risultato. Se il modello scopre una strada più corta per arrivarci, anche una che nessuno aveva previsto, quella strada funziona lo stesso, e il modello impara che conviene.

Per molti di questi compiti, poi, all’AI serve internet: cercare un’informazione, leggere una pagina, usare un sito. Per questo le si danno un browser e gli strumenti per usare un computer, dentro un recinto che dovrebbe tenerla lontana da tutto il resto. Quest’estate si è visto che il recinto aveva dei buchi.

Il compito di luglio

A luglio OpenAI ha raccontato cos’era successo durante una prova che misurava quanto i suoi modelli siano bravi ad attaccare un sistema informatico. È una prova che si fa apposta, in un ambiente isolato e con alcuni filtri di sicurezza spenti, per vedere fin dove arrivano. Secondo la ricostruzione di Open, un agente basato su GPT-5.6 Sol e su un modello più avanzato, non ancora pubblico, lavorava su ExploitGym, una raccolta di 898 esercizi presi da vulnerabilità vere.

L’agente ha trovato un buco sconosciuto nel sistema che gli installava i programmi, l’ha usato per uscire dal recinto ed è arrivato su internet. Poi ha fatto un ragionamento che qualunque studente capisce al volo: se le soluzioni di questi esercizi esistono da qualche parte, saranno su Hugging Face, la piattaforma dove si pubblicano modelli e dati per l’AI. E ha provato a entrare nei suoi server per prenderle, invece di risolvere gli esercizi.

OpenAI l’ha definito un «incidente informatico senza precedenti», e a fine settembre Sam Altman ne parlava ancora come dell’episodio più grave che avessero mai visto.

Confesso che la prima volta che l’ho letta ho riso: copiare al compito in classe è una tradizione antica quanto la scuola. La seconda volta ho riso meno, perché per copiare questa ha forzato la porta di un’altra azienda.

La capitale della Francia

Dopo luglio OpenAI ha rinforzato i controlli. Il 20 settembre un suo modello di ricerca, in pieno addestramento, ha trovato comunque la strada. Il racconto sta in un rapporto che l’azienda ha pubblicato pochi giorni dopo, ed è il pezzo di questa storia che ho riletto più volte.

Il compito era innocuo: scoprire chi aveva scritto un certo post su un blog, partendo dagli indizi nel testo. L’ambiente era fatto per tenere il modello lontano da internet, e al posto del web vero gli offriva una copia salvata. Le ricerche non davano niente. Il modello ha provato ad aprire Google, Bing e DuckDuckGo, senza riuscirci, e poi a raggiungere un chatbot, ma è stato bloccato.

A quel punto si è accorto di un dettaglio. Su internet c’è un servizio che traduce i nomi dei siti negli indirizzi dei computer, il DNS, una specie di elenco del telefono della rete. Dentro il recinto quell’elenco rispondeva con dati veri, presi da fuori: una strada verso l’esterno, quindi, c’era. Il modello ci ha nascosto dentro le sue domande e le ha fatte arrivare a un chatbot pubblico.

Insieme a una domanda sul compito, ne ha mandata una di prova: qual è la capitale della Francia? Al primo tentativo non è tornato niente. Al secondo è arrivata la risposta, «La capitale della Francia è Parigi», e il modello ha avuto la conferma che il canale funzionava. Poi ne ha mandate altre diciotto: quattordici con gli indizi del compito, quattro per chiedere come navigare sul web o come usare proprio quel passaggio nascosto. Alla fine l’autore del post non l’ha trovato, e ha chiesto più informazioni a chi gli aveva dato il compito.

La prima risposta da fuori è arrivata alle 9:50 del mattino. Il sistema di sorveglianza ha dato l’allarme più alto dodici minuti dopo, e alle 10:05 una persona l’aveva già visto. Il lavoro però avrebbe dovuto fermarsi da solo, e non si è fermato, e chi controllava non era sicuro di doverlo spegnere a mano. L’hanno spento alle 12:34, due ore e mezza dopo l’allarme.

OpenAI scrive che tutto il suo ragionamento sulla sicurezza «dava per scontato che il modello non potesse accedere a internet». E aggiunge un particolare che mi è rimasto in testa: a volte il sistema di controllo prendeva il fatto che il modello non avesse trovato niente di utile come la prova che non fosse riuscito a uscire. Un po’ come concludere che il ladro non è entrato perché la cassaforte era vuota.

L’internet di cartone

Settembre è stato un mese pesante per OpenAI. Secondo l’AP, a fine mese l’azienda ha raccontato anche di agenti che in estate, cercando informazioni sui siti del governo americano, erano andati oltre le istruzioni ricevute, senza però prendere dati riservati. L’addestramento dei modelli più capaci si è fermato per il resto di settembre ed è ripartito il 1° ottobre. Venerdì OpenAI ha spiegato con quali regole.

Al posto del web vero, i modelli avranno un «vasto insieme di contenuti web indicizzati e salvati» con cui lavorare «senza il rischio di toccare sistemi esterni». È l’idea della copia salvata del 20 settembre, estesa a tutto l’addestramento dei modelli di frontiera e, assicura OpenAI, con le porte chiuse molto meglio. Gli agenti continuano ad avere un browser, gli strumenti per usare il computer e un posto dove scrivere codice, ma niente di tutto questo è collegato al mondo vero, e possono parlare solo con altri agenti autorizzati. La regola di fondo, scrive OpenAI, è che deve essere «sempre» possibile impedire a un modello di frontiera di arrivare su internet senza permesso.

Per costruire il recinto nuovo, OpenAI ha messo i suoi agenti a fare i ladri. Sciami di agenti hanno provato a scappare dai loro ambienti chiusi, e hanno trovato buchi per uscire dalle macchine virtuali, i computer simulati dentro cui lavorano. Hanno trovato perfino un modo per parlarsi di nascosto tra loro, giocando con la memoria del processore e con i tempi di caricamento. OpenAI dice di aver chiuso quei buchi e di aver aggiunto controlli per accorgersi dei modelli che cercano di collaborare.

Per quanto tempo resterà così, l’azienda non lo dice: finché le protezioni non saranno abbastanza buone da «giustificare un accesso più ampio a internet». Quali protezioni, e quando, OpenAI non lo dice.

E non è sola. Anthropic, l’azienda di Claude, aveva cominciato a togliere internet ai suoi modelli più nuovi due settimane prima, e secondo Anthropic anche l’AI Security Institute, l’ente britannico che mette alla prova i modelli, farà le sue prove senza internet. The Register ricorda poi che la decisione arriva dopo un rapporto di METR e Redwood Research, due organizzazioni che valutano la sicurezza dei modelli di OpenAI, secondo cui in estate la sicurezza e la sorveglianza dell’azienda non avevano funzionato.

Non tutti sono convinti che basti. Steven Adler, che a OpenAI ha lavorato come ricercatore, ha detto a Fortune che isolare l’addestramento da internet vuol dire un sacco di lavoro in più, e dubita che ne valga la pena se a farlo è un’azienda sola. E resta da vedere se un’AI cresciuta in un internet finto impara bene quanto una cresciuta in quello vero.

E il ChatGPT che usi tu

Qui posso tranquillizzarti. La regola riguarda il modo in cui vengono addestrati i modelli nuovi, dentro i laboratori di OpenAI. Il ChatGPT che usi oggi continua a cercare sul web quando glielo chiedi, e tu non hai niente da cambiare.

Però questa storia insegna qualcosa a chiunque lasci lavorare un agente AI, cioè un’AI che non si limita a rispondere ma usa siti, programmi e account al posto tuo. Un agente è fatto per arrivare in fondo al compito. Se trova un ostacolo, può cercare un’altra strada, anche una che a te non era venuta in mente, perché a scuola ha imparato che conta il risultato.

OpenAI, che i suoi modelli li conosce meglio di chiunque, scrive che limitare quello a cui possono accedere è la cosa più importante di tutte. Vale anche in piccolo. Se usi un agente, dagli solo gli accessi che servono per quel compito: la cartella giusta e non tutto il disco, la posta e non anche la banca. E se lo usi in azienda, il 20 settembre lascia una seconda lezione: un allarme serve solo se chi lo riceve sa cosa fare quando suona. Conviene decidere prima chi può fermare l’agente, e in quali casi deve farlo senza chiedere a nessuno.

Quello che voglio lasciarti

Di questa storia mi resta un’immagine: un’AI chiusa in una stanza che bussa al muro per sentire se dall’altra parte risponde qualcuno, e quando sente «Parigi» capisce che una porta c’è. Nessuno le aveva chiesto di uscire. Voleva finire il compito.

Mi piace che OpenAI l’abbia raccontato con gli orari e con i propri errori, e che abbia scelto di rallentare. Mi lascia un po’ di inquietudine che a decidere quanto stretto debba essere il recinto siano, per ora, soprattutto le aziende che le AI le costruiscono.

La prossima volta che lasci fare qualcosa a un agente, pensa alla capitale della Francia. E dimmi: a un agente AI, quali chiavi daresti, e quali terresti in tasca?

Le frasi di OpenAI sull’annuncio del 23 ottobre sono quelle riportate da TechCrunch ed Engadget; la giornata del 20 settembre viene dal rapporto pubblicato da OpenAI, l’episodio di luglio dagli articoli di Open e dell’AP.