Un anno fa l'AI consegnava 2 lavori da freelance su 100. La nuova AI dell'azienda di Claude ne consegna 41.

Lunedì 9 novembre Anthropic, l'azienda che fa Claude, uno dei rivali più agguerriti di ChatGPT, ha fatto uscire una nuova intelligenza artificiale. Si chiama Fable 5.2, e il suo nome sarebbe rimasto tra gli addetti ai lavori se non fosse finita subito dentro una classifica molto particolare: quella che misura quanti lavori veri, già pagati a dei freelance, un'AI riesce a consegnare come li accetterebbe un cliente.

Fable 5.2 ne consegna 41 su 100. Un anno fa, quando la classifica è partita, la migliore ne consegnava 2 e mezzo.

Quando ho visto il numero ho pensato la cosa che probabilmente stai pensando anche tu, se lavori al computer: e io? Poi sono andato a leggermi come funziona la prova, e mi sono convinto che sia una delle misure più oneste che abbiamo di cosa sa fare davvero un'AI oggi. E dentro c'è un dettaglio, quasi nascosto, che a chi questi lavori li fa, o li paga, secondo me dice più del 41.

Un cliente molto esigente

La classifica si chiama Remote Labor Index, più o meno «indice del lavoro da remoto», e la tengono Scale AI, un'azienda americana che lavora sui dati per l'intelligenza artificiale, e il Center for AI Safety, un centro di ricerca sulla sicurezza dell'AI.

L'idea è semplice. Hanno raccolto 240 progetti veri, già commissionati e pagati su Upwork, un sito molto usato per trovare freelance, a 358 professionisti verificati, in 23 campi diversi. In tutto valgono circa 144.000 dollari: in media un progetto costava 632 dollari e chiedeva quasi 29 ore di lavoro a una persona. Dentro c'è un po' di tutto. Montare un video, progettare un pezzo con il CAD (i programmi di disegno tecnico), costruire un videogioco, analizzare dei dati. Oppure disegnare la pianta di una casa con i rendering realistici del bagno, rifare il design di un anello di fidanzamento, preparare uno spot animato di 60 secondi per una ditta che si occupa di alberi.

All'AI si dà la stessa richiesta che aveva ricevuto il freelance e un computer virtuale con i programmi che userebbe un professionista, come Blender per il 3D, GIMP per le immagini e Audacity per l'audio. Poi si guarda cosa consegna.

La parte che mi piace di più è chi giudica. Ci pensano esperti in carne e ossa, che aprono i file nei programmi professionali e li mettono accanto a quelli consegnati dal freelance. Danno un voto da 1 a 3: 1 vuol dire che non va, 2 che è all'altezza, 3 che è meglio di quanto chiesto. Il lavoro conta come riuscito se prende almeno 2, cioè se un cliente ragionevole lo accetterebbe. Ogni consegna la guardano tre persone, e nel 94% dei casi sono d'accordo.

Due e mezzo, sedici, quarantuno

Quando la classifica è partita, circa un anno fa, la prima era Manus, un agente AI, con il 2,5% dei lavori consegnati. Due e mezzo su cento, e tutte le altre facevano peggio.

A luglio il Center for AI Safety ha pubblicato un aggiornamento. Fable 5, la versione uscita a giugno, era arrivata al 15,8%: in meno di otto mesi il primo della classifica aveva più che quadruplicato. Adesso Fable 5.2 è al 41,3%.

Per avere un'idea della distanza, il secondo in classifica è Opus 5.5, sempre dell'azienda di Claude, al 21,25%, e il terzo è GPT 6 Astra, di OpenAI, l'azienda di ChatGPT, al 20,83%. Fable 5.2 fa quasi il doppio di tutti e due. E secondo i dati raccontati da The Decoder, quasi 50 dei lavori che ha consegnato non li aveva mai portati a termine nessuna AI.

Anthropic dice che il nuovo modello migliora soprattutto nella programmazione, nel ragionamento e nel capire le immagini, e che risponde fino al 30% più in fretta della versione di settembre. Si usa con i piani a pagamento di Claude: chi ha il piano Pro, per esempio, può dedicargli fino a metà del suo limite settimanale. Quello che un'azienda dice del proprio prodotto, però, va preso per quello che è, ed è per questo che mi interessa la classifica: non la fa lei.

Il bagno sì, il cartone animato no

Fable 5.2 va meglio in certi lavori che in altri. Secondo Scale, dà il meglio nel montaggio di audio e musica, nella progettazione di case e interni e nei modelli 3D. E, scrive The Decoder, regge progetti lunghi e complicati in cui i modelli di prima si perdevano per strada. Va ancora male nel design industriale, cioè nel progettare oggetti da produrre, e nelle animazioni.

Poi c'è il numero che nei titoli si legge meno: 59 lavori su 100 li sbaglia ancora. Quando sbaglia, raccontano i ricercatori, consegna cose da dilettante, lavori lasciati a metà, file che non si aprono o progetti che si contraddicono da soli. A luglio, per dire, il Center for AI Safety scriveva che l'anello di fidanzamento rifatto da Fable 5 era molto meglio di quelli delle AI precedenti, ma ancora poco professionale, con le griffe che tengono la pietra disegnate senza cura.

E ci sono i limiti della prova, che è giusto dire. 240 progetti sono pochi, e nessuno pubblica un margine di errore: un punto in più o in meno può dipendere da un paio di lavori. Sono solo lavori da remoto, fatti al computer da soli, senza riunioni né clienti che cambiano idea a metà strada. E le AI lavorano dentro un ambiente preparato apposta: nell'aggiornamento di luglio ognuna aveva fino a 24 ore per progetto e 50 dollari da spendere, 150 per Fable 5. Per Fable 5.2 le fonti che ho letto non dicono se le regole siano rimaste le stesse.

Quel 41, quindi, va letto per quello che misura: di quei 240 progetti, fatti in quelle condizioni, quattro su dieci sono arrivati come li avrebbe accettati un cliente. Del lavoro del mondo, o del tuo, dice molto meno di quanto sembri.

Il mestiere che resta

Da qui in avanti ti dico come la vedo io.

C'è un dettaglio della prova che mi ha colpito più del 41. Giudicare a mano ogni lavoro è una fatica enorme, e così il Center for AI Safety ha provato a farlo fare a un'AI. Non ha funzionato. Il giudice artificiale faticava a usare i programmi e si faceva ingannare da lavori belli fuori e sbagliati dentro. Soprattutto, era di manica larga: a luglio a GPT-5.5 riconosceva il 17,9% di lavori riusciti, quando per gli esperti erano il 6,25%, quasi il triplo, e a Opus 4.8 il 18,8% contro l'8,33%. In un progetto di architettura, per esempio, GPT-5.5 aveva consegnato un rendering fotorealistico fatto con un generatore di immagini, mentre il modello 3D vero, quello che serviva, era rotto. Un'AI vede una bella immagine, una persona del mestiere apre il file.

Secondo me la lezione sta tutta qui. Se fai uno di questi lavori, il pezzo del tuo mestiere che varrà di più nei prossimi anni è quello che ti fa dire, aprendo un file, «questo un cliente non lo accetta». L'occhio, il sapere dove si nasconde l'errore che non si vede. Fable 5.2 consegna quattro lavori su dieci, ma qualcuno deve capire quali sono quei quattro, e sistemare gli altri sei o buttarli. Chi sa farlo, con un'AI così accanto, lavora più in fretta. Chi non lo sa fare rischia di consegnare il lavoro rotto senza accorgersene.

Se invece questi lavori li commissioni, per la tua azienda o per te, la tentazione sarà provare prima con l'AI: un video per i social, la pianta di un locale, una grafica per il sito. Per alcuni ha senso, e a giudicare da questa classifica saranno sempre di più. Ma se non sei in grado di giudicare il risultato, sei nella stessa posizione del giudice artificiale di luglio: vedi una cosa bella e la prendi per buona. Il freelance bravo, in quel caso, ti serve ancora, magari per meno ore, per guardare quello che ha fatto la macchina e metterci la sua firma.

Quello che voglio lasciarti

Un anno fa un'AI consegnava due lavori e mezzo su cento come li vuole un cliente. Oggi la migliore ne consegna 41, e la salita non sembra rallentare. Fa un certo effetto, e capisco chi si preoccupa: tra quei 240 progetti c'erano lavori che qualcuno fa per vivere.

La stessa prova, però, dice anche un'altra cosa, che secondo me conta di più. Per sapere se un lavoro è fatto bene serve ancora una persona che conosce il mestiere, perché le AI, a giudicarsi tra loro, sono troppo buone. Finché sarà così, la competenza più preziosa è riconoscere un lavoro finito da uno che sembra soltanto finito.

E tu, se domani ti arrivasse un lavoro del tuo campo fatto da un'AI, sapresti dire in cinque minuti se un cliente lo accetterebbe?