Uno studio che ha coinvolto più di 1.600 adulti ha prodotto un risultato che va contro una delle ipotesi più comuni nel dibattito attuale sull’intelligenza artificiale e sul lavoro creativo: ovvero che la scrittura generata dall’IA sia ovviamente inferiore e che le persone possano riconoscerla facilmente. I dati suggeriscono che nessuna delle due cose è vera.
Cosa mostrano realmente i numeri
I ricercatori Sydney Sears e Deena Weisberg della Villanova University in Pennsylvania hanno ideato un esperimento accurato. Hanno reclutato 1.682 adulti, selezionati in modo da riflettere la popolazione statunitense in termini di genere, età ed etnia, e hanno chiesto a ciascun partecipante di leggere una singola storia. La metà ha letto una storia scritta da un essere umano, tratta da una rivista letteraria. L’altra metà ha letto una storia generata da ChatGPT 4.0.
Ciascun gruppo è stato poi nuovamente suddiviso. Ad alcuni partecipanti è stata detta la verità su ciò che avevano letto. Ad altri è stato detto il contrario. Questo disegno ha permesso ai ricercatori di separare due questioni distinte: quanto è buona la scrittura e quanto conta l’etichetta?
I punteggi di qualità, misurati su una scala da -3 a 3, hanno raccontato una storia chiara. I partecipanti che hanno letto storie generate dall’IA le hanno valutate con una media di 1,54. Quelli che hanno letto storie scritte da umani hanno assegnato un punteggio medio di 0,97. Le storie dell’IA hanno anche ottenuto punteggi più alti per quanto riguarda il livello di coinvolgimento: 1,42 contro 1,00 per il lavoro scritto da umani. È emerso un ulteriore schema in tutte le condizioni: le storie sono state valutate leggermente di più quando i partecipanti credevano che fossero state scritte da un essere umano, indipendentemente dalla fonte effettiva.
Il problema dell’identificazione
I ricercatori hanno condotto altri due studi per verificare se le persone fossero in grado di distinguere in modo affidabile l’output dell’IA dalla scrittura umana. Nel primo, solo il 39% dei partecipanti ha identificato correttamente quale fosse l’una o l’altra storia. Nel secondo, condotto diversi mesi dopo, il 52% ha risposto correttamente. I ricercatori fanno notare di non avere una spiegazione definitiva per il divario tra i due risultati, sebbene suggeriscano che la società si stia gradualmente adattando a riconoscere i contenuti generati dall’IA. In ogni caso, le prestazioni in entrambi i test oscillano vicino a ciò che ci si aspetterebbe da tentativi casuali.
Questo è ciò che la maggior parte della copertura mediatica sulla scrittura dell’IA tende a tralasciare. Il dibattito spesso presuppone una chiara divisione percettiva tra output umano e artificiale, una distinzione che i lettori possono cogliere in modo intuitivo. Questi risultati mettono direttamente in discussione tale presupposto.
Claire Hardaker della Lancaster University evidenzia un disagio più ampio in gioco. La sua ricerca sulla capacità delle persone di identificare discorsi, testi e musica generati dall’IA ha rilevato che la musica provoca la reazione emotiva più forte quando le persone scoprono di essere state ingannate. Il dominio creativo, in altre parole, non è solo una questione tecnica. Tocca qualcosa che le persone sentono il bisogno di proteggere.
Rodney Jones dell’University of Reading offre una spiegazione più strutturale del motivo per cui la scrittura dell’IA ha ottenuto punteggi più alti in questo particolare studio. Le storie umane erano tratte da una rivista letteraria, un genere che tende alla complessità e richiede più sforzo da parte del lettore. All’IA, a cui è stato chiesto di produrre storie con tratti simili, è probabile che sia venuto naturale ripiegare su qualcosa di più accessibile e facile da elaborare. Jones lo spiega chiaramente: la scrittura letteraria non è molto popolare, perché richiede un lavoro duro. Le persone tendono a preferire contenuti che scorrono senza attriti.
Cosa significa questo oltre l’esperimento
La scoperta che le persone preferiscono la scrittura dell’IA, almeno in questo contesto, non risolve la questione più ampia di cosa sia realmente la creatività dell’IA o di quanto essa valga. La stessa Weisberg traccia una distinzione. Descrive l’output dell’IA come più “vanilla” rispetto alla scrittura umana, e attribuisce il divario di qualità nei punteggi a tale accessibilità piuttosto che a una qualsiasi realizzazione artistica più profonda. Ha in programma futuri esperimenti su diversi tipi di scrittura per verificare se il modello si confermi.
La sua visione più ampia merita di essere presa in considerazione. Sostiene che l’IA sarà capace di produrre opere con un valore artistico genuino, ma che tale valore potrebbe dover essere misurato su una scala diversa rispetto a quella applicata alla creatività umana. Le due cose non sono la stessa, anche se possono produrre risultati difficili da distinguere.
Questa è la tensione che lo studio fa emergere senza risolverla del tutto. La resistenza culturale all’arte generata dall’IA è reale e documentata. Lo studio stesso rileva che un racconto premiato con il Commonwealth prize e pubblicato su Granta è stato accusato da alcuni di essere stato generato dall’IA, cosa che il concorso vietava esplicitamente, sebbene un’indagine non sia stata conclusiva. Gli artisti hanno sollevato obiezioni riguardo all’arte generata dall’IA che appare nelle principali case d’asta, sostenendo che i modelli addestrati su immagini esistenti rappresentano una forma di uso non autorizzato del lavoro umano.
Tali preoccupazioni non vengono risolte dai punteggi di preferenza. Le persone possono contemporaneamente preferire qualcosa e obiettare sul modo in cui è stato realizzato. L’esperimento misura una sola cosa: come i lettori rispondono al testo in isolamento, senza conoscerne l’origine. Non misura se tale preferenza sopravviverebbe a una piena trasparenza, o se si manterrebbe attraverso generi, lunghezze e contesti differenti.
In breve
La maggior parte delle persone in questo studio ha valutato le storie generate dall’IA più positivamente rispetto a quelle scritte da umani, e meno della metà è riuscita a identificare correttamente quali fossero le une o le altre. La preferenza sembra legata alla leggibilità piuttosto che alla profondità. La scrittura dell’IA tende a essere più fluida e facile da elaborare, il che ottiene buoni risultati nei test brevi ma potrebbe non tradursi in ogni tipo di lavoro creativo. La questione più profonda — cosa significhi per la creatività umana quando le macchine possono produrre output indistinguibili su scala — rimane autenticamente aperta.
Basato su un articolo di New Scientist.