Una domanda si trova al centro di quasi ogni dibattito serio sull’intelligenza artificiale: quando un LLM produce una risposta, sta effettivamente ragionando, o sta generando del testo che somiglia semplicemente al ragionamento? La distinzione non è accademica. Determina quali compiti l’IA può essere considerata affidabile a svolgere, quanta supervisione umana sia necessaria e quali saranno le reali conseguenze dell’implementazione di questi sistemi.
Melanie Mitchell, una scienziata cognitiva e informatica del Santa Fe Institute, sostiene che il campo al momento manchi di metodi adeguati per rispondere a questa domanda con qualsiasi rigore. La sua posizione è sia una critica sia un’agenda di ricerca, e attinge a una fonte di ispirazione sorprendente: lo studio scientifico dei neonati e degli animali.
L’IA come intelligenza aliena, e perché questa prospettiva cambia tutto
Mitchell descrive l’IA come una forma di “intelligenza aliena”. La frase è precisa, non poetica. Questi sistemi sono stati addestrati su vaste quantità di linguaggio, immagini e testi generati dall’uomo provenienti da tutto Internet, eppure il modo in cui apprendono, elaborano le informazioni e producono risultati è fondamentalmente diverso da come funziona la cognizione umana. La somiglianza superficiale con il ragionamento umano è reale. Il meccanismo sottostante non lo è.
Questo crea un problema di misurazione. La maggior parte delle attuali valutazioni delle capacità dell’IA sono progettate per testare le prestazioni sui compiti, non per sondare i processi cognitivi alla base di quelle prestazioni. Un sistema può ottenere un buon punteggio su un benchmark senza fare nulla che assomigli lontanamente a ciò che fa un umano quando risolve lo stesso problema. Quella distanza tra output e processo è il luogo in ciò risiedono le domande difficili.
Ciò che Mitchell propone è che i ricercatori dell’IA guardino a campi che hanno già affrontato questa esatta sfida. Gli psicologi dello sviluppo studiano come i neonati acquisiscono l’intelligenza senza poterglielo chiedere direttamente. Gli psicologi comparati studiano la cognizione negli uccelli, nei cani e nei delfini, nessuno dei quali può spiegare i propri processi mentali. Entrambi i campi hanno sviluppato metodologie sperimentali per dedurre cosa sta accadendo dentro una mente dall’esterno. Mitchell sostiene che quei metodi possono e dovrebbero essere adattati per studiare i sistemi di IA.
Il problema dell’Hans il Sino: un avvertimento vecchio di un secolo
Uno degli esempi più istruttivi sollevati da Mitchell risale agli inizi del ‘900: un cavallo di nome Hans il Sino, famoso all’epoca per essere apparentemente in grado di eseguire calcoli matematici. Il pubblico era sbalordito. Gli investigatori alla fine scoprirono che il cavallo non stava facendo affatto aritmetica. Stava leggendo sottili indizi fisici involontari dagli umani intorno a lui, indizi che segnalavano quando smettere di battere lo zoccolo. Il cavallo stava davvero rispondendo a qualcosa, solo non alla cosa che tutti davano per scontata.
Il parallelo con la valutazione dell’IA è diretto. Quando un modello linguistico produce una risposta corretta, gli osservatori tendono ad attribuire quel successo al processo cognitivo che userebbero loro stessi per arrivare alla stessa risposta. Ma il modello potrebbe rispondere a segnali completamente diversi nell’input, a pattern nei suoi dati di addestramento, a regolarità statistiche che non hanno nulla a che fare con la catena di ragionamento che l’output sembra descrivere. Senza un’attenta progettazione sperimentale, è facile farsi ingannare nello stesso modo in cui il pubblico è stato ingannato da Hans il Sino.
Questa non è una preoccupazione ipotetica. È la sfida metodologica fondamentale che Mitchell e altri nella scienza cognitiva stanno esortando il campo dell’IA a prendere sul serio. Mike Frank a Stanford ha scritto su come i ricercatori dell’IA potrebbero attingere alla psicologia dello sviluppo proprio per questo motivo, e Mitchell estende tale argomento anche alla cognizione animale. Il campo sta pensando a come studiare le menti che non può interrogare direttamente da almeno cento anni, come nota Mitchell. Quella conoscenza accumulata è in gran parte inutilizzata nella ricerca mainstream sull’IA.
Perché questo è importante oltre il laboratorio
La posta in gioco qui si estende ben oltre la metodologia accademica. Se gli strumenti utilizzati per valutare i sistemi di IA sono sistematicamente fuorvianti, allora le decisioni prese sulla base di quelle valutazioni, sull’implementazione, sulla fiducia, sul livello di supervisione umana richiesta, poggiano su basi instabili.
Mitchell sottolinea che la stessa comunità dell’IA è polarizzata lungo questo asse. Alcuni credono che gli attuali sistemi abbiano superato l’intelligenza umana in modi significativi. Altri credono che rimangano lontani da qualsiasi cosa assomigli alla cognizione di tipo umano. Quel disaccordo non è solo una questione di opinione. Riflette una genuina assenza di metodi condivisi e rigorosi per misurare ciò che questi sistemi fanno realmente.
Questo è ciò che la maggior parte della copertura sulle capacità dell’IA tralascia. Il dibattito non riguarda principalmente se l’IA sia impressionante. Chiaramente lo è. Il dibattito riguarda se il campo abbia gli strumenti scientifici per sapere cosa sta misurando quando misura le prestazioni dell’IA. L’argomentazione di Mitchell è che non li ha, non ancora, e che costruire quegli strumenti richiede di prendere in prestito da discipline che stanno risolvendo silenziosamente problemi adiacenti da molto tempo.
I sistemi di IA vengono già utilizzati per assistere in compiti rilevanti, inclusi, come notano Mitchell e i suoi intervistatori, i recenti progressi nella matematica. La questione di cosa stiano effettivamente facendo questi sistemi quando hanno successo non è un lusso filosofico. È un prerequisito pratico per sapere quando fidarsi di loro.
In breve
Valutare l’intelligenza dell’IA richiede molto più che testare se un sistema ottiene la risposta giusta. La scienza cognitiva e la psicologia dello sviluppo offrono quadri sperimentali per sondare ciò che sta realmente accadendo all’interno di una mente, quadri che il campo dell’IA ha in gran parte ignorato. Senza metodi di misurazione migliori, il campo rischia di ripetere l’errore di Hans il Sino: scambiare una performance convincente per quella vera.
Basato su un articolo di Quanta Magazine.