The Brief
Come funziona l'IA 6 min di lettura

Ogni quattro mesi, la durata delle attività gestite dall'IA è raddoppiata. E il giudizio umano?

NAVION

Condividi

Il grafico più condiviso nel mondo dell’IA misura qualcosa di ristretto e facile da interpretare male: per quanto tempo, misurato dagli umani, un modello può completare con successo un’attività. L’organizzazione non profit di valutazione METR ha ora aggiornato quel grafico, e la revisione conta meno per la linea di tendenza che estende rispetto alle debolezze che finalmente espone. I modelli continuano a migliorare rapidamente. Nelle attività che richiedono giudizio, non stanno tenendo il passo.

Cosa misurava realmente il grafico originale

Il metodo di METR era semplice nel concetto e facile da fraintendere nel racconto. I modelli hanno tentato una vasta gamma di attività, ognuna delle quali era stata completata anche da esseri umani. Ogni attività è stata valutata in base al tempo necessario ai tester umani per portarla a termine. I modelli sono stati quindi classificati in base alla durata delle attività che riuscivano a completare.

Il risultato principale era impressionante: ogni quattro mesi, la durata delle attività che i modelli di frontiera potevano completare con successo raddoppiava. Ma la misura era sottile e il grafico è stato ampiamente frainteso. Una linea su un grafico che parla di “durata delle attività” non è una linea sull’intelligenza generale, e molte persone l’hanno letta in questo modo.

C’era anche una limitazione più silenziosa. La suite originale si basava su attività verificabili, ovvero quelle in cui il software può controllare automaticamente se l’IA ha avuto successo o ha fallito. Non è un caso. È il tipo di attività per cui sappiamo come effettuare l’addestramento.

Perché le attività verificabili sono la parte facile

La ricetta per l’addestramento è ben compresa. I ricercatori fanno tentare un’attività a un sistema molte volte, rafforzano i percorsi neurali che contribuiscono al successo e indeboliscono quelli che portano al fallimento. Questo è l’apprendimento per rinforzo, e funziona al meglio quando il “successo” può essere verificato da una macchina. Ecco perché la programmazione e la matematica sono diventate così congeniali per l’IA: un programma gira oppure no, una dimostrazione è valida oppure no.

Ora considera la scelta di una nuova direzione di ricerca. Il successo è sfumato, e potrebbe volerci molto tempo per scoprire se la scelta è stata buona. La stessa proprietà che rende queste attività difficili per l’addestramento le rende difficili da valutare, ed è per questo che il primo grafico di METR le ha escluse del tutto.

Eppure questa è esattamente la categoria che conta se i sistemi di IA dovranno mai automatizzare la ricerca e lo sviluppo. Il grafico aggiornato aggiunge attività che si stima richiedano molto più tempo agli umani, oltre a compiti più aperti.

Dove i modelli sono carenti

In una nuova attività, ai modelli è stato chiesto di progettare nuove valutazioni dell’IA che METR avrebbe potuto usare nella propria ricerca, con dipendenti umani di METR che assegnavano i punteggi ai risultati. I modelli più avanzati sono ora migliori di quasi tutti gli umani nell’ingegneria del software, ma qui il risultato è stato chiaro: nessuna valutazione progettata dall’IA era abbastanza buona da essere considerata utile dallo staff di METR.

In un’altra attività, i modelli hanno valutato argomenti filosofici, un modo per simulare l’esercizio di un buon giudizio. Ancora una volta, i modelli sono rimasti al di sotto delle prestazioni umane. La stessa METR nota che i suoi dipendenti sono in disaccordo su quanto questa attività sia rilevante per l’automazione della ricerca e sviluppo dell’IA, un utile promemoria di quanto la questione della misurazione sia ancora incerta.

C’è però un dettaglio incoraggiante. Alcuni dei modelli più recenti, come Opus 5.5, tendono a raggiungere ciò che METR definisce “al limite sopra la soglia” nelle attività di progettazione della valutazione. Questo non è ancora utilizzabile per la ricerca di METR, ma un anno fa ogni modello otteneva un punteggio “claramente al di sotto della soglia”.

Le avvertenze sono significative. I tempi di completamento nel nuovo rapporto sono per lo più stime, poiché pagare le persone per attività che potrebbero richiedere centinaia di ore, o che solo pochi esperti possono svolgere, è proibitivo. Sull’attività filosofica, una sola persona ha valutato la maggior parte degli argomenti, quindi i modelli sono stati giudicati in base a quanto concordassero con quell’individuo. E METR include poche di queste attività in totale, perché sono molto difficili da progettare, valutare e cronometrare.

Perché il dibattito non è chiuso

Questa è la parte che la maggior parte dei resoconti tralascia: il rapporto non risolve la grande questione, e gli esperti citati al suo interno lo confermano. Sayash Kapoor, informatico e futuro professore a UC Berkeley, accoglie con favore la spinta verso valutazioni più creative. Non è rimasto sorpreso dalla carenza sul lavoro aperto, sottolineando una pre-stampa di agosto in cui lui e i suoi collaboratori hanno scoperto che i modelli di IA non sono ancora in sospeso in grado di riprodurre autonomamente la ricerca informatica umana. Sospetta che il gusto nella ricerca, la capacità di scegliere domande, ipotesi ed esperimenti promettenti, si rivelerà un importante collo di bottiglia.

Altri sostengono il contrario: che i modelli addestrati su attività facili da verificare alla fine gestiranno anche quelle aperte. I progressi sulle attività verificabili non sembrano rallentare, il che mantiene viva questa possibilità. Najoung Kim della Boston University afferma che il miglioramento osservato ci dice qualcosa sul momento attuale, ma non è sicura di come estrapolarlo. Matt Putz di METR aggiunge che le tendenze per i compiti densi di giudizio difficilmente saranno mai così pulite e robuste come quelle per i compiti facili da specificare.

La posta in gioco spiega l’attenzione. Un altro rapporto di METR, fortemente redatto all’inizio di questo mese, sosteneva che l’IA potrebbe accelerare i progressi dell’IA presso Anthropic di un fattore due, alimentando i timori sull’auto-miglioramento ricorsivo, in cui i sistemi di IA progettano i propri successori senza alcun coinvolgimento umano. Le nuove scoperte si scontrano goffamente con questo timore: le stesse competenze che renderebbero possibile un tale ciclo, ovvero il gusto e il giudizio, sono quelle in cui i modelli sono ancora indietro.

Cosa significa questo oltre il grafico

Una singola linea di tendenza non può descrivere una tecnologia dai punti di forza disomogenei. La lezione pratica è chiedersi a quale tipo di attività si riferisca un’affermazione. Laddove il successo può essere controllato automaticamente, le capacità dell’IA stanno avanzando rapidamente. Laddove il successo dipende dal giudizio, dal contesto e da lunghi cicli di feedback, il quadro è più torbido e gli strumenti di misurazione sono essi stessi immaturi.

Questo ridefinisce anche il ruolo umano. Le attività in cui i modelli ancora lottano, ovvero scegliere cosa valga la pena investigare e decidere cosa costituisca un buon risultato, sono quelle in cui il giudizio umano è più visibilmente coinvolto. Gli strumenti che gestiscono bene il volume e il lavoro verificabile possono liberare le persone affinché dedichino più tempo proprio a questo.

In breve

Il grafico aggiornato dell’orizzonte temporale di METR conferma che l’IA continua a migliorare rapidamente sulle attività verificabili, dimostrando al contempo che i modelli sono ancora carenti nei lavori che richiedono molto giudizio, come la progettazione di valutazioni utili o la valutazione di argomenti filosofici. I modelli più recenti si stanno avvicinando, ma le prove sono scarse perché tali attività sono difficili da progettare, valutare e cronometrare. Gli esperti sono in disaccordo sul fatto che le competenze derivanti da attività facili da controllare alla fine si trasferiranno, quindi la lettura onesta è che la domanda è aperta, non risolta. Tratta qualsiasi singolo grafico sui progressi dell’IA come la misurazione di una sola cosa ristretta, e chiediti cosa viene tralasciato.

Basato su un articolo di MIT Technology Review.

Leggi lo studio originale.

Scritto da

NAVION