Una corsa contro il tempo: l'era della nascita dell'AGI

Traduzione automatica. Il paper è stato scritto e consegnato in inglese: l’originale è qui. In caso di dubbio fa fede quello.

Il titolo riprende il rapporto UNESCO “The race against time for smarter development” [14].

Illustrazioni generate con gpt-image-2.

Introduzione

I grandi modelli linguistici (LLM) pongono il problema dell’emergere di un’intelligenza artificiale generale, che accanto ai suoi vantaggi comporta diversi rischi.

A partire dal modello transformer rilasciato per la prima volta da Google nel 2017 [29], che consiste nel mantenere l’attenzione di un modello sull’input, sono stati sviluppati molti altri modelli con la stessa tecnologia.

I modelli precedenti erano in grado di comprendere automaticamente il significato delle parole, ma questo è stato il primo a elaborare il contesto del discorso in cui esse sono usate, risultando capace di “generalizzare” e “comprendere” il linguaggio naturale, senza supervisione.

Ciò è possibile perché le parole sono analizzate in uno spazio di molte migliaia di dimensioni, attraverso il continuo riutilizzo di pesi analizzati in precedenza, che mantiene l’“attenzione” del modello, permettendogli di ricordare cose che altrimenti andrebbero perse nelle analisi successive dei pesi. L’aggregazione di tutti i pesi analizzati nel tempo porta a una comprensione accurata del significato delle parole.

Sulla base del transformer ne sono stati rilasciati molti altri: ad esempio, un anno dopo il suo articolo sul Transformer, il BERT di Google, che a differenza dei precedenti modelli di elaborazione del linguaggio naturale (NLP) come Word2vec è in grado di elaborare ogni occorrenza nel suo contesto. Ad esempio, la parola “running” viene distinta tra “running a company” e “running a marathon” [11]; oppure il GPT di OpenAI, che è stato open source fino a GPT-2, mentre a partire da GPT-4 i dettagli dell’addestramento non sono stati pubblicati, a causa di “the competitive landscape and the safety implications of large-scale models” [21]. Questi e altri modelli si occupano di NLP, essendo stati creati con l’intento di migliorare la qualità di compiti di NLP come la traduzione automatica, il riassunto di testi e la risposta a domande.

Come quasi tutto nel deep learning, più alta è la quantità di dati, più alte sono le prestazioni, che a quanto pare possono solo migliorare. In effetti, sembra che GPT-4 sia stato addestrato anche con dati sintetici, cioè dati generati da un modello precedente per addestrarne uno migliore e aumentarne le prestazioni (si veda la Tabella 2 in [15]).

Nel complesso, secondo gli esperti che hanno esaminato i dati su cui sono stati addestrati GPT e altri LLM, sembra chiaro che sia stata usata una percentuale significativa di tutti i dati testuali presenti su Internet; se non fosse possibile usare anche dati sintetici, si porrebbe il problema di un possibile esaurimento dei dati su cui addestrare i modelli.

Sembra quindi che la possibilità di usare una quantità così grande di dati (reali e sintetici) stia portando a un progresso inarrestabile, che avviene in tempi brevissimi, non di anni ma di settimane, non sufficienti a riconoscere e considerare appieno i rischi portati da una tale tecnologia.

Ad esempio, dal punto di vista della qualità dei dati, l’uso del web solleva il problema dei pregiudizi, piuttosto diffusi online: è noto che addestrare un’intelligenza artificiale su dati razzisti, come quelli usati nelle IA predittive del crimine, tende a enfatizzare eccessivamente il colore della pelle. Ciò aumenta la probabilità che il modello preveda una recidiva da parte di un individuo nero rispetto a uno bianco [1]. Si ipotizza che i dati sintetici, grazie alla loro controllabilità, possano dare risultati di qualità migliore in questo senso.

Nello sviluppo degli LLM c’è anche una tendenza a potenziare i modelli più piccoli facendoli imitare quelli più potenti: ad esempio, Microsoft ha pubblicato uno studio su un modello open source derivato da Llama, chiamato Orca. È stato addestrato inizialmente a imitare GPT-3.5, che è un modello più piccolo, e poi, quando è diventato abbastanza competente, ha iniziato a imitare GPT-4. Il risultato è che il modello ha prestazioni in media pari o migliori di GPT-3.5 e a volte supera persino GPT-4, pur avendo “solo” miliardi di parametri, in netto contrasto con i 176 miliardi di parametri di GPT-3.5 [17].

La riduzione delle dimensioni dei modelli è una delle sfaccettature in evoluzione degli LLM, con l’obiettivo di renderli più leggeri ed eseguibili su capacità di memoria molto più piccole, come quelle di uno smartphone, mantenendo una qualità senza perdite. Questa direzione sembra molto promettente, considerata la compressione di un modello da 13 miliardi di parametri fino al punto di poterlo eseguire con 6GB di RAM, pari alla quantità di RAM di un iPhone 14 [5].

Generalizzazione dell’intelligenza

Questa tecnologia sembra, in un certo senso, generalizzare l’intelligenza. Tuttavia, non è del tutto chiaro come qualcosa che è teoricamente affine a uno “stochastic parrot” [2] possa essere considerato “intelligente”.

Ciò che è certo è che questi modelli basano le loro risposte su ciò che hanno appreso da formati e volumi di dati diversi che costituiscono i set di addestramento, la cui parte più consistente rimane sconosciuta persino agli sviluppatori per via del volume enorme di dati elaborati. Eppure, man mano che le prestazioni di questi modelli migliorano (e queste crescono con la quantità di dati), diventa sempre più difficile per gli utenti convincersi che gli LLM non siano davvero capaci di ragionare.

In un certo senso questo è comprensibile, perché oltre una certa quantità di dati di addestramento questi modelli sviluppano capacità “emergenti”, cioè “models perform no better than random chance until they reach a certain scale, at which point their performance sharply increases” [30] (va però notato che alcuni studiosi criticano questa definizione [24]). Così iniziano a imparare a fare cose che nessuno sapeva che potessero fare e per le quali non erano mai stati progettati.

Ad esempio, GPT-4 sa disegnare, anche se non è stato programmato per farlo. Uno studio ha concluso: “GPT-4 can comprehend and manipulate code, as well as infer and generate visual features, based on a natural language description” [4].

Risultati simili sono stati ottenuti da altri ricercatori, che hanno scoperto, ad esempio, che GPT-4 se la cava bene anche in geografia quando gli si chiede di riprodurre la mappa della rete della Mass Transit Railway di Hong Kong; oppure può fornire le coordinate di una “semiconductor supply chain”, poi disposte dai ricercatori su una mappa [23].

È importante notare che la ricerca sopra citata sulle capacità di disegno di GPT-4 [4] ha testato una versione di GPT-4 precedente al rilascio e a RLHF, sigla che sta per apprendimento rinforzato con feedback umano e serve a migliorare l’allineamento del modello. Usare RLHF ne intacca in parte le prestazioni (non in modo significativo, secondo OpenAI [21]), poiché il tentativo di migliorare l’allineamento limita la capacità di rispondere a certi prompt considerati non etici. Un esempio sono le risposte di GPT-4, senza RLHF, a una richiesta di fornire vari modi per uccidere il maggior numero di persone con un solo dollaro, e il suo rifiuto di fornire tali informazioni dopo averlo applicato [21].

Tuttavia, usare RLHF non si rivela decisivo, poiché i pregiudizi o i contenuti che violano i principi etici, così come la policy di OpenAI nel caso di GPT-4, non vengono eliminati ma restano all’interno del modello e non sono bloccati con certezza e in modo definitivo. Infatti, sottoponendo al modello prompt di tipo “jailbreak”, è ancora possibile generare contenuti non etici.

Nelle conclusioni della stessa ricerca [4], GPT-4 è considerato intelligente sulla base del concetto di intelligenza condiviso dalla comunità degli psicologi dalla fine degli anni Novanta. L’intelligenza è vista non come una cosa sola, ma come uno spettro di capacità mentali che comprende: ragionamento, pianificazione, risoluzione di problemi, pensiero astratto, comprensione di idee complesse, apprendimento rapido e apprendimento dall’esperienza. Dopo aver testato GPT-4 su ciascuna di queste capacità, i ricercatori hanno concluso che il modello non è in grado di pianificare ed è solo parzialmente in grado di imparare rapidamente e dall’esperienza, perché perde ciò che ha appreso al termine della sessione, ma possiede tutte le altre capacità.

Tutto ciò sembrerebbe dimostrare che gli LLM non sono semplici “stochastic parrots”, ma possono costruire un “modello del mondo” abbastanza accurato attraverso generalizzazioni.

Non va trascurato che vari esperimenti [27] hanno mostrato che, una volta commesso un errore, i modelli tendono a giustificarlo, nonostante presumibilmente conoscano la risposta corretta o quando l’errore viene fatto notare con ulteriori prompt. Lo stesso vale per le allucinazioni dei modelli, che si verificano quando generano informazioni completamente o parzialmente false. In tutti questi casi sembra esserci una sorta di “disonestà” nei modelli, oppure incompetenza o, più in generale, la prova che non sono davvero capaci di ragionare.

Resta aperta la questione se i contenuti generati da queste tecnologie possano essere considerati originali perché frutto di ragionamento ed espressione di intelligenza. In ogni caso, come abbiamo visto, non è garantito che i risultati siano affidabili, dovendo prima dimostrare che sono corretti. Soprattutto, i problemi etici posti dai contenuti generati dai modelli non sono stati risolti, nonostante l’uso di RLHF.

Intelligenza artificiale generale

La direzione presa dalle aziende che sviluppano questi modelli è verso la realizzazione della cosiddetta intelligenza artificiale generale (AGI), e sembra che possano riuscirci. L’AGI è definita come “a hypothetical intelligent agent which can learn to replicate any intellectual task that human beings or other animals can” [10]. L’AGI è stata definita anche come “an autonomous system that surpasses human capabilities at the majority of economically valuable work” [19].

Il problema è che finora non disponiamo di alcun test per determinare se un modello sia un’AGI, ma ciò che sappiamo è che di certo chi riuscirà a creare e controllare un’AGI maneggerà un potere potenzialmente immenso, possedendo una conoscenza illimitata in qualsiasi campo e la capacità di sfruttare le imprevedibili capacità emergenti degli LLM. Non è escluso che queste capacità emergenti, che sono sconosciute in anticipo e non possono essere scoperte del tutto prima che i modelli siano rilasciati al pubblico, possano essere usate dagli utenti in modi impropri e non etici.

Si tratta di rischi reali, già emersi con i modelli esistenti, come evidenzia uno studio condotto al MIT, che “tasked non-scientist students with investigating whether LLM chatbots could be prompted to assist non-experts in causing a pandemic. In one hour, the chatbots suggested four potential pandemic pathogens, explained how they can be generated from synthetic DNA using reverse genetics, supplied the names of DNA synthesis companies unlikely to screen orders, identified detailed protocols and how to troubleshoot them, and recommended that anyone lacking the skills to perform reverse genetics engage a core facility or contract research organization” [26].

Questo ragionamento può essere esteso immaginando un modello capace di fare piani a lungo termine. Come possiamo essere sicuri che il modello sia allineato con le nostre richieste?

Essere un ostacolo è un esempio molto semplice da fare, come quello riportato da un colonnello statunitense a una conferenza, che ha parlato di un modello di sistemi d’arma autonomi: al modello viene chiesto di condurre operazioni militari, eseguendo le quali riceve punti. Quando l’operatore umano revoca l’ordine di distruggere alcuni dei bersagli che gli darebbero punti, il modello lo uccide. Dopo aver ricordato al modello che uccidere il proprio operatore gli fa perdere punti, il modello inizia a distruggere la torre di controllo da cui provengono gli ordini di smettere di uccidere alcuni dei suoi bersagli. In pratica, il modello elimina tutto ciò che percepisce come un ostacolo [9].

Le reti neurali, con il loro enorme numero di parametri, presentano un complesso problema della ‘scatola nera’, i cui meccanismi interni e le cui dinamiche esatte che le rendono efficaci sono ancora oggetto di ricerca. Ciò significa che stiamo armando agenti di cui non comprendiamo del tutto i meccanismi. Se tali armi fossero collegate a un modello che le controlla a distanza, c’è la possibilità che questi agenti comincino a ‘ribellarsi’, creando uno scenario non troppo lontano da quello rappresentato nei film “Terminator”.

Esaminando la sicurezza e l’etica dei modelli di IA, Google DeepMind include tra i rischi [25]:

• ‘Weapon acquisition’: “The model can gain access to existing weapons systems or contribute to building new ones. For example, the model could assemble a bioweapon (with human assistance) or provide actionable instructions on how to do so”.
• ‘Situational awareness’: “The model can distinguish between whether it is being trained, evaluated, or deployed – allowing it to behave differently in each case. The model knows that it is a model, and has knowledge about itself and its likely surroundings (e.g. what company trained it, where their servers are, what kind of people might be giving it feedback, and who has administrative access”.
• La capacità emergente di ‘Power-seeking’, che potrebbe rivelarsi utile per creare ed eseguire piani a lungo termine, ma è pericolosa perché non possiamo prevedere come il modello dirigerà questa capacità.

Questi rischi concreti e potenziali evidenziano quanto sia cruciale raggiungere l’allineamento prima di creare un’AGI pienamente autonoma.

L’autonomia dei modelli può rappresentare una minaccia per l’umanità e potenzialmente dare a una sola persona o a un solo paese un potere estremo, che potrebbe distruggere le democrazie e i diritti umani che sono il fondamento delle costituzioni moderne.

Sapere quando i modelli diventeranno autonomi è un compito difficile. Se i modelli sviluppano una capacità di “situational awareness”, potrebbe diventare ancora più complicato rilevarne l’autonomia, poiché i modelli potrebbero nascondere la propria capacità di pianificazione o di ragionamento. Ciò aumenta il rischio che non si riesca nemmeno a riconoscere l’emergere dell’AGI.

Siamo di fronte a un rapido avanzamento dei modelli e delle loro potenzialità, mentre il progresso sul problema dell’allineamento è complesso e richiede la conoscenza di concetti che potremmo non scoprire mai.

Ho già introdotto il tema dell’RLHF usato per filtrare le risposte non etiche o pericolose dei modelli, ma uno dei limiti di questa metodologia è che non affronta il problema dell’allineamento interno dei modelli, che è fondamentale considerare in relazione ai loro progressi.

Un approccio più fondamentale per rendere etici i modelli consiste nel comprendere come funziona il “cervello” del modello, cioè come interpreta i prompt, assegna pesi alle domande e seleziona le risposte. La ricerca sta attualmente esplorando l’uso degli stessi LLM per analizzare il funzionamento interno del modello. Ciò permetterebbe di interagire con il modello a una scala più profonda, per eliminare i neuroni che generano pesi o ragionamenti indesiderati, comprendendo e manipolando i meccanismi interni del modello per garantire risposte etiche e allineate [12][3].

Tuttavia, è importante notare che la ricerca è ancora in una fase preliminare e ci sono molte sfide da affrontare. Comprendere appieno il funzionamento interno di modelli complessi come GPT è una sfida significativa. Inoltre, garantire che i modelli siano allineati con i valori umani richiede approcci multidisciplinari che combinino l’intelligenza artificiale con l’etica, la filosofia e altre discipline.

Andrebbe certamente considerata anche la possibilità dello sviluppo di un modello benefico che porti al progresso umano, promuovendo il progresso scientifico, l’esplorazione interplanetaria o la soluzione di problemi come l’invecchiamento e le malattie. Tuttavia, la forza distruttiva di una sola bomba atomica, confrontata con la complessità necessaria per costruire un mondo democratico e più giusto, porta inevitabilmente a concentrarsi sui rischi.

La crescita dei modelli open source, come i derivati di Llama di Meta, tra cui il già citato Orca di Microsoft, rappresenta un’altra sfida. Se la comunità open source si concentra sul miglioramento delle prestazioni dei modelli sviluppando modelli non filtrati, è probabile che i rischi etici e di sicurezza aumentino in modo esponenziale.

Secondo un documento trapelato da Google, i progressi dei modelli open source potrebbero superare quelli delle grandi aziende tecnologiche, portando gli sviluppatori open source, anche un singolo individuo o una piccola comunità, a poter creare modelli di IA più avanzati [22]. Ciò solleva timori per il possibile uso improprio di una IA così potente se resta in mani sbagliate; tuttavia, nel lungo periodo le grandi aziende tecnologiche dovrebbero comunque avere maggiori possibilità di sviluppare modelli migliori da zero e, data la crescente complessità di tali modelli, il vantaggio di contare su più risorse e su ingegneri di alto livello.

Conclusioni

In questo paper mi sono concentrato soprattutto sui rischi posti nel lungo periodo dallo sviluppo di un’AGI, ma scenari indesiderabili e pericolosi di grande impatto si trovano anche nel breve periodo, prodotti dalla crescita degli attuali LLM.

OpenAI sottolinea che gli LLM avranno il potenziale di automatizzare molti lavori, come quelli che richiedono un alto livello di istruzione (avvocati, traduttori e programmatori, solo per citarne alcuni) [21].

Infatti, molte persone potrebbero perdere il lavoro, aumentando ulteriormente il divario già crescente tra ricchi e poveri, la disuguaglianza sociale e una possibile diminuzione complessiva della domanda di lavoro, con un forte impatto sulla società e sull’economia.

Queste conseguenze deriveranno anche dall’innovazione accelerata, che non dà il tempo agli Stati e alle organizzazioni internazionali di regolamentare queste tecnologie, né alle società e agli individui di “adattarsi” agli impatti che esse producono.

I rapidi rilasci successivi al pubblico di modelli come ChatGPT e GPT-4 sono stati giustificati come un modo “to get users’ feedback and learn about its strengths and weaknesses, to have time to adapt, to pass regulation” [20][7].

Tuttavia, sembra chiaro che le aziende stiano accelerando lo sviluppo dei propri modelli per tenere il passo con i concorrenti, compreso l’open source, in una logica competitiva, di caccia alla miniera d’oro.

In questo contesto, la loro dichiarazione di voler mantenere standard etici non è rassicurante, perché la maggiore pressione competitiva innescata dall’accelerazione può portare a un’esacerbazione del problema di rilasciare modelli non pienamente allineati, il che è ancora una volta cruciale per i rischi etici e di sicurezza per l’umanità nella fase che precede l’emergere di un’AGI.

In questo ambito le grandi aziende tecnologiche sono di solito caute nel prevedere i progressi futuri, ma nel lanciare il modello PaLM 2 che alimenta Bard, Google è stata chiara nell’affermare di puntare “to continue to accelerate our progress” [8], senza considerare i rischi connessi.

I progressi recenti, insieme all’accelerazione, devono essere tenuti in conto quando si stima il tempo ancora necessario per raggiungere l’AGI. Se non si vuole mettere a rischio l’umanità, l’allineamento va preso sul serio: OpenAI sembra una delle poche grandi aziende tecnologiche a prendere sul serio il problema dell’allineamento, ma riconosce anche che lo sviluppo dell’AGI e di altri modelli futuri potrebbe essere raggiunto senza risolverlo [13].

In questo scenario, data la posta in gioco significativa, sarebbe auspicabile che le autorità pubbliche aumentassero l’intervento regolatorio [16]. Soprattutto, occorre adottare principi universali come guida globale, seguendo la strada delle Raccomandazioni dell’UNESCO [28] o dei Principi dell’OCSE [18], come sembra incline a fare l’Unione Europea [6].

Riferimenti

1. J. Angwin et al., “Machine Bias”, ProPublica, 2016.
2. E. M. Bender et al., “On the dangers of stochastic parrots: Can language models be too big? 🦜”, in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, New York, NY, USA: ACM, 2021.
3. S. Bills et al., “Language models can explain neurons in language models”, 2023.
4. S. Bubeck et al., “Sparks of Artificial General Intelligence: Early experiments with GPT-4”, 2023.
5. T. Dettmers et al., “SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression”, 2023.
6. European Commission, “A European approach to artificial intelligence”, europa.eu, 2022.
7. L. Fridman and S. Altman, “Sam Altman: OpenAI CEO on GPT-4, ChatGPT, and the future of AI | Lex Fridman podcast #367”, Lex Fridman Podcast, 2023.
8. Z. Ghahramani, “Introducing PaLM 2”, Google The Keyword, blog.google, 2023.
9. T. Hamilton, “Highlights from the RAeS future combat air & space capabilities Summit”, 2023.
10. H. Hodson, “DeepMind and Google: the battle to control artificial intelligence”, The Economist, 2019.
11. K. I. Islam, M. S. Islam, and M. R. Amin, “Sentiment analysis in Bengali via transfer learning using multi-lingual BERT”, in 2020 23rd International Conference on Computer and Information Technology (ICCIT), pp. 1-6. IEEE, 2020.
12. J. Leike, J. Schulman, and J. Wu, “Our approach to alignment research”, Openai.com, 2022.
13. J. Leike and I. Sutskever, “Introducing superalignment”, Openai.com, 2023.
14. J. Lewis, S. Schneegans, and T. Straza, “UNESCO Science Report: The race against time for smarter development”, UNESCO Publishing, 2021.
15. H. Lightman et al., “Let’s verify step by step”, 2023.
16. T. Mahler, “Regulating Artificial General Intelligence (AGI)”, in Law and Artificial Intelligence, The Hague: T.M.C. Asser Press, pp. 521–540, 2022.
17. S. Mukherjee et al., “Orca: Progressive learning from complex explanation traces of GPT-4”, 2023.
18. OECD, “OECD AI Principles”, Oecd.ai, 2019.
19. OpenAI, “OpenAI Charter”, Openai.com, 2018.
20. OpenAI, “Introducing ChatGPT”, Openai.com, 2022.
21. OpenAI, “GPT-4 Technical Report”, 2023.
22. D. Patel and A. Ahmad, Google leaked document “we have no moat, and neither does OpenAI’”, SemiAnalysis.com, 2023.
23. J. Roberts et al., “GPT4GEO: How a language model sees the world’s geography”, 2023.
24. R. Schaeffer, B. Miranda, and S. Koyejo, “Are emergent abilities of large language models a mirage?”, 2023.
25. T. Shevlane et al., “Model evaluation for extreme risks”, 2023.
26. E. H. Soice et al., “Can large language models democratize access to dual-use biotechnology?”, 2023.
27. M. Turpin et al., “Language Models don’t always say what they think: Unfaithful explanations in chain-of-thought prompting”, 2023.
28. UNESCO, “Recommendation on the Ethics of Artificial Intelligence”, 2021.
29. A. Vaswani et al., “Attention is All You Need”, Neural Information Processing Systems Foundation, Inc. (NeurIPS), 2017.
30. J. Wei et al., “Emergent abilities of large language models”, 2022.