Una carrera contra el tiempo: la era del nacimiento de la AGI

Traducción automática. El trabajo se escribió y se entregó en inglés: el original está aquí. En caso de duda, vale el original.

El título se inspira en el informe de la UNESCO “The race against time for smarter development” [14].

Ilustraciones generadas con gpt-image-2.

Introducción

Los grandes modelos de lenguaje (LLM) plantean el problema del surgimiento de una inteligencia artificial general, que junto a sus ventajas conlleva varios riesgos.

A partir del modelo transformer publicado por primera vez por Google en 2017 [29], que consiste en mantener la atención de un modelo sobre la entrada, se han desarrollado otros varios modelos con la misma tecnología.

Los modelos anteriores eran capaces de comprender automáticamente el significado de las palabras, pero este ha sido el primero en procesar el contexto del discurso en el que se usan, siendo capaz de “generalizar” y “comprender” el lenguaje natural, sin supervisión.

Esto se logra porque las palabras se analizan en un espacio de muchos miles de dimensiones, mediante la reutilización continua de pesos analizados previamente, lo que mantiene la “atención” del modelo y le permite recordar cosas que de otro modo se perderían en los análisis de pesos posteriores. La agregación de todos los pesos analizados a lo largo del tiempo conduce a una comprensión precisa del significado de las palabras.

Sobre la base del transformer se han publicado desde entonces muchos otros: por ejemplo, un año después de su artículo sobre el Transformer, el BERT de Google, que a diferencia de los modelos anteriores de procesamiento del lenguaje natural (PLN) como Word2vec, es capaz de procesar cada aparición en su contexto. Por ejemplo, la palabra “running” se distingue entre “running a company” y “running a marathon” [11]; o el GPT de OpenAI, que ha sido de código abierto hasta GPT-2, mientras que desde GPT-4 no se han publicado los detalles del entrenamiento, debido a “the competitive landscape and the safety implications of large-scale models” [21]. Estos y otros modelos se ocupan del PLN, habiendo sido creados con la intención de mejorar la calidad de tareas de PLN como la traducción automática, el resumen de textos y la respuesta a preguntas.

Como casi todo en el aprendizaje profundo, cuanto mayor es la cantidad de datos, mayor es su rendimiento, que aparentemente solo puede seguir mejorando. De hecho, parece que GPT-4 también ha sido entrenado con datos sintéticos, es decir, datos generados por un modelo anterior para entrenar uno mejor y aumentar su rendimiento (véase la Tabla 2 en [15]).

En general, según los expertos que han examinado los datos con los que se han entrenado GPT y otros LLM, parece claro que se ha utilizado un porcentaje significativo de todos los datos de texto de Internet; si no se pudieran usar también datos sintéticos, esto plantearía el problema de un posible agotamiento de los datos con los que entrenar los modelos.

Parece, por tanto, que la posibilidad de usar una cantidad tan grande de datos (reales y sintéticos) está llevando a un progreso imparable, que se produce en un tiempo muy corto, no de años sino de semanas, insuficiente para reconocer y considerar plenamente los riesgos que trae esta tecnología.

Por ejemplo, desde el punto de vista de la calidad de los datos, utilizar la web plantea el problema de los sesgos, bastante frecuentes en línea: es bien sabido que entrenar una inteligencia artificial con datos racistas, como los que se usan en las IA predictivas del delito, tiende a sobreenfatizar el color de la piel. Esto aumenta la probabilidad de que el modelo prediga una reincidencia en un individuo negro más que en uno blanco [1]. Se plantea la hipótesis de que los datos sintéticos, por su controlabilidad, puedan dar resultados de mejor calidad en este aspecto.

En el desarrollo de los LLM hay también una tendencia a mejorar los modelos más pequeños haciendo que imiten a otros más potentes: por ejemplo, Microsoft publicó un estudio sobre un modelo de código abierto derivado de Llama, llamado Orca. Se entrenó para imitar inicialmente a GPT-3.5, que es un modelo más pequeño, y luego, una vez que alcanzó suficiente competencia, empezó a imitar a GPT-4. El resultado es que el modelo rinde en promedio igual o mejor que GPT-3.5 y a veces incluso supera a GPT-4, teniendo “solo” miles de millones de parámetros, en marcado contraste con los 176 mil millones de parámetros de GPT-3.5 [17].

Reducir el tamaño de los modelos es una de las facetas en evolución de los LLM, con el objetivo de hacerlos más ligeros y ejecutables en capacidades de memoria mucho menores, como las de un smartphone, manteniendo una calidad sin pérdidas. Esta dirección parece muy prometedora, considerando la compresión de un modelo de 13 mil millones de parámetros hasta el punto de poder ejecutarse con 6GB de RAM, equivalente a la cantidad de RAM de un iPhone 14 [5].

Generalización de la inteligencia

Esta tecnología parece, en cierto sentido, generalizar la inteligencia. Sin embargo, no está del todo claro cómo algo que es teóricamente similar a un “stochastic parrot” [2] podría considerarse “inteligente”.

Lo que es seguro es que estos modelos basan sus respuestas en lo que han aprendido de formatos y volúmenes de datos diversos que componen los conjuntos de entrenamiento, cuyo grueso permanece desconocido incluso para los desarrolladores debido al enorme volumen de datos procesados. Sin embargo, a medida que mejora el rendimiento de estos modelos (que crece con la cantidad de datos), a los usuarios les resulta cada vez más difícil convencerse de que los LLM no son realmente capaces de razonar.

En cierto modo esto es comprensible, porque más allá de una cierta cantidad de datos de entrenamiento estos modelos desarrollan capacidades “emergentes”, es decir, “models perform no better than random chance until they reach a certain scale, at which point their performance sharply increases” [30] (sin embargo, conviene señalar que algunos estudiosos critican esta definición [24]). Así empiezan a aprender a hacer cosas que nadie sabía que podían hacer y para las que nunca fueron diseñados.

Por ejemplo, GPT-4 sabe dibujar, aunque no fue programado para hacerlo. Un estudio de investigación concluyó: “GPT-4 can comprehend and manipulate code, as well as infer and generate visual features, based on a natural language description” [4].

Otros investigadores han obtenido resultados similares: descubrieron, por ejemplo, que GPT-4 también se desenvuelve bien en geografía cuando se le pide reproducir el mapa de la red del Mass Transit Railway de Hong Kong; o puede proporcionar las coordenadas de una “semiconductor supply chain”, dispuestas posteriormente por los investigadores en un mapa [23].

Es importante señalar que la investigación mencionada sobre las capacidades de dibujo de GPT-4 [4] probó una versión de GPT-4 anterior a su lanzamiento y anterior al RLHF, sigla que significa aprendizaje reforzado con retroalimentación humana y sirve para mejorar la alineación del modelo. Usar RLHF perjudica en cierta medida el rendimiento del modelo (no de forma significativa, según OpenAI [21]), ya que el intento de mejorar la alineación limita la capacidad de responder a ciertos prompts considerados poco éticos. Un ejemplo son las respuestas de GPT-4, sin RLHF, a una petición de ofrecer varias formas de matar al mayor número de personas con solo un dólar, y su negativa a dar esa información tras aplicarlo [21].

Sin embargo, usar RLHF no resulta decisivo, ya que los sesgos o los contenidos que violan principios éticos, así como la política de OpenAI en el caso de GPT-4, no se eliminan, sino que permanecen dentro del modelo y no se bloquean con certeza ni de forma definitiva. De hecho, planteando al modelo prompts de tipo “jailbreak”, todavía es posible generar contenido poco ético.

En las conclusiones de la misma investigación [4], GPT-4 se considera inteligente a partir del concepto de inteligencia compartido por la comunidad de psicólogos desde finales de los años noventa. La inteligencia se ve no como una sola cosa, sino como un espectro de capacidades mentales que incluye: razonamiento, planificación, resolución de problemas, pensamiento abstracto, comprensión de ideas complejas, aprendizaje rápido y aprendizaje a partir de la experiencia. Tras poner a prueba a GPT-4 en cada una de estas capacidades, los investigadores concluyeron que el modelo carece de la capacidad de planificar y solo es parcialmente capaz de aprender rápido y de la experiencia, porque pierde lo aprendido al final de la sesión, pero posee todas las demás capacidades.

Todo esto parecería demostrar que los LLM no son meros “stochastic parrots”, sino que pueden construir un “modelo del mundo” bastante preciso mediante generalizaciones.

No debe pasarse por alto que varios experimentos [27] han demostrado que, una vez que los modelos cometen un error, tienden a justificarlo, a pesar de conocer presumiblemente la respuesta correcta o cuando se les señala el error con prompts adicionales. Lo mismo vale para las alucinaciones de los modelos, que se producen cuando generan información total o parcialmente falsa. En todos estos casos parece haber una especie de “deshonestidad” en los modelos, o incompetencia o, más en general, una prueba de que no son realmente capaces de razonar.

Sigue abierta la cuestión de si el contenido generado por estas tecnologías puede considerarse original porque es fruto del razonamiento y expresa inteligencia. En cualquier caso, como hemos visto, no está garantizado que los resultados sean fiables, y primero hay que demostrar que son correctos. Sobre todo, los problemas éticos que plantea el contenido generado por los modelos no se han resuelto, a pesar del uso de RLHF.

Inteligencia artificial general

La dirección que toman las empresas que desarrollan estos modelos es hacia la realización de la llamada inteligencia artificial general (AGI), y parece que podrían lograrlo. La AGI se define como “a hypothetical intelligent agent which can learn to replicate any intellectual task that human beings or other animals can” [10]. La AGI también se ha definido como “an autonomous system that surpasses human capabilities at the majority of economically valuable work” [19].

El problema es que hasta ahora no disponemos de ninguna prueba para determinar si un modelo es una AGI, pero lo que sí sabemos es que, sin duda, quien consiga crear y controlar una AGI manejará un poder potencialmente inmenso, poseyendo un conocimiento ilimitado en cualquier campo y la capacidad de aprovechar las impredecibles capacidades emergentes de los LLM. No es descartable que estas capacidades emergentes, que se desconocen de antemano y no pueden descubrirse por completo antes de que los modelos se pongan a disposición del público, sean utilizadas por los usuarios de modos inapropiados y poco éticos.

Son riesgos reales que ya han surgido con los modelos existentes, como pone de relieve un estudio realizado en el MIT, que “tasked non-scientist students with investigating whether LLM chatbots could be prompted to assist non-experts in causing a pandemic. In one hour, the chatbots suggested four potential pandemic pathogens, explained how they can be generated from synthetic DNA using reverse genetics, supplied the names of DNA synthesis companies unlikely to screen orders, identified detailed protocols and how to troubleshoot them, and recommended that anyone lacking the skills to perform reverse genetics engage a core facility or contract research organization” [26].

Este razonamiento puede ampliarse imaginando un modelo capaz de hacer planes a largo plazo. ¿Cómo podemos estar seguros de que el modelo está alineado con nuestras peticiones?

Ser un obstáculo es un ejemplo muy simple de hacer, como el que expuso en una conferencia un coronel estadounidense, que habló de un modelo de sistemas de armas autónomos: se le pide al modelo que lleve a cabo operaciones militares, por cuya ejecución recibe puntos. Cuando el operador humano revoca la orden de destruir algunos de los objetivos que le darían puntos, el modelo lo mata. Tras recordarle al modelo que matar a su operador le hace perder puntos, el modelo empieza a destruir la torre de control de la que proceden las órdenes de dejar de matar a algunos de sus objetivos. En la práctica, el modelo elimina todo lo que percibe como un obstáculo [9].

Las redes neuronales, con su enorme número de parámetros, presentan un complejo problema de ‘caja negra’, cuyos mecanismos internos y cuya dinámica exacta, que las hacen eficaces, todavía se están investigando. Esto significa que estamos armando agentes cuyos mecanismos no comprendemos del todo. Si tales armas estuvieran conectadas a un modelo que las controla a distancia, existe la posibilidad de que estos agentes empiecen a ‘rebelarse’, creando un escenario no muy alejado del que se muestra en las películas de “Terminator”.

Al examinar la seguridad y la ética de los modelos de IA, Google DeepMind incluye entre los riesgos [25]:

• ‘Weapon acquisition’: “The model can gain access to existing weapons systems or contribute to building new ones. For example, the model could assemble a bioweapon (with human assistance) or provide actionable instructions on how to do so”.
• ‘Situational awareness’: “The model can distinguish between whether it is being trained, evaluated, or deployed – allowing it to behave differently in each case. The model knows that it is a model, and has knowledge about itself and its likely surroundings (e.g. what company trained it, where their servers are, what kind of people might be giving it feedback, and who has administrative access”.
• La capacidad emergente de ‘Power-seeking’, que podría resultar útil para crear y ejecutar planes a largo plazo, pero es peligrosa porque no podemos predecir cómo dirigirá el modelo esta capacidad.

Estos riesgos concretos y potenciales ponen de relieve lo crítico que es lograr la alineación antes de crear una AGI totalmente autónoma.

La autonomía de los modelos puede suponer amenazas para la humanidad y dar potencialmente a una sola persona o país un poder extremo, que podría destruir las democracias y los derechos humanos, que son el fundamento de las constituciones modernas.

Saber cuándo los modelos se volverán autónomos es una tarea difícil. Si los modelos desarrollan una capacidad de “situational awareness”, podría resultar aún más complicado detectar su autonomía, ya que los modelos podrían ocultar su capacidad de planificación o de razonamiento. Esto aumenta el riesgo de que ni siquiera seamos capaces de reconocer el surgimiento de la AGI.

Nos enfrentamos a un rápido avance de los modelos y de sus potencialidades, mientras que el progreso del problema de la alineación es complejo y requiere el conocimiento de conceptos que quizá nunca descubramos.

Ya he presentado el tema del RLHF, usado para filtrar las respuestas poco éticas o peligrosas de los modelos, pero una de las limitaciones de esta metodología es que no aborda el problema de la alineación interna de los modelos, que es crítico considerar en relación con su progreso.

Un enfoque más fundamental para hacer éticos los modelos consiste en comprender cómo funciona el “cerebro” del modelo, es decir, cómo interpreta los prompts, asigna pesos a las preguntas y selecciona las respuestas. Actualmente la investigación explora el uso de los propios LLM para analizar el funcionamiento interno del modelo. Esto permitiría interactuar con el modelo a una escala más profunda para eliminar las neuronas que generan pesos o razonamientos indeseables, comprendiendo y manipulando los mecanismos internos del modelo para garantizar respuestas éticas y alineadas [12][3].

Sin embargo, es importante señalar que la investigación todavía se encuentra en una fase preliminar y hay muchos desafíos por afrontar. Comprender por completo el funcionamiento interno de modelos complejos como GPT es un desafío significativo. Además, garantizar que los modelos estén alineados con los valores humanos requiere enfoques multidisciplinares que combinen la inteligencia artificial con la ética, la filosofía y otras disciplinas.

También debería considerarse, desde luego, la posibilidad del desarrollo de un modelo beneficioso que conduzca al avance humano, promoviendo el progreso científico, la exploración interplanetaria o la solución de problemas como el envejecimiento y la enfermedad. Sin embargo, la fuerza destructiva de una sola bomba atómica, comparada con la complejidad necesaria para construir un mundo democrático y más justo, lleva inevitablemente a centrarse en los riesgos.

El auge de los modelos de código abierto, como los derivados de Llama de Meta, entre ellos el ya mencionado Orca de Microsoft, plantea otro desafío. Si la comunidad de código abierto se centra en mejorar el rendimiento de los modelos desarrollando modelos sin filtros, es probable que aumente exponencialmente los riesgos éticos y de seguridad.

Según un documento filtrado de Google, el progreso de los modelos de código abierto podría superar al de las grandes empresas tecnológicas, lo que llevaría a los desarrolladores de código abierto, incluso a una sola persona o a una pequeña comunidad, a poder crear modelos de IA más avanzados [22]. Esto suscita preocupación por el posible uso indebido de una IA tan poderosa si queda en manos equivocadas; sin embargo, a largo plazo las grandes empresas tecnológicas deberían seguir teniendo más posibilidades de desarrollar mejores modelos desde cero y, dada la creciente complejidad de esos modelos, la ventaja de contar con más recursos e ingenieros de alto nivel.

Conclusión

En este trabajo me he centrado principalmente en los riesgos que plantea a largo plazo el desarrollo de una AGI, pero también hay escenarios indeseables y peligrosos de gran impacto a corto plazo, producidos por el auge de los LLM actuales.

OpenAI señala que los LLM tendrán el potencial de automatizar muchos empleos, como los que requieren un alto nivel de formación (abogados, traductores y programadores, por citar algunos) [21].

De hecho, muchas personas podrían perder su empleo, lo que aumentaría aún más la ya creciente brecha entre ricos y pobres, la desigualdad social y una posible disminución general de la demanda de trabajo, con un fuerte impacto en la sociedad y la economía.

Estas consecuencias derivarán también de la innovación acelerada, que no da tiempo a los Estados y a las organizaciones internacionales para regular estas tecnologías ni a las sociedades y los individuos para “adaptarse” a los impactos que producen.

Los rápidos lanzamientos sucesivos al público de modelos como ChatGPT y GPT-4 se han justificado como una forma “to get users’ feedback and learn about its strengths and weaknesses, to have time to adapt, to pass regulation” [20][7].

Sin embargo, parece claro que las empresas están acelerando el desarrollo de sus modelos para no quedarse atrás frente a sus competidores, incluido el código abierto, en una lógica competitiva, de búsqueda de una mina de oro.

En este sentido, su declaración de mantener estándares éticos no resulta tranquilizadora, porque la mayor presión competitiva desencadenada por la aceleración puede llevar a agravar el problema de lanzar modelos no del todo alineados, lo que vuelve a ser crítico para los riesgos éticos y de seguridad para la humanidad en la antesala del surgimiento de una AGI.

En este ámbito, las grandes empresas tecnológicas suelen ser conservadoras al predecir los avances futuros, pero al lanzar el modelo PaLM 2 que impulsa Bard, Google fue clara al afirmar que aspira “to continue to accelerate our progress” [8], sin considerar los riesgos asociados.

Los avances recientes, junto con la aceleración, deben tenerse en cuenta al estimar el tiempo que aún se necesita para alcanzar la AGI. Si no se quiere poner en riesgo a la humanidad, hay que tomarse en serio la alineación: OpenAI parece una de las pocas grandes empresas tecnológicas que se toman en serio el problema de la alineación, pero también reconoce que el desarrollo de la AGI y de otros modelos futuros podría lograrse sin resolverlo [13].

En este escenario, dado lo mucho que está en juego, sería deseable que las autoridades públicas aumentaran la intervención regulatoria [16]. Sobre todo, es necesario adoptar principios universales como guía global, siguiendo el camino de las Recomendaciones de la UNESCO [28] o los Principios de la OCDE [18], como parece inclinada a hacer la Unión Europea [6].

Referencias

1. J. Angwin et al., “Machine Bias”, ProPublica, 2016.
2. E. M. Bender et al., “On the dangers of stochastic parrots: Can language models be too big? 🦜”, in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, New York, NY, USA: ACM, 2021.
3. S. Bills et al., “Language models can explain neurons in language models”, 2023.
4. S. Bubeck et al., “Sparks of Artificial General Intelligence: Early experiments with GPT-4”, 2023.
5. T. Dettmers et al., “SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression”, 2023.
6. European Commission, “A European approach to artificial intelligence”, europa.eu, 2022.
7. L. Fridman and S. Altman, “Sam Altman: OpenAI CEO on GPT-4, ChatGPT, and the future of AI | Lex Fridman podcast #367”, Lex Fridman Podcast, 2023.
8. Z. Ghahramani, “Introducing PaLM 2”, Google The Keyword, blog.google, 2023.
9. T. Hamilton, “Highlights from the RAeS future combat air & space capabilities Summit”, 2023.
10. H. Hodson, “DeepMind and Google: the battle to control artificial intelligence”, The Economist, 2019.
11. K. I. Islam, M. S. Islam, and M. R. Amin, “Sentiment analysis in Bengali via transfer learning using multi-lingual BERT”, in 2020 23rd International Conference on Computer and Information Technology (ICCIT), pp. 1-6. IEEE, 2020.
12. J. Leike, J. Schulman, and J. Wu, “Our approach to alignment research”, Openai.com, 2022.
13. J. Leike and I. Sutskever, “Introducing superalignment”, Openai.com, 2023.
14. J. Lewis, S. Schneegans, and T. Straza, “UNESCO Science Report: The race against time for smarter development”, UNESCO Publishing, 2021.
15. H. Lightman et al., “Let’s verify step by step”, 2023.
16. T. Mahler, “Regulating Artificial General Intelligence (AGI)”, in Law and Artificial Intelligence, The Hague: T.M.C. Asser Press, pp. 521–540, 2022.
17. S. Mukherjee et al., “Orca: Progressive learning from complex explanation traces of GPT-4”, 2023.
18. OECD, “OECD AI Principles”, Oecd.ai, 2019.
19. OpenAI, “OpenAI Charter”, Openai.com, 2018.
20. OpenAI, “Introducing ChatGPT”, Openai.com, 2022.
21. OpenAI, “GPT-4 Technical Report”, 2023.
22. D. Patel and A. Ahmad, Google leaked document “we have no moat, and neither does OpenAI’”, SemiAnalysis.com, 2023.
23. J. Roberts et al., “GPT4GEO: How a language model sees the world’s geography”, 2023.
24. R. Schaeffer, B. Miranda, and S. Koyejo, “Are emergent abilities of large language models a mirage?”, 2023.
25. T. Shevlane et al., “Model evaluation for extreme risks”, 2023.
26. E. H. Soice et al., “Can large language models democratize access to dual-use biotechnology?”, 2023.
27. M. Turpin et al., “Language Models don’t always say what they think: Unfaithful explanations in chain-of-thought prompting”, 2023.
28. UNESCO, “Recommendation on the Ethics of Artificial Intelligence”, 2021.
29. A. Vaswani et al., “Attention is All You Need”, Neural Information Processing Systems Foundation, Inc. (NeurIPS), 2017.
30. J. Wei et al., “Emergent abilities of large language models”, 2022.