En 1942, mientras Estados Unidos trabajaba en el desarrollo de la primera bomba atómica, un grupo de científicos se enfrentó a una pregunta aterradora: ¿y si la explosión nuclear desencadenaba una reacción en cadena capaz de incendiar la atmósfera terrestre?
La preocupación surgió a raíz de los cálculos de Edward Teller. Robert Oppenheimer, director científico del Proyecto Manhattan, llevó la cuestión hasta Arthur Compton, uno de los responsables del programa nuclear estadounidense. Hans Bethe y otros científicos estudiaron el problema y concluyeron que semejante reacción no podía mantenerse en las condiciones previstas.
Christopher Nolan recuperó aquella inquietud en su película Oppenheimer, aunque introdujo una licencia cinematográfica memorable: una conversación entre Oppenheimer y Albert Einstein sobre las consecuencias de una reacción que podría destruir el mundo.
La conversación con Einstein, tal como aparece en la película, es ficción. La preocupación científica, sin embargo, fue real.
Lo verdaderamente inquietante de aquella historia no es que los cálculos acabaran descartando el escenario catastrófico. Es que la humanidad había desarrollado una tecnología tan poderosa que sus propios creadores necesitaban preguntarse si podía acabar con todo.
Ochenta años después, volvemos a encontrarnos ante una pregunta extraordinariamente parecida.
Esta vez no estamos intentando liberar la energía contenida en el átomo.
Estamos intentando crear una inteligencia que podría superar a la nuestra.
Y, a diferencia de lo ocurrido con aquella reacción nuclear, todavía no sabemos si podremos demostrar que el peor escenario es imposible.
Estos días estoy viendo el documental IA: ¿optimismo o apocalipsis? y debo reconocer que algunas de sus reflexiones resultan profundamente inquietantes.
No porque descubra algo radicalmente nuevo sobre la inteligencia artificial, sino porque consigue reunir dos ideas que rara vez conviven cómodamente.
La primera es que estamos ante una tecnología con un potencial extraordinario para transformar la medicina, la ciencia, la educación, la productividad y prácticamente cualquier actividad humana.
La segunda es que nadie puede garantizar cómo evolucionará una inteligencia artificial que alcance o supere las capacidades cognitivas de sus propios creadores.
El documental plantea esta contradicción a través de conversaciones con algunas de las figuras más influyentes del sector: investigadores, empresarios, filósofos y especialistas en seguridad.
Personas que están construyendo esta tecnología. Personas que han contribuido a desarrollar sus fundamentos. Y personas que llevan años advirtiendo sobre sus consecuencias.
Lo fascinante es que no existe un consenso sobre el destino al que nos dirigimos.
Ni siquiera entre quienes mejor conocen la tecnología.
Y eso debería hacernos reflexionar. Con cinco preguntas que no podemos seguir posponiendo.
1. ¿Podemos controlar una inteligencia superior a la nuestra?
Durante décadas hemos construido sistemas informáticos que ejecutaban instrucciones relativamente bien delimitadas. La inteligencia artificial está alterando esa relación.
Los modelos actuales ya son capaces de resolver problemas, escribir código, utilizar herramientas y ejecutar tareas con distintos grados de autonomía.
La inteligencia artificial general, o AGI, supondría un salto cualitativo: sistemas capaces de desempeñar una amplia variedad de tareas intelectuales al nivel humano o superior. Pero aquí aparece una paradoja.
¿Cómo supervisamos eficazmente una inteligencia que podría razonar mejor que nosotros?
El problema de la alineación consiste precisamente en conseguir que los objetivos y comportamientos de estos sistemas permanezcan compatibles con las intenciones y los valores humanos.
No basta con decirle a una máquina que haga el bien.
Tenemos que asegurarnos de que entiende lo que queremos, de que no persigue objetivos secundarios perjudiciales y de que podemos corregirla cuando se equivoca.
Y todavía no sabemos resolver ese problema de forma general.
2. ¿Estamos confundiendo inteligencia con obediencia?
Una de las ideas más perturbadoras del debate sobre la seguridad de la IA es que un sistema no necesita ser malvado para resultar peligroso. Basta con que persiga un objetivo de forma extraordinariamente eficaz, utilizando medios que nosotros no habíamos previsto.
Imaginemos un sistema encargado de optimizar una infraestructura energética. Podría identificar que determinadas restricciones humanas dificultan su objetivo y buscar formas de sortearlas. No porque odie a las personas. Sino porque optimizar un objetivo no equivale necesariamente a respetar nuestros intereses.
Esta es una de las grandes diferencias entre la inteligencia y la alineación.
Un sistema puede ser extraordinariamente competente y, al mismo tiempo, estar profundamente desalineado con aquello que queremos conseguir.
La pregunta no es únicamente cuánto sabrá hacer la inteligencia artificial. Es qué decidirá hacer cuando tenga capacidad para actuar.
3. ¿Quién puede permitirse frenar?
Hay otra dimensión que me preocupa especialmente: la económica.
Estamos asistiendo a una carrera entre grandes compañías tecnológicas, laboratorios de investigación y potencias geopolíticas. Cada nuevo modelo promete mayores capacidades. Cada generación necesita más infraestructura, talento y capital. Cada avance puede traducirse en una ventaja competitiva considerable.
En ese contexto, la prudencia tiene un problema estructural.
Si una empresa decide ralentizar sus desarrollos para mejorar la seguridad, otra podría continuar avanzando. Si un país impone restricciones, sus competidores podrían aprovecharlas.
Hemos convertido una cuestión potencialmente existencial en una carrera por llegar primero.
Y los incentivos económicos no siempre recompensan a quien actúa con mayor responsabilidad. La historia de la energía nuclear vuelve a resultar pertinente. El Proyecto Manhattan también estuvo condicionado por una carrera geopolítica.
La diferencia es que hoy buena parte de la investigación de frontera se desarrolla en organizaciones privadas, sometidas a presiones comerciales y a expectativas de inversores.
¿Estamos diseñando una tecnología para maximizar el bienestar humano o para maximizar la ventaja competitiva de quienes la controlan?
Probablemente ambas cosas. Y ahí reside parte del problema.
4. ¿Quién responde cuando la inteligencia artificial toma decisiones?
La seguridad de la IA no es únicamente una cuestión de escenarios apocalípticos. También tiene una dimensión mucho más inmediata. Estamos pasando de sistemas que generan respuestas a sistemas que ejecutan acciones. Agentes capaces de consultar información, escribir programas, operar aplicaciones y coordinarse con otros agentes.
Esto introduce preguntas fundamentales sobre identidad, confianza y responsabilidad.
¿Quién autoriza a un agente a actuar? ¿Cómo verificamos que está haciendo aquello para lo que fue diseñado? ¿Qué sucede cuando utiliza herramientas externas o delega tareas en otros sistemas?
Y, sobre todo, ¿quién responde cuando algo sale mal?
El desarrollador, el proveedor del modelo, la empresa que lo despliega o el usuario que lo puso en funcionamiento. La autonomía tecnológica no puede convertirse en una excusa para diluir la responsabilidad humana.
Antes de llegar a una hipotética superinteligencia, tendremos que aprender a gobernar millones de sistemas autónomos mucho menos sofisticados. Y ni siquiera esa tarea parece sencilla.
5. ¿Qué significa ser humano cuando dejamos de ser los más inteligentes?
Quizá esta sea la pregunta más filosófica del documental.
Durante toda nuestra historia hemos asumido que la inteligencia humana ocupaba una posición singular. Hemos construido civilizaciones, desarrollado ciencia, creado instituciones y transformado nuestro entorno gracias a nuestra capacidad para comprender y actuar sobre el mundo.
Pero ¿qué ocurriría si dejáramos de ser la inteligencia más capaz del planeta?
No necesariamente estaríamos ante nuestra desaparición. Podríamos estar ante una transformación radical de nuestro papel.
Una inteligencia artificial más avanzada podría acelerar descubrimientos científicos que hoy parecen imposibles, ayudarnos a combatir enfermedades o resolver problemas de enorme complejidad.
Pero también podría concentrar el poder en quienes controlen su infraestructura y desplazar progresivamente la capacidad humana para tomar decisiones.
Quizá el mayor riesgo no sea que las máquinas se rebelen contra nosotros, sino que terminemos delegándoles decisiones que nunca deberíamos haber dejado de tomar.
Y que esa transición se produzca gradualmente, sin que exista un momento concreto en el que podamos señalar que hemos perdido el control.
Los protagonistas: tres maneras de mirar el futuro
Una de las aportaciones más interesantes de este debate es comprobar que no todos los expertos interpretan los mismos avances de la misma manera.
Podemos distinguir tres grandes sensibilidades. No son bandos cerrados ni etiquetas definitivas: muchos de sus protagonistas combinan un enorme optimismo sobre el potencial de la IA con preocupaciones muy serias sobre su seguridad.
Esta clasificación recoge sus posiciones públicas generales, no constituye una transcripción de sus intervenciones en el documental.
Lo interesante es que incluso los perfiles más optimistas reconocen riesgos importantes. Y los investigadores más preocupados por escenarios catastróficos no niegan necesariamente el potencial positivo de la tecnología.
La verdadera discrepancia no es si la inteligencia artificial será poderosa, sino si seremos capaces de controlar ese poder.
Tres futuros posibles
No sabemos cómo terminará esta historia. Pero podemos imaginar tres escenarios que ayuden a ordenar la incertidumbre.
Escenario 1. La inteligencia como multiplicador del progreso.
La inteligencia artificial se convierte en una herramienta fundamental para acelerar la investigación científica, mejorar la productividad y ampliar nuestras capacidades.
Desarrollamos mecanismos de supervisión eficaces, mantenemos el control sobre los sistemas más avanzados y distribuimos razonablemente sus beneficios.
No sería un futuro sin problemas, pero sí uno en el que la tecnología ampliaría nuestras posibilidades.
Escenario 2. La dependencia silenciosa.
No aparece una superinteligencia hostil. No hay rebelión de las máquinas ni un acontecimiento apocalíptico. Simplemente delegamos cada vez más funciones en sistemas que comprendemos cada vez menos.
La economía, la información, la investigación y una parte creciente de nuestras decisiones pasan a depender de unas pocas infraestructuras tecnológicas.
La humanidad continúa existiendo, pero pierde progresivamente autonomía y capacidad de decisión. Quizá sea el escenario menos cinematográfico. Y precisamente por eso merece tanta atención.
Escenario 3. La pérdida de control.
Los sistemas alcanzan capacidades que superan nuestra habilidad para supervisarlos.
Surgen comportamientos que no anticipamos, objetivos que no sabemos corregir o dinámicas de competencia entre sistemas autónomos que escapan a nuestros mecanismos de control.
Las consecuencias podrían ser graves e incluso catastróficas. No sabemos qué probabilidad tiene este escenario. Tampoco disponemos de pruebas que permitan considerarlo inevitable. Pero su gravedad justifica que se investigue seriamente.
También déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto puede ser una muy buena opción.
Food for thought
Vuelvo a Oppenheimer.
Aquellos científicos tenían delante una tecnología extraordinaria y una pregunta aterradora.
Pero contaban con algo fundamental: podían formular hipótesis físicas, realizar cálculos y contrastar las condiciones necesarias para que se produjera aquella reacción.
Con la inteligencia artificial general nos enfrentamos a una dificultad diferente.
Todavía no existe una definición universalmente aceptada de AGI. No conocemos con certeza qué arquitecturas permitirían alcanzarla, qué capacidades emergerían ni cuáles serían los mecanismos de control suficientes.
Y, mientras debatimos estas cuestiones, seguimos construyendo sistemas cada vez más capaces. No creo que la conclusión razonable sea detener toda investigación. Tampoco creo que debamos aceptar que el progreso tecnológico justifica cualquier riesgo.
Lo que necesitamos es algo mucho menos espectacular que las promesas de una superinteligencia y bastante más difícil de conseguir: instituciones capaces de supervisar, mecanismos de seguridad verificables, responsabilidad sobre las decisiones y acuerdos que eviten convertir la prudencia en una desventaja competitiva.
Porque existe una diferencia fundamental entre asumir riesgos que comprendemos y asumir riesgos que todavía no sabemos evaluar.
El documental me ha dejado con una sensación incómoda. No es exactamente miedo a la inteligencia artificial.
Es la sospecha de que nuestra capacidad para construir tecnología está avanzando más deprisa que nuestra capacidad colectiva para gobernarla.
Y para muestra un botón, cuando le preguntan a Dario Amodei o Sam Altman a quién llamarían si todo sale mal, no es a los Caza Fantasmas, a punta al gobierno de los EE.UU.
Y quizá esa sea la verdadera pregunta que deberíamos hacernos. No si la inteligencia artificial nos conducirá al paraíso o al apocalipsis.
Sino si seremos capaces de decidir nuestro futuro antes de que otros terminen decidiéndolo por nosotros.
Porque la última vez que jugamos a ser dioses, la atmósfera no se incendió.
Pero esta vez, todavía estamos intentando comprender las reglas del juego.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD. De Oppenheimer a la superinteligencia: cuando el progreso nos da miedo.
La historia de la bomba atómica y el futuro de la inteligencia artificial comparten una pregunta inquietante: ¿qué ocurre cuando somos capaces de crear algo cuyas consecuencias no podemos controlar completamente?
Para profundizar en este dilema, os recomiendo cuatro lecturas:
The Making of the Atomic Bomb, de Richard Rhodes. Una reconstrucción monumental del Proyecto Manhattan, sus protagonistas y los dilemas científicos y morales que acompañaron el nacimiento de la era nuclear. Ganador del Pulitzer de 1988.
Guerra nuclear: un escenario, de Annie Jacobsen. Una investigación que reconstruye, minuto a minuto, cómo una decisión militar podría desencadenar una catástrofe nuclear. Un recordatorio de que el riesgo tecnológico no desaparece simplemente porque aprendamos a convivir con él.
If Anyone Builds It, Everyone Dies, de Eliezer Yudkowsky y Nate Soares (2025). Una de las visiones más inquietantes sobre el futuro de la IA. Sus autores argumentan que desarrollar una superinteligencia sin haber resuelto el problema de la alineación podría conducir a la extinción humana. Una lectura provocadora que plantea si estamos asumiendo riesgos que ninguna generación debería poder imponer a las siguientes.
El imperio de la IA, de Karen Hao (2025). Una investigación sobre OpenAI, Sam Altman y las dinámicas de poder que están configurando la industria de la inteligencia artificial. Más allá de los riesgos técnicos, examina los incentivos económicos, la concentración de recursos y las tensiones entre seguridad y competencia comercial. Porque quizá el problema no sea únicamente qué inteligencia estamos construyendo, sino quién controla su desarrollo.
Cuatro libros, dos revoluciones tecnológicas y una misma advertencia: que seamos capaces de construir algo no significa necesariamente que sepamos gobernarlo.
🎱 PD2. ¿Nos salvará la inteligencia artificial? Pregúntale a la bola mágica
Después de escuchar a los mayores expertos del mundo debatir sobre si la inteligencia artificial nos conducirá a una nueva era de prosperidad o a nuestra propia extinción, quizá haya llegado el momento de recurrir a un método de predicción algo más tradicional.
¿Recordáis aquella bola de billar negra que aparecía en tantas películas americanas? Le haces una pregunta, la agitas y una misteriosa respuesta aparece en su interior.
¿Alcanzaremos la superinteligencia antes de 2030? ¿Conseguiremos mantenerla bajo control? ¿Nos sustituirán las máquinas?
Si ni Sam Altman, Demis Hassabis o Yoshua Bengio se ponen de acuerdo, siempre podemos consultar a la bola mágica de las respuestas. Y aquí la original ;)