La IA no entiende las decisiones difíciles
Diario de Innovación #365
Quizá estamos empezando a entender que inteligencia y juicio no son la misma cosa.
Porque un sistema puede: razonar, calcular, optimizar, planificar y tomar decisiones complejas… sin comprender realmente el peso humano de esas decisiones.
Hace unos días leía un paper fascinante titulado AI Agents and Hard Choices.
Y creo que toca una de las preguntas más profundas de toda la era agentica.
Porque los agentes empiezan a ejecutar acciones reales.
Ya no solo generan texto.
Empiezan a: tomar decisiones, coordinar workflows, asignar recursos, negociar objetivos, priorizar riesgos, operar sistemas complejos e incluso actuar en nuestro nombre.
Y ahí aparece un problema enorme.
Los humanos vivimos rodeados de decisiones difíciles.
No difíciles porque nos falte información.
Difíciles porque algunos valores chocan entre sí.
Libertad o seguridad.
Equidad o eficiencia.
Velocidad o riesgo.
Lealtad o ambición.
Privacidad o personalización.
Y muchas veces no existe una fórmula objetiva para resolver ese conflicto.
El paper usa un ejemplo clásico de Sartre.
Un estudiante debe decidir entre quedarse cuidando a su madre enferma o unirse a la resistencia francesa para luchar contra los nazis.
Incluso con toda la información disponible, la decisión sigue siendo terrible.
Porque el problema no es la incertidumbre.
El problema es que estamos intentando comparar valores humanos que no encajan limpiamente dentro de una misma escala.
Y aquí llega la idea realmente importante del paper.
Los agentes actuales no entienden este tipo de decisiones.
Porque están diseñados para optimizar.
Siempre.
Da igual si hablamos de: conducción autónoma, asignación de recursos, sistemas financieros, recommendation systems o agentes empresariales.
Todo termina reduciéndose a lo mismo: una función objetivo, maximizar o minimizar. Un sistema de pesos. Una optimización matemática.
El agente convierte múltiples objetivos en un único valor numérico… y elige el adecudo.
Pero precisamente ahí aparece la grieta filosófica.
Porque los humanos no siempre hacemos eso.
A veces dudamos.
A veces deliberamos durante semanas.
A veces sentimos que ninguna opción termina de ser correcta.
Y esa duda no es un bug, pero a lo mejor si que es una feature de nuestra propia naturaleza (sistema).
Quizá es una parte esencial del juicio humano.
El paper plantea algo fascinante: los agentes no pueden realmente reconocer cuándo una decisión es moralmente irresoluble.
No distinguen entre:
una decisión claramente correcta,
una decisión arbitraria,
o una decisión donde varios valores humanos legítimos entran en conflicto.
Simplemente calculan. Incluso cuando parecen “razonar”.
Porque aunque un LLM pueda explicarte brillantemente un dilema moral, eso no significa que esté viviendo el conflicto.
No siente el peso de la decisión.
No experimenta tensión moral.
No redefine quién es a través de la deliberación.
Solo predice la siguiente secuencia más probable.
Y quizá esto tiene implicaciones enormes para el futuro de la IA agentica.
Porque durante mucho tiempo pensamos que el alignment consistía en encontrar los valores correctos.
Pero quizá el problema real es otro.
Quizá muchas veces no existe, porque no existe una única jerarquía válida de valores, una única función objetivo correcta, ni una única respuesta moralmente óptima.
Y eso convierte el alignment en algo mucho más complejo que un problema de ingeniería.
Lo convierte en un problema filosófico, político, humano.
Especialmente ahora que empezamos a delegar decisiones reales en agentes autónomos.
Porque una cosa es pedirle a un modelo que redacte un email.
Y otra muy distinta permitirle decidir: cómo distribuir riesgos, qué objetivos priorizar, qué trade-offs aceptar o qué valores sacrificar.
De hecho, el propio paper plantea una idea bastante incómoda: quizá haya decisiones que nunca deberíamos automatizar completamente.
Y cuanto más avanzan los agentes, más importante empieza a ser esa pregunta.
Porque tal vez el mayor riesgo de la IA no sea que piense como nosotros.
Sino que terminemos nosotros pensando como ella: confundiendo cálculo con juicio,
velocidad con sabiduría y optimización con verdad.
🌍 El eco del mercado
🛡️ Los agentes ya necesitan ciberseguridad propia. Empiezan a aparecer herramientas y arquitecturas pensadas específicamente para observar, limitar y proteger agentes autónomos. Igual que nacieron DevOps o SecOps cuando cambió el software, empieza a aparecer una nueva disciplina para controlar sistemas que actúan.
⚖️ La siguiente batalla de la IA no será construir agentes: será demostrar que obedecen. Empiezan a aparecer marcos de control para ejecutar agentes autónomos con trazabilidad, permisos, límites operativos y supervisión continua. El paralelismo con Kubernetes o Zero Trust no es casual: cuando el software empieza a actuar, deja de bastar con observar resultados.
El mercado empieza a asumir que los agentes necesitarán una capa propia de runtime, auditoría y control, igual que ocurrió con contenedores, APIs o identidades. El coste oculto de la IA empresarial puede acabar estando más en gobernarla que en ejecutarla.
🔐 Meta descubre que el soporte con IA también puede convertirse en superficie de ataque. Investigadores lograron inducir al sistema de asistencia de Meta para facilitar accesos a cuentas de Instagram. El incidente recuerda algo incómodo: cuando automatizas decisiones sensibles, amplías el perímetro de ataque.
🧊 Intel quiere cambiar las reglas: menos calor, menos coste, misma carrera. Intel prepara una nueva ofensiva en chips para IA con foco menos espectacular pero más importante: eficiencia térmica y coste operativo. La carrera deja de medirse solo en FLOPS.
⚠️ La siguiente vulnerabilidad ya no espera al parche. La discusión sobre modelos frontier y explotación autónoma de vulnerabilidades empieza a cambiar el calendario de seguridad. El tiempo entre descubrimiento y explotación se estrecha.
🌐 Microsoft apunta al fin del desarrollo “code-first”. Las expectativas alrededor de Build 2026 apuntan a una transición donde el desarrollador describe intención y el sistema construye.
🧠 Tencent prepara el movimiento que puede cambiar la distribución de agentes. Llevar agentes directamente al ecosistema de WeChat significa una cosa: la batalla ya no será quién tiene el mejor modelo, sino quién controla el punto de entrada.
🏢 La empresa empieza a construir una capa de IA paralela al software tradicional. Snowflake y Anthropic aceleran acuerdos para acercar modelos avanzados directamente al dato empresarial. El movimiento no va de añadir IA: va de convertir el dato en entorno operativo.
📡 La conectividad cuántica empieza a salir del laboratorio. Xairos demuestra enlaces cuánticos seguros en espacio libre sin depender de GPS ni fibra. Parece un avance pequeño. Pero no lo es. Si escala podría hacer que verticales como defensa, finanzas y telecom podrían rediseñar parte de sus infraestructuras críticas.
⚙️ La IA ya no solo escribe software: empieza a optimizar cómo se crea. Aparecen frameworks capaces de ajustar automáticamente datos, arquitecturas y entrenamiento superando configuraciones humanas.
🧮 La frontera ya no está en hablar mejor: está en razonar más lejos. OpenAI vuelve a empujar el límite en capacidades matemáticas y razonamiento avanzado. La señal importante no es el benchmark: es que cada salto de capacidad empieza a abrir nuevas categorías de automatización que antes seguían reservadas al trabajo altamente especializado.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD: Si te interesa esta mezcla entre IA, filosofía, decisiones humanas y los límites de la optimización, te recomiendo especialmente algunos libros que orbitan alrededor de estas ideas:
Human Compatible de Stuart Russell, probablemente una de las mejores reflexiones sobre el problema del alignment y por qué definir objetivos para una IA es mucho más difícil de lo que parece.
Hard Choices de Ruth Chang, sobre cómo los humanos afrontamos decisiones donde no existe una respuesta correcta única.
Algorithms to Live By, que explora qué ocurre cuando intentamos aplicar lógica computacional a decisiones humanas.
Thinking in Bets de Annie Duke, brillante para entender cómo convivir con incertidumbre, trade-offs y decisiones imperfectas.
You Are Not a Gadget de Jaron Lanier, una crítica muy potente a la tendencia tecnológica de reducir lo humano a sistemas computables y optimizables.