Cuando la IA tenga razón ya no será suficiente
Diario de Innovación #370
Hay una idea que me ronda la cabeza desde hace días.
Imagina un juicio.
El fiscal presenta una prueba demoledora.
Parece concluyente.
Todo encaja.
Pero entonces alguien hace una pregunta incómoda: ¿Podemos demostrar de dónde salió esta prueba y quién tuvo acceso a ella desde el principio?
Y de repente ya no importa tanto que la conclusión parezca correcta.
Importa la cadena de custodia.
Porque si no puedes demostrar que el proceso fue limpio, tampoco puedes confiar del todo en el resultado.
Creo que estamos empezando a entrar exactamente en esa fase con la inteligencia artificial.
Durante los últimos años hemos hablado mucho de tres grandes ideas.
Ética.
Seguridad.
Alineamiento.
La pregunta era:
¿Hace cosas buenas?
¿Evita hacer daño?
¿Hace lo que queremos?
Y tiene sentido.
Pero hay una crítica interesante que plantea un paper reciente sobre gobernanza de IA: todas esas aproximaciones tienen algo en común.
Miran el resultado. No el razonamiento.
Y eso empieza a ser un problema.
Porque hasta ahora la IA recomendaba.
Ahora empieza a decidir.
Aprueba gastos.
Prioriza clientes.
Escala incidencias.
Sugiere despidos.
Selecciona proveedores.
Coordina agentes.
Actúa.
Y cuanto más cerca está del botón de ejecutar, menos suficiente resulta decir: “Tranquilos, normalmente funciona”.
El paper propone un concepto nuevo: AI Integrity.
La idea es sencilla de explicar.
No basta con alinear un modelo una vez.
Hay que poder verificar continuamente cómo razona.
Trazabilidad.
Integridad epistemológica.
Protección frente a manipulación.
Verificación continua.
No preguntarte solo: “¿Ha acertado?”
Sino: “¿Qué valores usó?”, “¿Qué evidencia consideró válida?”, “¿Qué fuentes priorizó?” o “¿Qué datos descartó?”
Para aterrizarlo, el paper propone una estructura llamada Authority Stack.
Una especie de pila de decisión:
Valores → Evidencia → Fuentes → Datos.
Primero decides qué importa.
Después qué cuenta como prueba.
Después en quién confías.
Y solo entonces qué información entra realmente en el sistema.
Parece obvio.
Pero si lo piensas un segundo… es exactamente como tomamos decisiones los humanos.
Y también exactamente donde nos equivocamos.
Dos personas pueden tener acceso a los mismos datos.
Y llegar a conclusiones opuestas.
No porque una mienta.
Sino porque priorizan cosas distintas.
Lo interesante es que el paper introduce una idea todavía más incómoda.
Lo llaman Integrity Hallucination.
Situaciones donde la IA genera respuestas aparentemente coherentes… pero cuando cambias ligeramente el contexto, cambia completamente el criterio aplicado.
No porque haya aprendido algo nuevo.
Sino porque quizá nunca existió un criterio estable.
Solo reconocimiento estadístico de patrones.
Y aquí aparece una consecuencia enorme para empresa.
Durante años hemos tratado la IA como software.
Pero quizá el modelo mental correcto sea otro.
Quizá la IA se parezca más a un auditor.
O a un comité.
O a una junta directiva.
No le pides que siempre tenga razón. Le pides que puedas reconstruir por qué decidió eso.
Porque cuando llegue el primer gran incidente de agentes autónomos en empresa, nadie preguntará qué modelo era.
Preguntarán: ¿Quién autorizó esa decisión?, ¿qué evidencia usó? o sí ¿Podemos reproducir?
Y aquí viene la parte incómoda.
El propio paper reconoce algo muy importante.
Una IA perfectamente íntegra también podría estar perfectamente equivocada.
La integridad no garantiza verdad.
Solo elimina la magia.
Hace visible el razonamiento.
Y quizá eso sea suficiente.
Porque una decisión equivocada pero explicable se puede corregir.
Una decisión correcta pero incomprensible se convierte en dependencia.
Tengo la sensación de que dentro de unos años dejaremos de comprar IA como hoy.
No preguntaremos solo: ¿qué benchmark tiene? ¿cuántos tokens procesa? o ¿qué coste tiene?
Preguntaremos: ¿puedo auditar cómo piensa?
Porque si una decisión no puede explicarse, quizá nunca debió automatizarse.
🌍 El eco del mercado
🧠 Anthropic deja de vender modelos y empieza a diseñar mundos. Anthropic ha presentado dos movimientos que, vistos juntos, cuentan una historia más interesante que cada lanzamiento por separado.
Por un lado aparece Fable 5, un modelo capaz de generar videojuegos funcionales prácticamente con una instrucción. No hablamos solo de generar assets o código: hablamos de crear experiencias completas, iterables y jugables. El objetivo ya no parece acelerar desarrollo; empieza a parecer reducir el coste de crear universos digitales.
Por otro lado llega Mythos, presentado como una nueva frontera experimental con acceso limitado en tiempo y monetización posterior. El movimiento recuerda menos a un lanzamiento tradicional y más a una estrategia de “prueba controlada”: generar adopción, observar comportamiento y convertir capacidad diferencial en producto premium.
Pero lo más interesante quizá no sea ninguna de las dos cosas.
Anthropic también ha confirmado restricciones deliberadas sobre ciertos dominios sensibles —ciberseguridad, biología y química— donde el sistema directamente evita entrar.
Y ahí aparece el verdadero cambio.
Durante años la carrera fue: quién entrena el modelo más capaz.
Ahora empieza otra: quién construye el entorno operativo más gobernable.
No basta con que un modelo genere software, juegos o decisiones. Hay que decidir qué partes del espacio de posibilidades quedan fuera.
Lectura estratégica: la siguiente generación de plataformas IA no competirá solo por inteligencia. Competirá por tres capas simultáneas: capacidad + entorno creativo + perímetro de seguridad. Más que un chatbot mejor, Anthropic parece querer convertirse en un sistema operativo para crear… con límites incorporados.
🧠 La IA barata puede acabar siendo más disruptiva que la IA más potente. Durante dos años el mercado asumió que ganar en IA significaba entrenar modelos cada vez más grandes, consumir más compute y levantar más centros de datos.
Pero empieza a aparecer una pregunta incómoda. ¿Y si la ventaja no está en tener el modelo más potente sino el suficientemente bueno al menor coste posible? Menos coste por inferencia significa más adopción, más integración y más presión sobre quienes justifican valor únicamente por escala de entrenamiento.
🌊 China convierte el mar en una nueva capa de infraestructura digital. Mientras medio sector debate energía, refrigeración y disponibilidad de suelo para centros de datos, China activa una idea distinta: llevar parte del problema bajo el agua. El primer centro de datos submarino operativo no es solo una curiosidad tecnológica.
🏫 Silicon Valley descubre que el tiempo de atención también era infraestructura. Documentos internos muestran algo incómodo: las plataformas sociales no solo competían por captar usuarios después del colegio. Diseñaron activamente experiencias para mantener el uso durante el horario escolar.
🗣️ La interfaz universal ya no quiere que aprendas idiomas… ni aplicaciones. Google ha presentado Gemini 3.5 Live Translate: traducción voz a voz en tiempo real manteniendo tono, ritmo y características de la voz original.
🏁 Meta reconoció una vulnerabilidad en su nueva capa de IA que dejó expuestas decenas de miles de cuentas de Instagram.
⚙️ Huawei deja de perseguir a NVIDIA y empieza a marcar su propio ritmo. Huawei anunció el Ascend 950DT mientras empieza a acelerar el ritmo de renovación de producto y construir un ecosistema cada vez más integrado alrededor de infraestructura IA.
🧬 La siguiente plataforma tecnológica podría construirse átomo a átomo Dos noticias alejadas en apariencia apuntan en la misma dirección.
Por un lado, investigadores del MIT han demostrado que ya es posible reorganizar decenas de miles de átomos dentro de un cristal sólido a temperatura ambiente con precisión extrema para crear materiales artificiales que no existen en la naturaleza.
Por otro, Life Biosciences ha administrado por primera vez una terapia experimental orientada a revertir envejecimiento celular asociado a pérdida de visión.
Una ocurre en materiales. La otra en biología.
Pero ambas comparten una idea: dejamos de observar sistemas complejos para empezar a reescribirlos. Igual que el software permitió programar ordenadores, empezamos a ver tecnologías capaces de programar materia y procesos biológicos.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD1. Si te interesa entender cómo construimos sistemas fiables cuando no podemos observarlo todo, te recomiendo Thinking in Systems, de Donella Meadows.
PD2. Otro libro que conecta muy bien con esta idea es The Black Swan, de Nassim Taleb. Mucha gente piensa que va sobre predicción. En realidad también va sobre la fragilidad de confiar en modelos que parecen funcionar.
PD3. Y uno menos obvio: Noise, de Daniel Kahneman, Olivier Sibony y Cass Sunstein. Porque antes de exigir consistencia a las máquinas quizá deberíamos preguntarnos cuánta consistencia tenemos nosotros.