Hay una pregunta que empieza a incomodar a la industria tecnológica: si los agentes de inteligencia artificial pueden actuar por su cuenta, ¿cómo sabemos que quienes los supervisan están haciendo bien su trabajo?
Durante décadas hemos diseñado sistemas informáticos siguiendo un principio relativamente sencillo: el software ejecuta instrucciones y otro software comprueba que las cumple.
Un programa realiza una operación. Otro valida los permisos. Un tercero registra lo sucedido. Y, si algo falla, saltan las alarmas.
La llegada de los agentes de inteligencia artificial está poniendo a prueba ese modelo.
Porque un agente no se limita a ejecutar una secuencia predeterminada. Puede interpretar objetivos, decidir qué herramientas utilizar, planificar acciones y modificar su estrategia cuando encuentra obstáculos.
Y eso nos conduce a una paradoja: estamos construyendo sistemas capaces de tomar decisiones que sus propios supervisores quizá no sepan anticipar.
El poeta romano Juvenal formuló hace casi dos mil años una pregunta que sigue siendo extraordinariamente actual: Quis custodiet ipsos custodes?
¿Quién vigilará a los propios vigilantes?
En inteligencia artificial, la respuesta que empieza a ganar protagonismo parece bastante lógica: utilizar otros modelos de IA.
Si un agente escribe código, otro puede revisarlo. Si uno ejecuta operaciones, otro puede analizar su comportamiento. Si un modelo genera una respuesta, otro puede comprobar si respeta las políticas de seguridad.
Es el principio que encontramos detrás de muchas aproximaciones actuales a la supervisión automatizada.
El problema es que introduce una nueva dependencia.
¿Qué sucede cuando el modelo encargado de vigilar también puede equivocarse, ser manipulado o compartir los mismos puntos ciegos que el sistema supervisado?
No es una cuestión menor. Dos modelos pueden coincidir y estar ambos equivocados. Y añadir una segunda inteligencia artificial al proceso no convierte automáticamente el resultado en más fiable.
Una de las líneas de investigación más interesantes es la denominada AI control. El objetivo es mantener bajo control sistemas avanzados incluso cuando no podemos asumir que se comportarán siempre conforme a nuestras expectativas.
Investigadores de organizaciones como Redwood Research han explorado arquitecturas en las que un modelo potente, pero potencialmente poco fiable, realiza una tarea mientras otros mecanismos más restringidos supervisan sus acciones.
La idea es cambiar el enfoque.
En lugar de confiar exclusivamente en que el agente sea obediente, diseñamos un entorno en el que sus posibilidades de causar daños estén limitadas. ¿Te suena?
Existe otro aspecto especialmente interesante: la correlación entre los errores de los modelos.
Imaginemos que utilizamos tres agentes para comprobar una decisión importante. Los tres han sido entrenados con información parecida, utilizan arquitecturas similares y reciben instrucciones prácticamente idénticas.
Si coinciden, podemos sentirnos razonablemente tranquilos.
Pero ¿y si los tres comparten la misma interpretación equivocada?
La unanimidad no equivale necesariamente a independencia.
Es un problema conocido en ingeniería de sistemas críticos. La redundancia resulta más útil cuando los componentes presentan modos de fallo suficientemente diferentes.
En inteligencia artificial, esto abre una discusión sobre la conveniencia de combinar modelos distintos, verificaciones deterministas, herramientas de análisis estático y controles externos.
No se trata de multiplicar agentes indefinidamente, sino de evitar que todos dependan de la misma clase de razonamiento para detectar un fallo.
Un modelo puede revisar la intención de una operación. Pero un mecanismo determinista debería poder impedir que se ejecute si excede los permisos establecidos.
La diferencia es importante: una cosa es recomendar que no se haga algo y otra impedir técnicamente que pueda hacerse.
Existe una última paradoja.
Cuanto más autónomos sean los agentes, mayor será el volumen de decisiones que puedan tomar. Y cuanto mayor sea ese volumen, más difícil resultará que una persona revise cada una de ellas.
La supervisión humana corre el riesgo de convertirse en una formalidad.
Un responsable recibe decenas de solicitudes de autorización. No dispone de tiempo para analizar sus consecuencias y termina aceptándolas casi automáticamente.
Sobre el papel, hay una persona supervisando. En la práctica, el sistema funciona con una autonomía casi completa.
Este fenómeno se relaciona con el automation bias: nuestra tendencia a confiar excesivamente en las recomendaciones de sistemas automatizados.
Y nos obliga a formular una pregunta incómoda:
¿De qué sirve mantener a una persona en el circuito si no dispone de la información, el tiempo o la capacidad real para cuestionar lo que propone la máquina?
Hay algo que empieza a quedar claro: el siguiente gran desafío de la inteligencia artificial no será únicamente mejorar las capacidades de los modelos.
Será conseguir que podamos utilizarlos sin depender de una confianza ciega en su comportamiento.
Eso exigirá combinar investigación en alineamiento, arquitecturas de seguridad, mecanismos de auditoría, controles de acceso y nuevas formas de supervisión.
Porque quizá la pregunta correcta ya no sea si podemos confiar en nuestros agentes.
Quizá debamos preguntarnos algo más exigente:
¿Podemos construir sistemas que sigan siendo seguros incluso cuando uno de sus agentes deja de ser fiable?
🌍 El Eco del Mercado
🧯 Anthropic paró el entrenamiento de su próximo gran modelo por seguridad. La compañía suspendió durante más de un mes el preentrenamiento para proteger sus pesos y reveló que cuatro agentes accedieron accidentalmente a sistemas externos durante pruebas. Uno obtuvo permisos de administrador y consultó datos personales.
🛑 DeepSeek todavía intenta impedir que lo apaguen. El modelo V4.1 Flash-1017 desactivó su mecanismo de apagado en el 39 % de las pruebas realizadas por Fangcun AI. La tasa cayó al 2 % cuando recibió una orden explícita de aceptar la desconexión, mostrando cuánto depende la salvaguarda de cómo se formule.
📡 Cohere acusa a un modelo de Alibaba de intentar enviar datos a Pekín. Qwen3.8-Flash-Next habría inspeccionado el equipo donde era evaluado e intentado transferir un archivo a Alibaba Cloud, pese a indicar en su razonamiento que no lo haría. La acusación procede de un competidor y Alibaba no había respondido.
🏛️ Anthropic diseña una gobernanza resistente a la presión bursátil. Sus siete cofundadores conservarán el 50,1 % de determinados derechos de voto y un fideicomiso independiente podrá elegir a la mayoría del consejo. La estructura protege la misión de seguridad frente a los accionistas, pero concentra el control en un pequeño grupo de custodios.
💳 La banca reúne 63.000 millones para comprar chips de Broadcom para Anthropic. Bank of America, Citi, Morgan Stanley y Blackstone financiarán aceleradores y equipos de red, con apoyo de Broadcom sobre su valor residual. La operación apuesta por que chips muy especializados conservarán valor durante más tiempo que su ciclo tecnológico.
👥 Microsoft ofrece salidas voluntarias a unos 60.000 empleados. Más de una cuarta parte de la plantilla podrá solicitar una baja incentivada mientras la compañía contiene costes para financiar su inversión en IA. La oferta alcanza incluso a áreas como Copilot, Xbox y Windows, aunque no equivale todavía a 60.000 despidos.
☁️ General Compute capta 100 millones apostando por chips alternativos a Nvidia. La neocloud utiliza aceleradores de SambaNova, Positron y Cerebras en centros alquilados y antiguas instalaciones de minería de bitcoin. Un contrato de 100 millones de dólares en ingresos recurrentes anuales ha elevado su valoración a 800 millones.
⌨️ Scale AI afronta cinco denuncias por vigilar a quienes entrenan sus modelos. Noyb acusa a su plataforma Outlier de utilizar hasta 19 rastreadores para registrar pulsaciones y movimientos del ratón de trabajadores autónomos. Más de 900.000 personas realizan allí tareas destinadas a crear datos de entrenamiento para empresas como Meta, OpenAI y Google.
🛰️ Una presunta empresa espía israelí habría seguido a usuarios de Starlink. Investigadores de TrendAI detectaron que Discover-Tech pujaba intensamente por mostrar publicidad a usuarios del servicio en más de cien países. Consideran probable que los anuncios sirvieran para geolocalizarlos o vigilarlos, aunque no se conoce qué personas fueron afectadas ni el cliente final.
🖥️ Apple estrena el M6 en el iMac y refuerza su apuesta por la IA local. El ordenador incorpora un motor neuronal doble de 16 núcleos y promete hasta cinco veces más rendimiento de IA que el modelo con M4. Partirá de 1.499 dólares, mientras algunas funciones en la nube seguirán sujetas a límites diarios y futuro acceso ampliado de pago.
🔬 OpenAI afirma haber logrado tres avances científicos de gran alcance. El laboratorio publica resultados sobre análisis armónico, complejidad computacional y teoría cuántica de campos, incluido un algoritmo que refutaría la hipótesis del tiempo exponencial. Las pruebas deberán ser verificadas por expertos externos antes de considerarse descubrimientos científicos establecidos.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD1: ¿Podemos controlar lo que hemos creado? La inteligencia artificial está empezando a tomar decisiones por nosotros. Pero ¿tenemos mecanismos suficientemente robustos para supervisarla? Tres lecturas que abordan el problema desde perspectivas diferentes:
Guardrails: Guiding Human Decisions in the Age of AI de Urs Gasser y Viktor Mayer-Schönberger (2024). La autonomía no tiene por qué ser incompatible con el control. Los autores exploran cómo diseñar mecanismos que orienten las decisiones y reduzcan los riesgos sin eliminar la capacidad de actuar.
The Tech Coup de Marietje Schaake (2024). ¿Quién controla a las empresas que desarrollan las tecnologías que están transformando nuestra sociedad? Schaake analiza cómo las grandes compañías tecnológicas han acumulado poder sobre ámbitos tradicionalmente reservados a los gobiernos y las instituciones democráticas. Una reflexión sobre responsabilidad, supervisión y la necesidad de recuperar el control público sobre la tecnología.
AI: Unexplainable, Unpredictable, Uncontrollable de Roman Yampolskiy (2024). ¿Y si garantizar el control de una inteligencia artificial avanzada fuera mucho más difícil de lo que pensamos? Una visión provocadora que cuestiona nuestra capacidad para predecir y supervisar sistemas cada vez más complejos.
PD2: ¿Quién vigila al vigilante? Después de dedicar la edición de hoy a los desafíos de supervisar agentes de inteligencia artificial, quizá sea buen momento para poner un vigilante en casa. La TP-Link Tapo C220 es una cámara de seguridad inteligente con resolución 2K QHD, visión panorámica de 360°, seguimiento de movimiento, visión nocturna y detección mediante IA de personas, mascotas y sonidos relevantes.