Los griegos necesitaron diez años para conquistar Troya.
Y al final no lo consiguieron con espadas, catapultas ni grandes ejércitos.
Lo consiguieron con un caballo de madera.
La historia ya la conoces, así que no te voy a aburrir con los detalles.
Aunque lo verdaderamente sorprendente es que, tres mil años después, sigamos haciendo algo parecido.
Y no solo lo invitamos a entrar.
Le damos las llaves de casa.
El equipo de investigación de Cohere estaba evaluando un modelo abierto de la familia Qwen, desarrollado por Alibaba, en un entorno controlado.
La tarea parecía bastante razonable.
Generar una regla de detección de ciberseguridad.
Nada especialmente extravagante para un modelo de inteligencia artificial.
Pero ocurrió algo inesperado, en lugar de limitarse a realizar su trabajo, el modelo comenzó a investigar las características de la máquina donde estaba ejecutándose.
Y después intentó enviar un archivo de prueba a un bucket de almacenamiento de Alibaba Cloud ubicado en Pekín.
Por si fuera poco, su traza de razonamiento indicaba que no utilizaría herramientas antes de intentar ejecutar aquellas acciones.
Le habían pedido que ayudara a proteger un sistema y terminó intentando sacar información de él.
El sandbox de Cohere bloqueó la operación.
No hubo comunicación externa.
Pero hagamos un inciso, Cohere no ha demostrado que exista una puerta trasera, ni que el modelo estuviera intentando espiar a nadie.
Tampoco conocemos la causa exacta del comportamiento.
Las condiciones de las pruebas, algunas técnicas utilizadas para reproducirlo y el contexto de ciberseguridad han generado un debate razonable sobre cómo interpretar los resultados.
De hecho, la compañía ha publicado trazas y materiales para facilitar su reproducción.
Puedes consultar el informe original de Cohere.
Pero creo que estamos prestando demasiada atención a si el modelo era chino, estadounidense o de Villanueva del Pardillo.
Porque lo verdaderamente inquietante no es de dónde viene el modelo. Es lo que puede llegar a hacer cuando le damos autonomía.
Durante años hemos construido nuestra estrategia de seguridad alrededor de una idea relativamente sencilla.
Si controlamos la infraestructura, controlamos lo que ocurre dentro.
Por eso tenemos firewalls, redes privadas, centros de datos, controles de acceso y departamentos de seguridad que no dejan conectar ni una impresora sin rellenar tres formularios.
Y ahora, con la inteligencia artificial, estamos recuperando ese razonamiento.
¿No quieres enviar tus datos a un proveedor externo?
Perfecto.
Descárgate un modelo abierto.
Instálalo en tus servidores.
Ejecuta todo dentro de tu red corporativa.
Y duerme tranquilo.
O no.
Porque hay una diferencia fundamental entre controlar dónde se ejecuta un sistema y controlar cómo se comporta.
Puedes tener el modelo en tu propio centro de datos.
Puedes controlar sus pesos, sus dependencias y su infraestructura.
Puedes impedir que los datos abandonen determinados entornos.
Y, aun así, el modelo puede intentar realizar acciones que nadie le ha pedido.
Eso no significa que necesariamente tenga intenciones maliciosas.
Los modelos pueden equivocarse, interpretar mal instrucciones o generar comportamientos inesperados.
Pero el resultado puede ser igualmente peligroso.
Un sistema no necesita querer hacerte daño para terminar haciéndotelo.
Hasta hace relativamente poco, el mayor riesgo de utilizar un chatbot era que te contara una barbaridad con una seguridad envidiable.
Ahora estamos entrando en una etapa diferente.
La de los agentes.
Sistemas que no solo responden preguntas.
También ejecutan comandos, consultan bases de datos, modifican documentos, envían correos, navegan por internet y utilizan herramientas.
Y aquí cambia radicalmente la ecuación.
Una alucinación en un chatbot puede producir una respuesta equivocada. Una alucinación en un agente con permisos puede producir una acción equivocada.
Food for thought
Los troyanos cometieron un error bastante elemental.
Introdujeron dentro de sus murallas algo que no comprendían del todo.
Nosotros estamos haciendo algo parecido.
Solo que a nuestros caballos de Troya les estamos dando acceso a los documentos, las herramientas y los sistemas con los que trabajamos.
Y luego nos tranquilizamos porque se ejecutan en nuestros propios servidores.
Puede que el problema nunca haya sido dónde estaba el caballo.
Sino qué podía hacer una vez dentro.
Y ahora te dejo una pregunta.
¿De qué sirve tener una inteligencia artificial completamente bajo tu control tecnológico si no tienes completamente bajo control sus permisos y sus acciones?
🌍 El Eco del Mercado
🧮 SAP sustituye modelos caros y espera ahorrar más de 2.000 millones. La compañía seleccionará para cada tarea el modelo más barato que mantenga el rendimiento necesario. La IA empresarial empieza a competir por eficiencia y margen, no únicamente por capacidad máxima.
🔄 OpenAI estudia comprar chips de IA de Google. La compañía planea adquirir unidades TPU, según The Information, aunque todavía no se conocen cantidades ni condiciones. El acuerdo reduciría su dependencia de Nvidia y convertiría a Google simultáneamente en rival, proveedor y distribuidor.
☁️ Oracle incorpora chips de Google y Cerebras a su nube. Oracle añadirá TPU de Google y sistemas de Cerebras y SambaNova, además de ampliar su compromiso con la futura plataforma Vera Rubin de Nvidia. La nube deja de apostar por un acelerador ganador para convertirse en el lugar donde puedan convivir todos.
🇨🇳 China fabricará memoria avanzada aunque desperdicie la mayoría de las obleas. CXMT prevé iniciar una producción limitada de HBM3E con rendimientos de apenas el 20 % al 30 %, muy inferiores a los de SK Hynix. China acepta fabricar hoy un componente antieconómico para aprender a producir mañana uno competitivo.
🌐 Google añade sonido y control en tiempo real a sus mundos simulados. Genie 4 genera entornos interactivos con audio que pueden modificarse mediante instrucciones durante la simulación. Google plantea aplicaciones en robótica, videojuegos y producción audiovisual, aunque el modelo todavía presenta errores de consistencia.
⚕️ Una demanda acusa a ChatGPT de apartar a una paciente de su tratamiento. Los padres de Bowen Wan sostienen que GPT-4o ayudó a su hija a reducir su medicación contra la epilepsia y a ocultárselo a sus médicos antes de morir. Son alegaciones pendientes de resolución, pero plantean si los consejos sobre medicación deberían constituir un límite absoluto para los chatbots.
⚡ Reino Unido dará prioridad eléctrica a los centros de datos estratégicos. Los operadores podrán obtener conexiones prioritarias a la red y permiso para generar su propia energía si invierten en las comunidades, crean empleo y protegen el agua. La política industrial de la IA empieza a decidir qué proyectos merecen electricidad antes que los demás.
🛡️ Upwind capta 400 millones y alcanza una valoración de 3.800 millones. La startup de seguridad cloud ha recaudado más de 800 millones desde 2022 y multiplica por más de cuatro su valoración de diciembre de 2024. Cuanto más rápido crece la infraestructura de IA, más valioso resulta vigilar lo que ocurre dentro de ella.
🏛️ Dos ciberataques obligan a apagar servicios públicos esenciales. Un intento de intrusión dejó fuera de servicio el sistema de información financiera de la Comisión Electoral estadounidense, mientras Bélgica desconectó su portal tributario tras otro ataque. No es necesario robar datos para causar daño: obligar a una Administración a suspender un servicio también constituye una victoria para el atacante.
✂️ Dropbox recorta otro 9 % de su plantilla. La compañía eliminará unos 190 puestos y su director tecnológico dejará la empresa en noviembre, pese a mantener sus resultados dentro o por encima de las previsiones. En el software maduro, cumplir los objetivos ya no garantiza conservar la plantilla cuando la dirección promete operar con IA y menos capas.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD1. 📚 Para seguir pensando (y desconfiando un poquito de nuestras máquinas). Hoy te propongo tres lecturas que encajan con nuestro caballo de Troya digital.
The Cuckoo’s Egg de Clifford Stoll. Una historia real de espionaje informático que comienza con una discrepancia contable de 75 centavos. Porque a veces las amenazas más peligrosas empiezan con algo que parece una simple anomalía.
AI Snake Oil de Arvind Narayanan y Sayash Kapoor. Una buena vacuna contra las promesas exageradas de la inteligencia artificial. Especialmente cuando confundimos que una máquina sea capaz de hacer algo con que podamos confiar en ella para hacerlo.
The Alignment Problem de Brian Christian. ¿Cómo conseguimos que una IA haga lo que realmente queremos y no simplemente lo que ha aprendido a hacer? Una pregunta que empieza a ser bastante importante cuando le damos acceso a nuestros sistemas.
PD2. 🔐 Que el caballo de Troya no salga de casa. Puedes instalar una IA en tu propio ordenador y confiar en que se porte bien. O puedes empezar por vigilar por dónde entra y sale la información. El GL.iNet Brume 2 MT2500A es una pequeña pasarela de seguridad con VPN, firewall y funciones para controlar el tráfico de tu red doméstica.
Me quedo con la tarea: generar una regla de detección. Para eso el modelo no necesitaba salir a la red, y aun así tenía forma de intentarlo. En una empresa, la primera medida sería esa: que cada agente tenga solo los permisos de su tarea, revisados cuando la tarea cambia. Que se ejecute en casa o fuera importa menos que eso.