Alinear la IA ya no significa hacerte caso
Diario de Innovación #375
Hay un cuento clásico que siempre vuelve cuando hablamos de tecnología.
El del genio de la lámpara, Aladino.
Tú pides un deseo.
El genio lo concede.
Y entonces descubres que el problema no era conseguir lo que querías.
El problema era haber formulado mal el deseo.
O no haber entendido sus consecuencias.
O no haber pensado en quién podía salir perjudicado.
Con los asistentes avanzados de inteligencia artificial, agentes, puede pasar algo parecido.
Durante años hemos pensado en la IA como una herramienta.
Un buscador mejorado.
Un corrector con esteroides.
Un chatbot que responde preguntas.
Pero el paper The Ethics of Advanced AI Assistants, de Google DeepMind y Google Research, plantea algo más serio: los próximos asistentes de IA no solo responderán. También podrán planificar, coordinar y ejecutar acciones en nuestro nombre.
Una cosa es pedirle a una IA que te resuma un texto.
Y otra muy distinta es pedirle que organice tu agenda, conteste correos, reserve tus vacaciones, filtre tus noticias, negocie una cita, prepare una reunión o te ayude a tomar decisiones profesionales.
En el primer caso tienes una herramienta.
En el segundo tienes un intermediario entre tú y el mundo.
Y cuando alguien se convierte en intermediario entre tú y el mundo, la pregunta importante deja de ser: “¿Funciona bien?”
Y pasa a ser: “¿Para quién y qué funciona bien?”
Quizá funcione muy bien para ti. Pero mal para otros.
Quizá funcione muy bien para la empresa que lo ha creado.
Pero no tan bien para tu autonomía.
Quizá funcione muy bien a corto plazo.
Pero te convierta poco a poco en alguien menos capaz de decidir, recordar, comparar o pensar por sí mismo.
Ese es uno de los puntos más interesantes del paper.
El alineamiento no puede significar simplemente “hacer lo que el usuario pide”.
Eso suena cómodo.
Suena comercial.
Suena a promesa perfecta.
“Tu asistente personal, siempre a tu servicio”.
Muy bonito.
Hasta que le pides que consiga el mejor precio posible y empieza a ocultar información.
O le pides que te mantenga informado y acaba construyendo una burbuja perfecta a medida de tus sesgos.
O le pides que te haga más productivo y termina convirtiéndose en el jefe invisible de tu día.
El paper propone una idea clave: el alineamiento de estos asistentes debe equilibrar varios polos. El usuario, el desarrollador, a sociedad en su conjunto; y el propio sistema, con sus capacidades, límites y posibles fallos.
Eso significa que un buen asistente no puede ser solo obediente. Tiene que ser responsable. Y esto incomoda a muchos.
Porque a todos nos gusta una tecnología que nos hace caso.
Lo difícil es aceptar una tecnología que, en determinados momentos, tenga que decirnos: “No deberías hacer eso”, “No tengo suficiente contexto”, “Esto puede perjudicar a otra persona” o “Esto quizá sea útil ahora, pero no bueno para ti a largo plazo”.
Por eso los benchmarks actuales se quedan cortos. No basta con medir si un modelo responde bien. No basta con saber si programa, resume o razona mejor que otro.
Un asistente puede sacar buena nota en un test y aun así hacer daño en la vida real.
Puede ser útil y generar dependencia; ser amable y manipular; ser eficiente y erosionar tu criterio.
Puede funcionar bien en una conversación aislada y volverse problemático cuando interactúa contigo durante meses con acceso a tu correo, calendario, historial, documentos, rutinas y objetivos.
La evaluación ya no puede quedarse en el modelo.
También debe mirar la relación entre usuario y asistente.
Y el impacto social de millones de asistentes negociando, filtrando, recomendando, convenciendo y actuando al mismo tiempo.
Porque el futuro de la IA no se jugará solo en tablas de rendimiento.
Se jugará en preguntas mucho más humanas.
¿Me ayuda a pensar o piensa por mí?
¿Me hace más capaz o más dependiente?
¿Me informa o me confirma?
¿Me da opciones o me empuja suavemente hacia una?
¿Trabaja para mí, para quien lo diseñó o para quien monetiza mi atención?
Por eso, antes de delegar tu vida, conviene decidir qué partes de tu vida no quieres delegar.
Una cosa es que un asistente te recuerde una cita. Otra, que module tus prioridades.
Una cosa es que te sugiera una respuesta. Otra, que empiece a hablar por ti.
Una cosa es que te ayude a ordenar el ruido. Otra, que termine ordenando tu criterio.
Alinear la IA ya no significa simplemente hacerte caso.
A veces significará justo lo contrario.
Recordarte que no todo deseo merece ser concedido.
Y que no toda comodidad es progreso.
🌍 El eco del mercado
🚀 SpaceX compra Cursor: el coding agent ya es infraestructura estratégica. SpaceX usa el impulso de su salida a bolsa para comprar Cursor por 60.000 millones de dólares. El movimiento convierte la programación asistida por IA en una pieza de control operativo, no solo en una herramienta para desarrolladores.
🏦 NVIDIA busca deuda: la IA se financia como industria pesada. NVIDIA prepara una emisión de deuda superior a 25.000 millones de dólares. La señal es clara: incluso el gran ganador del ciclo necesita capital masivo para sostener la expansión de la infraestructura IA.
⚡El límite de la IA empieza a ser el megavatio. Un reciente informe de Gartner apunta a que el crecimiento de los data centers podría frenarse por falta de energía hacia 2030. La escasez ya no está solo en GPUs o chips avanzados. Está en la red eléctrica.
☢️ Google invierte 1.500 millones en Alabama: el hyperscaler también quiere controlar la energía. Google amplía su campus de data centers en Alabama y se compromete a pagar el 100% de la energía que use. La pieza apunta incluso a respaldo nuclear.
🧩Salesforce compra Fin: la guerra de los agentes entra en fase de consolidación. Salesforce compra Fin por 3.600 millones para reforzar Agentforce. No es una compra aislada: es la absorción de una capa clave de automatización empresarial dentro de una suite dominante.
🕵️Las empresas creen controlar sus agentes, pero no saben quién los posee. La investigación de Ivanti recogida por VentureBeat muestra una brecha preocupante: muchos equipos de IT dicen tener controlados los agentes de IA, pero muchos menos saben realmente quién es su propietario.
🛡️Copilot sufre una vulnerabilidad crítica: la seguridad de los LLM sigue verde. Ars Technica recoge una vulnerabilidad crítica en Copilot que permitía robar códigos 2FA. La pieza es buena porque aterriza el riesgo de los copilotos en algo muy concreto: identidad, acceso y credenciales.
🤖 Alibaba lanza modelos para robots: la IA sale del chat. Alibaba presenta Qwen Robot Suite, su primera suite de modelos para robótica. China empuja la IA hacia sistemas encarnados capaces de percibir, razonar e interactuar con entornos físicos.
🚗 China convierte el chip del coche autónomo en arma competitiva. Los fabricantes chinos de vehículos eléctricos están diseñando chips propios para conducción inteligente. El objetivo es reducir dependencia de NVIDIA y Horizon Robotics, y controlar más capas del stack tecnológico.
🌊 Los cables submarinos vuelven como infraestructura geopolítica. El proyecto chino hacia Chile muestra que la batalla por los datos de América Latina también se libra bajo el océano. No es solo conectividad: es influencia, dependencia y control de rutas digitales.
🔐 AMD retira cifrado de memoria en CPUs de consumo: seguridad como segmentación de producto. Ars Technica recoge que usuarios han criticado a AMD por retirar TSME, una función de cifrado de memoria, de CPUs de consumo. Es una pieza técnica, pero con fondo estratégico.
🔎 Meta convierte Facebook en buscador con IA usando datos públicos. Meta despliega AI Mode en Facebook, alimentado con información pública de sus plataformas. Es una señal clara de hacia dónde van las redes sociales: menos feed pasivo, más búsqueda conversacional sobre su propio archivo social.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD. Si quieres seguir tirando de este hilo —IA, autonomía, manipulación, privacidad y delegación cognitiva— te dejo algunas lecturas que encajan muy bien con la edición de hoy:
Un Pequeño Empujón, de Richard Thaler y Cass Sunstein, para entender cómo pequeños empujones pueden cambiar nuestras decisiones sin que apenas nos demos cuenta.
Privacidad es Poder, de Carissa Véliz, para recordar que un asistente realmente útil necesitará saber mucho de nosotros. Y eso tiene un precio.
Superficiales, de Nicholas Carr, para pensar en cómo las herramientas que usamos acaban cambiando nuestra forma de leer, recordar y pensar.
Hooked, de Nir Eyal, para entender el diseño de productos que crean hábitos. Muy útil cuando imaginamos asistentes diseñados no solo para ayudarnos, sino para mantenernos dentro del sistema.
The Alignment Problem, de Brian Christian, para entrar de lleno en la gran pregunta de fondo: cómo construir sistemas de IA que no solo sean capaces, sino también compatibles con lo que queremos preservar como humanos.ass
PD2. Y si hoy hablamos de asistentes que prometen quitarnos carga rutinaria, aquí van algunas ideas de productos que ya hacen algo parecido, pero en versión doméstica y bastante menos inquietante:
Plaud Note Pro Grabadora de Voz AI, con funda, transcripción con IA, resúmenes multidimensionales, grabación dual inteligente y hasta 50 horas de autonomía. Ideal para reuniones, llamadas, entrevistas, charlas, clases o sesiones de Teams. No decide por ti, pero sí te quita una de las tareas más pesadas del trabajo moderno: tomar notas, ordenar ideas y reconstruir lo que se dijo.
Un robot aspirador y fregasuelos, como el Xiaomi Robot Vacuum S40C o modelos similares, para delegar una de esas tareas que nunca aportan épica a la vida: pasar la aspiradora.
Un enchufe inteligente compatible con Alexa, para programar luces, calefactores, lámparas o pequeños aparatos y automatizar rutinas tontas que se repiten todos los días.
Un comedero automático para mascotas, útil si tienes perro o gato y quieres programar tomas sin estar pendiente del reloj como si fueras el maître de un restaurante con bigotes.