Cuando la ética en IA se queda en PowerPoint
Diario de Innovación #312
Hace unos años ocurrió algo curioso en Nueva York.
El ayuntamiento lanzó un chatbot para ayudar a pequeños empresarios a entender la regulación local: licencias, permisos, leyes laborales… todo lo que suele convertirse en un laberinto burocrático.
La idea era buena.
La implementación… no tanto.
El chatbot empezó a dar consejos equivocados. En algunos casos incluso sugería prácticas que podían llevar a los negocios a violar la normativa laboral.
La historia se convirtió rápidamente en un pequeño escándalo.
No solo porque el sistema fallara —eso puede pasar— sino porque dejó al descubierto algo más profundo:
Nadie parecía tener claro quién era responsable del sistema.
Ni el proveedor tecnológico.
Ni el equipo de datos.
Ni el departamento que lo había lanzado.
Este tipo de situaciones no son una excepción.
Son cada vez más habituales.
Y eso es precisamente lo que analiza un artículo reciente de MIT Sloan: muchas organizaciones hablan de Responsible AI, pero cuando llega el momento de aplicarla… simplemente no ocurre.
No porque falten principios.
Sino porque faltan incentivos reales para cumplirlos.
Si escuchas a cualquier empresa tecnológica hoy, o incluso a muchas grandes corporaciones tradicionales, encontrarás siempre las mismas palabras:
Fairness
Accountability
Transparency
Suena bien.
El problema es que en muchos casos todo eso se queda en un documento bonito en la intranet.
El artículo de MIT Sloan identifica tres brechas que explican por qué ocurre esto.
Tres grietas que aparecen una y otra vez en organizaciones que dicen tomarse en serio la ética en IA.
La brecha de responsabilidad
El primer problema es el más simple.
Nadie quiere ser responsable de un algoritmo.
Cuando un sistema de IA se equivoca, la cadena de responsabilidades se vuelve difusa:
el equipo de datos dice que solo entrenó el modelo
el equipo de producto dice que solo lo integró
el negocio dice que solo quería automatizar procesos
el proveedor dice que la herramienta funciona correctamente
Resultado: nadie responde realmente por el sistema.
En muchos proyectos de IA, la responsabilidad está tan diluida que se vuelve prácticamente inexistente.
Esto recuerda bastante a lo que ocurrió en el sector financiero antes de la crisis de 2008.
Muchos productos financieros complejos eran técnicamente correctos… pero nadie dentro de la cadena asumía realmente la responsabilidad del riesgo que generaban.
Con la IA está empezando a ocurrir algo parecido.
La brecha organizativa
El segundo problema no es técnico.
Es estructural.
Muchas empresas no están diseñadas para gobernar sistemas de IA.
Porque estos sistemas cruzan múltiples dominios:
tecnología
negocio
legal
riesgo
compliance
operaciones
Pero las empresas siguen funcionando con silos organizativos clásicos.
Esto genera una situación curiosa:
Cada departamento ve solo una parte del problema.
Pero nadie ve el sistema completo.
Y la ética en IA es precisamente un problema sistémico.
No se resuelve con un checklist técnico.
Se resuelve con gobernanza organizativa.
La brecha cultural
La tercera brecha es la más incómoda.
Incluso cuando las empresas entienden los riesgos, no siempre quieren ralentizar el negocio para gestionarlos.
Auditar modelos.
Revisar sesgos.
Implementar explicabilidad.
Crear procesos de supervisión humana.
Todo eso cuesta tiempo y dinero.
Y cuando hay presión por lanzar productos o automatizar procesos, estas prácticas suelen ser las primeras en caer.
Es el clásico conflicto entre: innovación rápida vs innovación responsable.
El verdadero problema: los incentivos
Si juntamos las tres brechas aparece una conclusión bastante clara:
La ética en IA no falla por falta de principios.
Falla por falta de incentivos organizativos.
Mientras los sistemas de evaluación dentro de una empresa premien:
velocidad
eficiencia
reducción de costes
automatización
y no premien:
gobernanza
supervisión
mitigación de riesgos
la Responsible AI seguirá siendo, en muchos casos, una promesa más que una práctica.
Lo que sí funciona
El artículo propone varias estrategias para cerrar estas brechas.
No son especialmente revolucionarias.
Pero sí muy reveladoras.
1. Asignar responsabilidad a nivel de proyecto
Cada sistema de IA debería tener un responsable claro.
Alguien que responda por su comportamiento.
Algo tan simple como esto sigue faltando en muchos proyectos.
2. Integrar la ética en los procesos normales
La Responsible AI no debería ser un comité aislado.
Debe integrarse en procesos existentes:
desarrollo de producto
gestión de riesgos
auditoría interna
evaluación de proveedores
Si no está en el flujo de trabajo normal, simplemente no ocurre.
3. Alinear riesgo ético con riesgo empresarial
Uno de los puntos más interesantes del artículo.
Mientras los riesgos éticos no afecten al negocio…
no se gestionarán como riesgos reales.
Cuando empiezan a afectar a:
reputación
regulación
responsabilidad legal
entonces sí aparecen procesos más serios.
4. Recompensar comportamientos responsables
Las empresas recompensan lo que miden.
Si nadie es evaluado por construir sistemas responsables, no se construirán.
5. Practicar juicio ético (no solo compliance)
Quizá la idea más importante.
La ética en IA no puede reducirse a un checklist regulatorio.
Porque muchos problemas no son legales o ilegales.
Son decisiones de diseño.
Y eso requiere algo más difícil de escalar:
criterio humano.
Food for thought
Hay una idea que resume muy bien el problema.
La IA no tiene ética. Las organizaciones sí.
Los modelos no toman decisiones morales.
Las toman las personas que los diseñan, los despliegan y los utilizan.
Por eso la conversación sobre Responsible AI no es realmente una conversación sobre tecnología.
Es una conversación sobre cómo diseñamos las organizaciones que usan esa tecnología.
Durante mucho tiempo, la gobernanza de la IA fue una conversación teórica.
Hoy empieza a convertirse en algo mucho más concreto:
el AI Act europeo
nuevas regulaciones en Canadá y Corea del Sur
estándares emergentes de auditoría algorítmica
frameworks de gestión de modelos
En los próximos años veremos algo parecido a lo que ocurrió tras la crisis financiera de 2008.
La aparición de una nueva capa de:
infraestructura institucional para gobernar sistemas algorítmicos.
Comités.
Auditorías.
Roles nuevos dentro de las empresas.
Y probablemente también nuevos mercados alrededor de todo esto.
Porque igual que surgieron industrias enteras alrededor del compliance financiero…
algo parecido puede empezar a ocurrir con la gobernanza de la IA.
Y eso nos devuelve a la pregunta inicial.
¿Queremos realmente inteligencia artificial responsable?
¿O solo queremos decir que la queremos?
🌍 El eco del mercado
🙄 La IA empieza a explicar el mundo, no solo a responder preguntas. ChatGPT ha empezado a incorporar visualizaciones interactivas que permiten mostrar fórmulas matemáticas, relaciones entre variables o conceptos científicos de forma dinámica. La IA ya no se limita a generar texto: empieza a convertirse en una interfaz interactiva para comprender conocimiento complejo.
👩🏾💻 El nuevo problema de la IA no es generar código… es confiar en él. Las herramientas de seguridad tradicionales empiezan a quedarse cortas ante el auge del código generado por IA. Nuevas soluciones buscan analizar vulnerabilidades en pipelines donde humanos y modelos colaboran.
🔏 Por eso el stack de desarrollo se reorganiza alrededor de la IA. El ecosistema DevSecOps empieza a adaptarse al auge del código generado por modelos. Herramientas de control, validación y auditoría se integran directamente en los pipelines de desarrollo.
👨🏼✈️ Google convierte su suite de oficina en una interfaz de IA. Gemini continúa expandiéndose dentro de Google Workspace, añadiendo automatización de documentos, análisis de información y generación de contenido directamente dentro de las herramientas de productividad. La oficina del futuro se perfila como un entorno donde la IA es un compañero permanente de trabajo.
🔍 Las plataformas de IA empiezan a auditar a sus propios agentes. El crecimiento de agentes autónomos obliga a introducir nuevas capas de evaluación automática: testing continuo, monitorización y validación de comportamientos.
♺ La eficiencia energética se convierte en el nuevo campo de batalla de los chips. La industria de semiconductores se mueve hacia arquitecturas más eficientes para soportar la explosión de carga computacional que exige la inteligencia artificial. Aunque no es el único obstáculo que tienen que vencer.
🧪 La IA empieza a convertirse en infraestructura científica. Ya hablábamos de ello en la edición de ayer. Investigadores exploran nuevas arquitecturas computacionales para acelerar descubrimientos científicos. La inteligencia artificial se posiciona como una nueva herramienta fundamental para la ciencia del siglo XXI.
🏋🏽♂️ La guerra por los datos de entrenamiento entra en una nueva fase. Gracenote ha demandado a OpenAI por el uso de su base de datos musical en el entrenamiento de modelos. El caso se suma a la creciente ola de litigios sobre copyright y datasets de IA, una batalla que probablemente definirá el futuro del sector.
💹 La seguridad del software generado por IA se convierte en un nuevo mercado. A medida que el código generado por modelos se vuelve ubicuo, startups y grandes tecnológicas compiten por ofrecer herramientas capaces de verificar su seguridad, calidad y cumplimiento normativo.
‼️ Las grandes tecnológicas ya operan como infraestructuras estratégicas. Las plataformas digitales y las infraestructuras cloud se han convertido en elementos críticos del sistema global, influyendo tanto en conflictos geopolíticos como en la estabilidad económica. Lo hemos visto recientemente en los ataques con drones de Irán contra varios centros de datos de AWS en Emiratos Árabes Unidos y Bahréin.
💲 La economía de las plataformas empieza a tensionar a los desarrolladores. Epic Games advierte que el coste de operar infraestructuras digitales sigue aumentando, un recordatorio de que el crecimiento de la economía digital también trae consigo nuevas dependencias.
🛜 La economía de la IA se estructura alrededor de APIs y agentes. Cada vez más empresas monetizan plataformas de IA mediante acceso programático a modelos y agentes inteligentes, redefiniendo el modelo de negocio del software.
🤖 Los robots domésticos se hacen más pequeños… y más inteligentes. iRobot ha presentado el Roomba Mini, un robot aspirador de tamaño reducido que apuesta por mayor accesibilidad y eficiencia en hogares pequeños.
🔌 La energía se convierte en el verdadero cuello de botella de la IA. La expansión de centros de datos para entrenar y ejecutar modelos está elevando la demanda energética global, obligando a repensar infraestructuras eléctricas y estrategias de eficiencia.
🫷🏻 La expansión de la infraestructura de IA empieza a encontrar límites inesperados. OpenAI habría frenado la ampliación del proyecto Stargate en Abilene tras reevaluar necesidades de infraestructura y estrategia de despliegue. El episodio refleja una realidad cada vez más evidente: construir la infraestructura que necesita la IA puede ser tan complejo como desarrollar los propios modelos.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD: Si quieres alguna lectura adicional sobre ética tecnológica, hay varios libros que exploran muy bien la relación entre tecnología, poder y responsabilidad.
Privacidad es Poder de Carissa Véliz. Uno de los mejores libros recientes sobre cómo el modelo económico de la economía digital ha erosionado la privacidad y por qué necesitamos recuperar el control sobre nuestros datos.
Armas de Destrucción Matemática de Cathy O’Neil. Un clásico moderno sobre cómo los algoritmos pueden amplificar desigualdades cuando se aplican sin supervisión ni transparencia.
Atlas of AI de Kate Crawford. Un análisis fascinante sobre las infraestructuras invisibles de la inteligencia artificial: datos, energía, trabajo humano y poder político.
Manual de Ética Aplicada en Inteligencia Artificial de Mónica Villas y Javier Camacho Ibáñez. Un libro muy recomendable que aterriza muchos de estos debates en casos concretos y decisiones reales que enfrentan las organizaciones.