¿De verdad sabes qué es un parámetro?
Diario de Innovación #395
Hace unos meses era casi imposible leer una noticia sobre inteligencia artificial sin encontrarse con una cifra descomunal.
175.000 millones.
400.000 millones.
Un billón de parámetros.
Parecía que la carrera por la IA se había convertido en una competición muy sencilla de entender: ganaba quien construyera el modelo más grande.
Pero había un pequeño problema.
Muy poca gente sabía realmente qué era un parámetro.
Y cuando no entiendes qué significa una métrica, es muy fácil acabar optimizando la métrica equivocada.
Existe una idea bastante extendida.
Pensamos que los ingenieros escriben miles de reglas asociadas a nuestras interacciones con los modelos fundacionales:
“Si aparece esta palabra, responde aquello.”
“Si preguntan por España, busca esta definición.”
No funciona así.
Los ingenieros no escriben el conocimiento.
Construyen una arquitectura capaz de aprender.
El conocimiento aparece durante el entrenamiento.
Y ese conocimiento acaba almacenado en millones —o billones— de números.
Esos números son los famosos parámetros.
No contienen frases.
No contienen definiciones.
No contienen una Wikipedia escondida.
Contienen relaciones matemáticas.
«Los parámetros no almacenan hechos; almacenan relaciones matemáticas entre conceptos.»
Ese es el verdadero secreto de un modelo de lenguaje. No memoriza el mundo como una enciclopedia; aprende la geometría que relaciona unas ideas con otras.
Imagina una inmensa ciudad
Una buena analogía consiste en pensar que cada concepto del lenguaje vive dentro de una ciudad gigantesca.
“Gato”.
“Perro”.
“Veterinario”.
“Ratón”.
“León”.
No están guardados en carpetas independientes.
Están situados en un enorme mapa matemático, los famosos ejes cartesianos.
Los conceptos parecidos aparecen cerca.
Los que tienen relaciones aparecen conectados.
Y cuanto más aprende el modelo, mejor organizado queda ese mapa.
Los parámetros son, precisamente, las coordenadas que permiten construir ese mundo.
No almacenan los conceptos.
Almacenan la distancia entre ellos.
Todo empieza con números aleatorios
Aquí llega una de las partes más sorprendentes.
Cuando un modelo comienza a entrenarse no sabe absolutamente nada.
Sus parámetros son simplemente números aleatorios.
Es como entregar millones de interruptores colocados al azar.
Durante el entrenamiento ocurre algo extraordinario.
El modelo intenta predecir la siguiente palabra.
Se equivoca.
Corrige ligeramente millones de parámetros.
Vuelve a intentarlo.
Se vuelve a equivocar.
Los corrige otra vez.
Y así... cientos o miles de veces.
Al finalizar ese proceso, esos números ya no son aleatorios.
Representan todo lo que el modelo ha aprendido.
Tres piezas que hacen posible la magia
Aunque solemos hablar simplemente de “parámetros”, en realidad desempeñan funciones distintas.
Embeddings
Convierten cada palabra en un vector matemático.
Gracias a ellos, el modelo entiende que Madrid está más cerca de Barcelona que de Marte o que un hospital tiene mucho que ver con un médico.
No entiende palabras.
Entiende posiciones dentro de un espacio matemático.
Pesos (weights)
Determinan la fuerza de las conexiones entre conceptos.
Son quienes deciden cuánto influye una idea sobre otra.
Sesgos (biases)
Realizan pequeños ajustes para que determinadas señales tengan mayor o menor importancia según el contexto.
Como ocurre con un instrumento musical, sirven para afinar el resultado.
Entonces... ¿más parámetros significan mejor IA?
Hace apenas dos años casi todo el mundo habría respondido que sí.
Hoy sabemos que no.
Porque un modelo puede mejorar muchísimo sin aumentar apenas su tamaño.
Puede hacerlo gracias a:
mejores datos,
más entrenamiento,
destilación (distillation),
especialización,
arquitecturas Mixture of Experts (MoE).
En estas últimas sólo se activa una pequeña parte del modelo para responder cada consulta.
Es una idea brillante.
En lugar de movilizar toda la organización...
...llamas únicamente a los expertos que realmente hacen falta.
«La carrera de la IA ya no consiste en construir modelos más grandes, sino en aprovechar mucho mejor cada parámetro disponible.»
Ese cambio de paradigma explica por qué modelos relativamente pequeños están empezando a competir con otros que hace apenas unos años parecían inalcanzables.
La innovación también tiene sus parámetros
Y aquí aparece la reflexión que más me gustó del artículo del MIT Technology Review.
Durante años hemos confundido tamaño con capacidad.
Más empleados.
Más presupuesto.
Más tecnología.
Más recursos.
Pero la IA nos está enseñando otra cosa.
Los mejores modelos ya no son necesariamente los más grandes.
Son los que utilizan mejor cada parámetro disponible.
Quizá en las organizaciones ocurra exactamente lo mismo.
La ventaja competitiva no consiste siempre en tener más personas.
Ni más herramientas.
Ni más inversión.
Consiste en organizar mejor el conocimiento que ya existe.
En conectar mejor las capacidades.
En activar al experto adecuado en el momento adecuado.
En definitiva, en utilizar mejor los recursos disponibles.
«La inteligencia no depende únicamente de cuánto conocimiento almacenas, sino de cómo conectas ese conocimiento.»
Y quizá esa sea también una buena definición de innovación.
Porque las organizaciones más innovadoras rara vez son las que poseen más recursos.
Son las que consiguen aprovechar mucho mejor los que ya tienen.
🌍 El eco del mercado
🏢 Satya Nadella cuestiona la dependencia de los grandes modelos propietarios. El CEO de Microsoft ha advertido a las empresas del riesgo de construir toda su estrategia de IA sobre modelos cerrados de terceros. Su recomendación apunta hacia modelos desplegados en entornos propios y alimentados con datos corporativos.
🤖 La verdadera carrera de la IA se desplaza hacia el open source. El CEO de Hugging Face sostiene que la batalla principal ya no está en desarrollar el modelo más avanzado, sino en facilitar modelos abiertos que las empresas puedan adaptar, controlar y ejecutar con costes asumibles.
💰 El compute sigue siendo el recurso más escaso de la IA. Reflection AI ha firmado un acuerdo valorado en 1.000 millones de dólares con Nebius para garantizar capacidad de computación durante los próximos años.
⚡ Nueva York pone límites a los nuevos centros de datos. Como ya adelantábamos hace unas semanas, el estado de Nueva York ha aprobado la primera moratoria estadounidense a nuevos centros de datos hyperscale mientras evalúa su impacto energético y ambiental.
🔌 La IA empieza a chocar con la red eléctrica. Otro de los temas recurrentes en el ECO del mercado de este curso que se acaba. La demanda de electricidad provocada por centros de datos, vehículos eléctricos y electrificación está disparando la escasez mundial de transformadores, con plazos de entrega que ya alcanzan varios años.
☀️ Y Google prioriza la compra cd energía antes que servidores. Google ha adquirido toda la producción de un gran parque solar para compensar el consumo de sus centros de datos.
🇨🇳 China dispara sus exportaciones de chips gracias al boom de la IA. Las exportaciones chinas de circuitos integrados prácticamente se duplicaron durante el primer semestre del año impulsadas por la demanda internacional de infraestructura para IA.
📱 Alibaba y Honor preparan una nueva generación de dispositivos con agentes de IA. La tan ansiada tranformación de los dispositivos móviles, está a la vuelta de la esquina. Ambas compañías ampliarán su colaboración para desarrollar un sistema operativo orientado específicamente a agentes inteligentes capaces de actuar de forma autónoma. Pero no son los únicos, en paralelo, la startup StepFun ha mostrado un smartphone construido alrededor de un sistema operativo pensado específicamente para agentes de IA.
📊 OpenAI incorpora mercados de predicción dentro de ChatGPT. OpenAI ha firmado un acuerdo con Kalshi para mostrar probabilidades del Mundial directamente en algunas respuestas de ChatGPT.
💳 La gestión del gasto en IA se convierte en un nuevo mercado. El FinOps de los tokens hechos realidad. 1Password incorpora herramientas para monitorizar el consumo y coste de servicios de IA utilizados dentro de las empresas.
💰 La economía de la IA empieza a redefinir Silicon Valley. La creación acelerada de riqueza ligada a la inteligencia artificial está impulsando una nueva ola de inversión, consumo y presión sobre el mercado inmobiliario de San Francisco.
🌱 La Gran Muralla Verde de China muestra los límites de las megainversiones climáticas. Uno de los mayores proyectos de reforestación del mundo evidencia que las soluciones a gran escala requieren décadas de mantenimiento para ofrecer resultados sostenibles. Y nosotros quejándonos de los 50º que se prevé superar en España la semana que viene, pero eso sí, sin hacer nada ni a corto ni a largo plazo.
🪨 Estados Unidos sigue dependiendo de Asia para las tierras raras. Pese a los esfuerzos por relocalizar parte de la producción, buena parte de los minerales críticos para semiconductores, baterías y defensa continúa procesándose en Asia. Ya hablamos, con Adrián Quesada experto en el tema, este curso sobre ello en Código Abierto.
☢️ Detectar armas nucleares desde el espacio podría dejar de ser ciencia ficción. Un investigador del MIT propone un sistema capaz de identificar indicios de armas nucleares ocultas en órbita mediante nuevas técnicas de observación remota.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD: La próxima vez que escuches que un modelo tiene “500.000 millones de parámetros”, ya sabrás que esa cifra, por sí sola, dice muy poco sobre su calidad. Es como valorar una biblioteca únicamente por el número de libros que contiene, sin preguntarte cómo están organizados, qué conocimiento albergan o si el bibliotecario sabe encontrar la respuesta adecuada. Como tener un Kindle con suscripción Unlimited.
PD2: Libros para entender cómo “aprenden” las máquinas
The Master Algorithm de Pedro Domingos.
Inteligencia Artificial: Guía para Seres Pensantes for Thinking Humans de Melanie Mitchell.
Deep Learning de Ian Goodfellow, Yoshua Bengio y Aaron Courville.
PD3: Si esta edición te ha despertado la curiosidad por experimentar con modelos abiertos, un Mac mini M4 es una magnífica opción para empezar a ejecutar LLMs ligeros en local. Si quieres ir un paso más allá, una estación de trabajo compacta con GPU NVIDIA RTX te permitirá probar modelos más avanzados, hacer inferencia local e incluso experimentar con técnicas de fine-tuning.
Porque, igual que ocurre con los parámetros de un modelo, la cuestión rara vez consiste en tener el ordenador más grande… sino en saber aprovechar al máximo el que tienes.