¿Qué aprendemos cuando un experimento no da el resultado esperado?

Notas de trabajo de ADL — 01

A veces, el resultado de un experimento se cierra con una sola frase: no se obtuvo la mejora esperada.

Pero detrás de esa frase quedan otras preguntas. ¿Dónde ayudó el mecanismo que probamos? ¿Qué coste tuvo su pequeña ventaja? ¿Qué expectativa debemos dejar atrás y qué pregunta debemos seguir investigando?

Uno de los experimentos recientes de ADL hizo concretas estas preguntas. Comparar dos intervenciones de aprendizaje y elegir la que parecía mejor era una idea inicial razonable. El resultado mostró que valorar esa elección requería una contabilidad más cuidadosa.

¿Una mejor elección produce un mejor aprendizaje?

ADL es un proyecto de investigación que trata por separado el modelo que aprende y el mecanismo que selecciona las intervenciones sobre él. Cómo se decide un cambio es tan importante para la investigación como la manera en que cambia el modelo.

Este experimento puso a prueba una pregunta acotada:

Si en cada paso evaluamos dos cambios propuestos y elegimos el que reduce más el error de entrenamiento, ¿obtenemos un mejor resultado en el mismo tiempo?

El mecanismo funcionaba así: se creaban dos copias de prueba separadas a partir del estado actual del modelo y se evaluaba una propuesta en cada copia. Se elegía la propuesta con menor error de entrenamiento; si se cumplía la condición de mejora exigida, solo ese cambio se transfería al modelo activo.

La decisión utilizaba más información que probar una única propuesta. Obtener esa información también tenía un coste.

Fijar el criterio antes de ver el resultado

Un método que parece bueno en algunas comparaciones puede resultar fácilmente convincente. Por eso, el criterio de éxito del experimento se fijó antes de las ejecuciones.

Se esperaba que el candidato mejorara la precisión final en al menos 3 puntos porcentuales frente a cada uno de cuatro métodos de comparación, con el mismo presupuesto de un segundo de CPU.

Esta condición importaba. Superar un método más débil no demostraría un avance suficiente frente a uno fuerte.

El experimento se realizó sobre una pequeña tarea sintética de clasificación. Se utilizaron veinte semillas aleatorias diferentes, seis métodos y tres repeticiones temporales. La precisión sobre datos de evaluación reservados, no utilizados durante el entrenamiento, se midió al final de cada ejecución. No se eligió el punto intermedio que parecía mejor.

Los resultados fueron muy próximos

El candidato que elegía la mejor de dos propuestas y el método de comparación fuerte obtuvieron estos resultados:

Método	Precisión final en datos reservados
Evaluar dos propuestas y elegir la mejor	91,11%
Seleccionar uniformemente una única propuesta de coordenada	91,02%

La diferencia fue de aproximadamente 0,09 puntos porcentuales.

El objetivo fijado de antemano era de 3 puntos porcentuales. El límite superior del intervalo de incertidumbre de esta comparación también quedó por debajo del objetivo. Por tanto, se rechazó la hipótesis principal de calidad del experimento.

El alcance de esta decisión es concreto: no se demostró que este mecanismo aportara una mejora del tamaño esperado con esta tarea y este presupuesto. Este único resultado no cerró todas las preguntas de investigación de ADL.

Aun así, la decisión sobre el candidato probado era clara. No había evidencia suficiente para seguir adelante con él como una mejora de calidad exitosa.

La selección parecía útil; había que completar las cuentas

El experimento incluía un control adicional. También evaluaba dos propuestas, pero utilizaba la primera en vez de elegir según sus resultados.

El candidato que seleccionaba la mejor propuesta terminó aproximadamente 0,97 puntos porcentuales por encima de este control. Era un hallazgo exploratorio sobre la contribución de la selección. No cumplía la condición de éxito fijada de antemano frente al método de comparación fuerte.

Los resultados sobre costes también apuntaron en dos direcciones.

El candidato utilizó aproximadamente un 36% menos de pasadas hacia delante del modelo que el método de comparación fuerte. Sin embargo, el tiempo del Controller, que prepara, evalúa y gestiona las intervenciones, aumentó aproximadamente un 10,5%. No se confirmó un ahorro en el tiempo total medido.

Contar menos llamadas al modelo no bastaba por sí solo. También había que contabilizar el tiempo utilizado por el mecanismo de selección dentro del mismo presupuesto.

En este experimento no se midieron el consumo energético ni el coste de extremo a extremo de todo el flujo de trabajo. Por ello, el resultado no permite afirmar ahorros en esos ámbitos.

Los mismos registros se convirtieron en una nueva pregunta

Después del resultado, se volvieron a examinar los registros existentes del experimento. No se realizó ninguna nueva ejecución de aprendizaje para este análisis.

Esta vez la pregunta era más acotada: ¿cuánto progreso proporcionaba el mecanismo de selección por intervención? ¿Cómo se veía ese progreso al dividirlo por el tiempo consumido?

En el análisis exploratorio, elegir la mejor de dos propuestas aumentó el progreso de entrenamiento por ronda aproximadamente un 15% respecto al control que usaba la primera. Sin embargo, el progreso de entrenamiento por segundo de Controller fue aproximadamente un 12% menor que con el método de comparación fuerte.

Estas dos observaciones juntas eran informativas. Parecía posible elegir un mejor cambio en una ronda; el tiempo necesario para preparar y evaluar esa ronda podía limitar la ventaja.

El análisis no identificó qué suboperación causaba la diferencia en el coste total del Controller. Por eso, no había datos suficientes para atribuir el problema únicamente a las copias, la generación de propuestas o su ordenación.

¿Qué debería cambiar el siguiente experimento?

Esta línea experimental se cerró. En lugar de modificar las semillas, el presupuesto o los ajustes del mismo candidato en busca de un resultado más favorable, se decidió conservar los registros y probar un mecanismo distinto con una pregunta separada.

El siguiente candidato explora un criterio de aceptación que añade una penalización fija sobre la magnitud de los pesos, en lugar de evaluar una única propuesta solo por el error de entrenamiento. Su implementación y sus pruebas están terminadas; su contribución a la calidad todavía no se ha evaluado.

Aquí también hay dos umbrales separados: que el mecanismo funcione como se especificó y que aporte la contribución esperada al aprendizaje. Superar el primero no proporciona un resultado sobre el segundo.

Lo más útil que dejó este experimento de ADL fue una expectativa convertida en una pregunta más clara:

¿La computación que dedicamos a elegir una intervención merece la pena por el progreso que esa intervención aporta?

Ahí buscará una respuesta el siguiente experimento.

---

Nota sobre las fuentes — 15 de octubre de 2026: El artículo se basa en el informe experimental F2-041, el análisis exploratorio de registros existentes F2-042 y el informe de implementación F2-043. Los resultados se limitan a una pequeña tarea sintética en CPU. Esta nota de trabajo describe el corte de fuentes indicado; no es un informe de estado en tiempo real del experimento.

Página de investigación de ADL