¿Cómo publicar un experimento que no tuvo éxito?

Al describir un experimento que no dio el resultado esperado, deberíamos poder distinguir la expectativa, la observación y la explicación que desarrollamos después.

Imaginemos que terminamos un informe de investigación con esta frase: no se obtuvo la mejora esperada.

La frase puede ser correcta. Sin embargo, por sí sola no basta para comprender el trabajo que queda detrás.

¿Qué esperábamos? ¿En qué condiciones lo probamos? ¿A qué distancia del objetivo quedó el resultado? ¿El experimento funcionó correctamente? ¿Los registros que tenemos podrían responder a otra pregunta?

Aquí empieza la dificultad de publicar un experimento que no tuvo éxito. No queremos ocultar el resultado. Tampoco queremos presentar cada resultado negativo como un descubrimiento valioso.

El lector necesita algo más concreto: entender qué se intentó, qué se observó y qué decisión extrajimos de ello.

Primero, decir qué falló

«El experimento fracasó» puede cubrir situaciones diferentes.

Puede que el programa no se ejecutara. Puede haber un error de medición. El experimento puede haber terminado sin ofrecer evidencia suficiente para decidir. O la hipótesis que queríamos probar puede no haber cumplido el criterio fijado de antemano.

El trabajo que sigue a cada una de estas situaciones es distinto.

Si la medición falla, primero hay que corregirla. Si la incertidumbre es alta, debemos mostrar los límites de la decisión que permiten nuestros datos. Si no se obtuvo la mejora esperada, no deberíamos dejar esa decisión detrás de otra medición que parezca más favorable.

Por eso, la primera tarea del informe debería ser describir ante qué situación estamos, antes de atribuir un significado al fracaso.

No cambiar el criterio de éxito junto con el resultado

El experimento que traté anteriormente en ADL concreta esta distinción.

La pregunta era: ¿medir dos intervenciones de aprendizaje en cada paso y elegir la que parece mejor permite obtener un resultado mejor en el mismo tiempo?

La condición de éxito fijada de antemano exigía que el método candidato mejorara la exactitud de la evaluación final en al menos 3 puntos porcentuales frente a cada uno de cuatro métodos de comparación.

La diferencia observada respecto al método de comparación fuerte fue de unos 0,09 puntos porcentuales. El límite superior del intervalo de incertidumbre de esa comparación también quedó por debajo del objetivo. Por ello se rechazó la hipótesis principal de calidad del informe.

En los mismos registros había otras comparaciones más favorables. Elegir la mejor de dos propuestas mostraba una ventaja frente a un control que medía ambas, pero utilizaba la primera. Esa observación no sustituía la condición de éxito original.

Este es el límite que debemos conservar al escribir el informe: una observación que nos interese después no debería cambiar la respuesta a la pregunta que planteamos antes.

Puede abrir otra pregunta. Esa necesita un lugar propio.

Separar la observación de su explicación

Cuando un resultado no cumple la expectativa, queremos explicar por qué.

Quizá el mecanismo de selección consumía demasiado tiempo. Quizá preparar las propuestas era costoso. Quizá la tarea elegida no permitía que el mecanismo mostrara una ventaja.

Son explicaciones que podemos investigar. Pero que una explicación sea plausible no significa que se haya medido.

El registro de ADL mostraba menos pasadas hacia delante del modelo, junto con un aumento del tiempo del mecanismo que preparaba y gestionaba las intervenciones. No se confirmó un ahorro en el tiempo total medido. Los mismos registros tampoco determinaron qué suboperación causaba la diferencia.

Aquí hay un punto honesto en el que el informe puede detenerse:

Observamos esta diferencia. Todavía no hemos aislado la operación que la causa.

Esa frase también explica por qué hace falta otro experimento. Si damos por definitiva una causa no medida, construimos el siguiente estudio sobre una explicación que aún no se ha puesto a prueba.

Dejar al lector un camino para revisar el resultado

Publicar un experimento no termina al hacer accesible el texto que describe su resultado.

El lector debería poder seguir la versión utilizada, cómo se dividieron los datos, con qué presupuesto se ejecutaron las comparaciones y a partir de qué registros se calculó el resultado. También debería quedar claro qué ejecuciones terminaron, cuáles dieron errores y cuáles se excluyeron del cálculo.

Esto no exige llevar todos los detalles técnicos al cuerpo principal de cada artículo. El texto principal puede explicar la pregunta y la decisión, con el protocolo detallado, la configuración y los archivos de resultados detrás del relato.

Lo importante es mantener abierto el camino entre la afirmación del texto y el registro que la respalda.

Poder ejecutar de nuevo el mismo código forma parte de ese camino. Sin embargo, reproducirlo no demuestra por sí solo que el experimento planteara la pregunta adecuada. Un error de medición también puede repetirse bajo las mismas condiciones.

Por eso, además de poder ejecutar el código, necesitamos entender qué se midió.

No perder la decisión anterior dentro de una pregunta nueva

Es natural probar otro mecanismo después de un resultado negativo.

Podemos cambiar el presupuesto, elegir otra tarea o probar solo una parte del método. Cada opción puede ser una continuación con sentido.

Pero la decisión anterior debería seguir visible cuando empieza el trabajo nuevo.

Si un candidato no cumplió el objetivo con un presupuesto, su resultado con otro no debería presentarse como una respuesta corregida retrospectivamente al mismo experimento. Deberíamos poder escribir qué condición cambiamos y por qué ese cambio exige otra prueba.

En el artículo anterior sobre la huella de una corrección en Evidrel traté una necesidad de registro parecida: cuando llega una explicación nueva, conservar los fundamentos de una aceptación o un rechazo anteriores.

El cuaderno de investigación de Evidrel aborda algunas partes de esas decisiones de registro y revisión. Esto no debe interpretarse como una infraestructura terminada que gestione todo el proceso experimental. La conexión vuelve a la misma responsabilidad: conservar los fundamentos y el alcance con los que se tomó una decisión.

El punto de partida del siguiente estudio

Un experimento sin éxito no tiene por qué producir un método nuevo.

A veces el resultado basta para dejar de avanzar con un candidato concreto. A veces muestra que el sistema de medición es insuficiente. Otras veces permite formular de manera más acotada una pregunta todavía sin respuesta.

Al publicar, deberíamos poder decir a cuál de estas situaciones llegamos.

En el ejemplo de ADL, no se demostró que el candidato probado aportara una mejora de calidad de la magnitud esperada en la tarea y con el presupuesto establecidos. Esa decisión no cerraba todo el programa de investigación. Pero tampoco justificaba presentar al candidato como una mejora exitosa.

Lo que hace valioso ese registro para mí no es el fracaso en sí. Es el punto de partida más claro que deja para el siguiente estudio.

Un registro experimental bien mantenido debería poder decirnos esto cuando volvamos a la misma idea meses después:

Probamos este camino. Bajo estas condiciones, no cumplió esta expectativa. Si volvemos a intentarlo, tenemos que explicar qué cambiamos y por qué.

---

Nota de fuentes — 18 de octubre de 2026: El artículo aborda los hallazgos del informe experimental ADL F2-041 revisado anteriormente y del artículo de trabajo de ADL ya publicado desde la pregunta de cómo informar sobre experimentos. La conexión con Evidrel se limita al enfoque de registro y revisión de su cuaderno local. No se realizó un experimento, una ejecución de reproducción ni una evaluación independiente nuevos para este artículo.

Conexiones: Página de investigación de ADL · Página de investigación de Evidrel · Artículo anterior: La huella de una corrección en Evidrel

Conceptos del Atlas: Evidencia · Incertidumbre · Contexto · Historia · Conocimiento · Sistemas