期待した結果を得られなかった実験を語るとき、期待、観測、そして後から考えた説明を分けられるようにしたい。
研究報告の最後に、こう書いたとしよう。期待した改善は得られなかった。
その文は正しいかもしれない。しかし、それだけでは、そこに至る作業を理解するには足りない。
何を期待していたのか。どの条件で試したのか。結果は目標からどれほど離れていたのか。実験は正常に動いたのか。手元の記録から別の問いに答えられるだろうか。
期待どおりにいかなかった実験を公開する難しさは、ここから始まる。結果を隠したくはない。同時に、あらゆる否定的な結果を価値ある発見として見せたいわけでもない。
読者に必要なのは、もっと具体的なことだ。何を試し、何を観測し、そこからどの判断をしたかを理解できること。
まず、何がうまくいかなかったのかを述べる
「実験は失敗した」という言葉は、いくつもの異なる状況を覆ってしまう。
プログラムが実行できなかったのかもしれない。測定に誤りがあったのかもしれない。実験は完了したものの、結果が判断に十分でなかったのかもしれない。あるいは、検証したい仮説が事前に定めた基準を満たさなかったのかもしれない。
それぞれの後に行うべき作業は異なる。
測定が壊れていれば、まず測定を直す必要がある。不確実性が高ければ、手元のデータでどこまで判断できるかを明示する必要がある。仮説が期待した改善を得られなかったなら、その判断を、より好ましく見える別の測定の陰に置いてはいけない。
だから報告の最初の仕事は、失敗に意味を与える前に、どの状況に直面しているのかを記述することだと思う。
結果に合わせて成功基準を変えない
以前に取り上げたADLの実験は、この違いを具体的に示している。
問いはこうだった。各ステップで二つの学習への介入を測定し、良く見えるほうを選ぶと、同じ時間内でより良い結果に到達できるだろうか。
事前に定めた成功条件は、候補手法が四つの比較手法のそれぞれに対して、最終評価の正解率を少なくとも3パーセントポイント改善することだった。
一方、強い比較手法との差として観測されたのは、約0.09パーセントポイントだった。この比較の不確実性区間の上限も目標を下回った。そのため、報告の主要な品質仮説は棄却された。
同じ記録には、より好ましく見える別の比較もあった。二つの提案のうち良いほうを選ぶ方法は、二つを測定しながら最初の提案を使う対照条件に対して優位を示した。しかし、この観測が当初の成功条件に取って代わることはなかった。
報告を書くときに保つべき境界はここにある。後から興味深いと感じた観測によって、事前に問うた問いへの答えを変えてはいけない。
別の問いを開くことはできる。そのためには、別の場所が必要だ。
観測と、その説明を分ける
結果が期待を満たさなければ、その理由を説明したくなる。
選択の仕組みに時間がかかりすぎたのかもしれない。提案の準備が高コストだったのかもしれない。試した課題が、その仕組みの利点を示せる課題ではなかったのかもしれない。
これらは調べられる説明だ。ただし、もっともらしい説明と、測定された説明は同じではない。
ADLの記録では、モデルの順伝播の回数が減る一方、介入を準備し管理する仕組みの時間が増えていた。測定した総時間の節約は確認されなかった。しかし、どの下位処理がその差を生んだかは、同じ記録からは特定されていなかった。
ここには、報告が率直に立ち止まれる場所がある。
この差を観測した。どの処理がその差を生んだのかは、まだ切り分けていない。
この一文は、次の実験がなぜ必要かも説明する。測定していない原因を確定してしまえば、次の研究を、まだ検証していない説明の上に築くことになる。
読者が結果を再検討できる道を残す
実験の公開は、結果を説明する文章が読めるようになっただけでは完了しない。
読者は、使った版、データの分け方、比較に用いた予算、結果を計算した記録をたどれるべきだ。どの実行が完了し、どれがエラーになり、どれを計算から外したのかも分かる必要がある。
だからといって、すべての文章の本文に技術的な詳細をすべて持ち込む必要はない。本文では問いと判断を説明し、その背後に詳細なプロトコル、設定、結果ファイルを置くことができる。
大切なのは、文章の主張と、それを支える記録の間の道が開かれていることだ。
同じコードを再実行できることも、その道の一部になる。ただし、再現できることだけでは、実験が適切な問いを立てたことは示せない。測定の誤りも、同じ条件で繰り返され得る。
だから、実行できることとともに、何を測ったのかを理解できることも必要になる。
新しい問いの中に古い判断を失わない
否定的な結果の後に、新しい仕組みを試すのは自然だ。
予算を変えてもよい。別の課題を選んでもよい。手法の一部分だけを検証してもよい。それぞれが意味のある続きになり得る。
しかし、新しい作業が始まったときも、以前の判断は見えるままであるべきだ。
ある予算で目標に届かなかった候補について、別の予算での結果を、同じ実験の答えを後から訂正したものとして見せてはいけない。どの条件を変え、その変更がなぜ新たな検証を必要とするのかを書けるようにしたい。
前の文章では、Evidrelで訂正が残す跡を考えた。ここにも似た記録の必要がある。新たな説明が現れたとき、以前の受け入れや棄却の根拠を失わないことだ。
Evidrelの研究ノートは、こうした記録と確認の判断の一部を扱っている。それが実験過程のすべてを管理する完成した基盤だという意味には受け取ってほしくない。ここでのつながりは、同じ責任に戻る。どの根拠と範囲で判断したのかを保つことだ。
次の研究の出発点
うまくいかなかった実験から、必ず新しい手法を生み出さなければならないわけではない。
特定の候補を先へ進めないために、結果だけで十分なこともある。測定の仕組みが不十分だと分かることもある。まだ答えられない問いを、より狭く記述できることもある。
公開するときには、そのどれに至ったのかを述べられるようにしたい。
ADLの例では、定めた課題と予算のもとで、検証した候補が期待した大きさの品質改善をもたらすとは示されなかった。この判断で研究計画全体が閉じたわけではない。しかし、その候補を成功した改善として見せる根拠にもならなかった。
私がそのような記録を大切だと思う理由は、失敗そのものではない。次の研究をどこから始めるべきか、より明確に残せるからだ。
よく保たれた実験記録は、数か月後に同じアイデアに戻ったとき、こう言えるものであってほしい。
この道を試した。この条件では、この期待を満たさなかった。もう一度試すなら、何をなぜ変えるのかを説明する必要がある。
出典について — 2026年10月18日：以前に確認したADL F2-041実験報告と、公開済みのADLの作業記録の知見を、実験をどう報告するかという問いから扱う。Evidrelとのつながりは、ローカル研究ノートの記録と確認の考え方に限られる。この文章のために新たな実験、再現実行、独立した評価は行っていない。
つながり
ADL F2-041で目標に届かなかった品質結果を、事前の成功条件と報告の判断範囲から考える。
判断の根拠と範囲を保つ必要をEvidrelのローカル研究ノートへつなぐ。完成した実験管理基盤とは位置付けない。
訂正の跡から、新しい説明が現れたときに以前の実験判断の根拠を保つ問いへ進む。
実験結果を再検討する道を残す問いを、ERMの既存の再現可能性の記録で具体化する。