Başarısız bir deney nasıl yayımlanır?

Beklediğimiz sonucu vermeyen bir deneyi anlatırken, beklentiyi, gözlemi ve sonradan geliştirdiğimiz açıklamayı birbirinden ayırabilmeliyiz.

Bir araştırma raporunun sonuna şu cümleyi yazdığımızı düşünelim: Beklenen kazanım elde edilemedi.

Cümle doğru olabilir. Fakat tek başına, geride kalan çalışmayı anlamaya yetmez.

Neyi bekliyorduk? Hangi koşullarda denedik? Sonuç hedefin ne kadar uzağında kaldı? Deney düzgün çalıştı mı? Elimizdeki kayıtlar başka bir soruya cevap verebilir mi?

Başarısız bir deneyi yayımlamanın güçlüğü burada başlıyor. Sonucu saklamak istemiyoruz. Aynı zamanda, her olumsuz sonucu değerli bir keşif gibi sunmak da istemiyoruz.

Okurun ihtiyacı daha somut: neyin denendiğini, neyin gözlendiğini ve bundan hangi kararı çıkardığımızı anlayabilmek.

Önce neyin başarısız olduğunu söylemek

“Deney başarısız oldu” ifadesi birkaç farklı durumu örtebilir.

Program çalışmamış olabilir. Ölçümde hata bulunmuş olabilir. Deney tamamlanmış, fakat sonuç karar vermeye yetmemiş olabilir. Ya da sınamak istediğimiz hipotez, önceden belirlediğimiz ölçütü karşılamamış olabilir.

Bu durumların ardından yapılacak işler farklıdır.

Ölçüm bozuksa önce ölçümü düzeltmek gerekir. Belirsizlik yüksekse elimizdeki verinin karar sınırını açıkça göstermek gerekir. Hipotezin beklediği kazanım elde edilmediyse de bu kararı, daha elverişli görünen başka bir ölçümün arkasında bırakmamak gerekir.

Bu nedenle raporun ilk işi başarısızlığa bir anlam yüklemekten önce, hangi durumla karşı karşıya olduğumuzu tarif etmek olmalı.

Başarı ölçütünü sonuçla birlikte değiştirmemek

ADL’de daha önce ele aldığım deney, bu ayrımı somutlaştırıyor.

Soru şuydu: Her adımda iki öğrenme müdahalesini ölçüp daha iyi görüneni seçmek, aynı süre içinde daha iyi bir sonuca ulaşmayı sağlar mı?

Önceden belirlenen başarı koşulu, aday yöntemin dört karşılaştırmanın her birine karşı son değerlendirme doğruluğunda en az 3 yüzde puanlık kazanım sağlamasıydı.

Güçlü karşılaştırma yöntemiyle arasındaki gözlenen fark ise yaklaşık 0,09 yüzde puan oldu. Bu karşılaştırmadaki belirsizlik aralığının üst sınırı da hedefin altında kaldı. Raporun birincil kalite hipotezi bu nedenle reddedildi.

Aynı kayıtlarda daha olumlu görünen başka karşılaştırmalar da vardı. İki öneriden iyisini seçmek, iki öneriyi ölçüp ilkini kullanan kontrole göre avantaj gösteriyordu. Fakat bu gözlem, başlangıçtaki başarı koşulunun yerine geçmiyordu.

Raporu yazarken korunması gereken sınır bu: Sonradan ilginç bulduğumuz bir gözlem, önceden sorduğumuz sorunun cevabını değiştirmemeli.

Başka bir soru açabilir. Bunun için ayrı bir yeri olmalı.

Gözlemi, açıklamasından ayırmak

Bir sonuç beklentiyi karşılamadığında nedenini açıklamak istiyoruz.

Belki seçim mekanizması fazla zaman harcıyordu. Belki önerilerin hazırlanması pahalıydı. Belki denediğimiz görev, mekanizmanın avantaj göstereceği bir görev değildi.

Bunlar araştırılabilecek açıklamalar. Ancak bir açıklamanın makul olması, ölçülmüş olmasıyla aynı şey değil.

ADL kaydında model ileri geçişlerinin azalmasına karşılık müdahaleyi hazırlayan ve yöneten mekanizmanın süresinin arttığı görülüyordu. Toplam ölçülen sürede tasarruf doğrulanmamıştı. Fakat bu farkın hangi alt işlemden kaynaklandığı aynı kayıtlardan belirlenmemişti.

Burada raporun durabileceği dürüst bir yer var:

Bu farkı gözledik. Farkın hangi işlemden kaynaklandığını henüz ayırmadık.

Bu cümle bir sonraki deneyin neden gerekli olduğunu da açıklıyor. Ölçülmemiş bir nedeni kesinleştirdiğimizde ise sonraki çalışmayı, henüz sınanmamış bir açıklamanın üzerine kurmuş oluyoruz.

Okura sonucu yeniden inceleyebileceği bir yol bırakmak

Bir deneyin yayımlanması, sonucu anlatan metnin erişilebilir olmasıyla tamamlanmıyor.

Okur kullanılan sürümü, verinin nasıl ayrıldığını, karşılaştırmaların hangi bütçeyle çalıştığını ve sonucun hangi kayıtlardan hesaplandığını takip edebilmeli. Hangi koşuların tamamlandığı, hangilerinin hata verdiği ve hangilerinin hesap dışında tutulduğu da anlaşılır olmalı.

Bunun her yazıda bütün teknik ayrıntıları ana metne taşımak anlamına gelmesi gerekmiyor. Ana metin soruyu ve kararı anlatabilir; ayrıntılı protokol, yapılandırma ve sonuç dosyaları bu anlatının arkasında durabilir.

Önemli olan, metindeki iddia ile onu taşıyan kayıt arasındaki yolun açık olması.

Aynı kodu yeniden çalıştırabilmek de bu yolun bir parçası. Yine de yeniden üretim, deneyin doğru soruyu sorduğunu tek başına göstermez. Bir ölçüm hatası da aynı koşullarda tekrar edebilir.

Bu yüzden çalıştırılabilirlik kadar, neyin ölçüldüğünü anlayabilmek de gerekir.

Eski kararı yeni sorunun içinde kaybetmemek

Olumsuz bir sonucun ardından yeni bir mekanizma denemek doğal.

Bütçeyi değiştirebiliriz. Başka bir görev seçebiliriz. Yöntemin yalnız bir parçasını sınayabiliriz. Bunların her biri anlamlı bir devam olabilir.

Fakat yeni çalışma başladığında önceki karar görünür kalmalı.

Bir bütçe altında hedefi karşılamayan adayın, başka bir bütçedeki sonucu aynı deneyin sonradan düzeltilmiş cevabı gibi sunulmamalı. Hangi koşulu değiştirdiğimizi ve bu değişikliğin neden yeni bir sınama gerektirdiğini yazabilmeliyiz.

Önceki yazıda, Evidrel’de bir düzeltmenin bıraktığı izi ele almıştım. Burada da benzer bir kayıt ihtiyacı var: yeni açıklama geldiğinde, eski kabulün veya reddin gerekçesini kaybetmemek.

Evidrel’in araştırma defteri bu tür kayıt ve inceleme kararlarının bazı parçalarını ele alıyor. Bunun bütün deney sürecini yöneten tamamlanmış bir altyapı olduğu anlamı çıkarılmamalı. Buradaki bağlantı, aynı sorumluluğa dönüyor: bir kararın hangi dayanakla ve hangi kapsamda verildiğini korumak.

Bir sonraki çalışmanın başlangıç noktası

Başarısız bir deneyden mutlaka yeni bir yöntem çıkarmak zorunda değiliz.

Bazen sonuç, belirli bir adayı ilerletmemek için yeterlidir. Bazen ölçüm düzeninin yetersiz olduğunu gösterir. Bazen de henüz cevap veremediğimiz soruyu daha dar tarif etmemizi sağlar.

Yayımlarken bunlardan hangisine ulaştığımızı söyleyebilmeliyiz.

ADL örneğinde, sınanan adayın belirlenen görev ve bütçe altında beklenen büyüklükte kalite kazanımı sağladığı gösterilemedi. Bu karar, bütün araştırma programının kapandığı anlamına gelmiyordu. Ama adayın başarılı bir iyileştirme olarak sunulmasına da dayanak vermiyordu.

Böyle bir kaydı değerli bulmamın nedeni, başarısızlığın kendisi değil. Sonraki çalışmanın nereden başlaması gerektiğini daha açık bırakması.

İyi tutulmuş bir deney kaydı, aylar sonra aynı fikre döndüğümüzde bize şunu söyleyebilmeli:

Bu yolu denedik. Şu koşullarda, şu beklentiyi karşılamadı. Yeniden deneyeceksek neyi neden değiştirdiğimizi açıklamamız gerekiyor.

---

Kaynak notu — 18 Ekim 2026: Yazı, daha önce incelenen ADL F2-041 deney raporunun ve yayımlanan ADL çalışma yazısının bulgularını, deney raporlama sorusu üzerinden ele alır. Evidrel bağlantısı yerel araştırma defterinin kayıt ve inceleme yaklaşımıyla sınırlıdır. Bu yazı için yeni deney, yeniden üretim koşusu veya bağımsız değerlendirme yapılmamıştır.

Bağlantılar: ADL araştırma sayfası · Evidrel araştırma sayfası · Önceki yazı: Evidrel’de bir düzeltmenin izi

Atlas kavramları: Kanıt · Belirsizlik · Bağlam · Geçmiş · Bilgi · Sistemler