Bir deney beklediğimiz sonucu vermediğinde ne öğreniriz?

ADL çalışma notları — 01

Bir deneyin sonucu bazen tek bir cümleyle kapanır: Beklenen kazanım elde edilemedi.

Fakat o cümlenin arkasında başka sorular kalır. Denediğimiz mekanizma nerede işe yaradı? Sağladığı küçük avantaj hangi maliyetle geldi? Hangi beklentiyi bırakmalı, hangi soruyu takip etmeliyiz?

ADL’deki son deneylerden biri bu soruları somutlaştırdı. İki öğrenme müdahalesini karşılaştırıp daha iyi görüneni seçmek, makul bir başlangıç fikriydi. Sonuç ise bu seçimin değerini ölçmek için daha dikkatli bir hesaba ihtiyaç olduğunu gösterdi.

Daha iyi bir seçim, daha iyi öğrenme getirir mi?

ADL, öğrenen model ile modele yapılacak müdahaleleri seçen mekanizmayı ayrı ele alan bir araştırma çalışması. Modelin nasıl değişeceği kadar, bu değişikliğe nasıl karar verildiği de araştırmanın konusu.

Bu deneyde dar bir soru sınandı:

Her adımda iki değişiklik önerisini ölçüp eğitim hatasını daha fazla azaltanı seçmek, aynı süre içinde daha iyi bir sonuç verir mi?

Mekanizma şöyle çalışıyordu: Modelin mevcut durumundan iki ayrı deneme kopyası oluşturuluyor, her kopyada bir öneri ölçülüyordu. Eğitim hatası daha düşük olan öneri seçiliyor; gerekli iyileşme koşulu sağlanırsa yalnız o değişiklik canlı modele aktarılıyordu.

Böylece karar, tek öneriyi denemeye göre daha fazla bilgiye dayanıyordu. Ancak bu bilgiyi edinmenin de bir masrafı vardı.

Sonuca bakmadan önce ölçütü belirlemek

Bir yöntemin bazı karşılaştırmalarda iyi görünmesi kolayca ikna edici olabilir. Bu yüzden deneyin başarı ölçütü koşulardan önce belirlendi.

Aday yöntemin, aynı bir saniyelik CPU bütçesinde dört karşılaştırma yönteminin her birine karşı son doğrulukta en az 3 yüzde puanlık kazanım sağlaması bekleniyordu.

Bu koşul önemliydi. Daha zayıf bir yöntemi geçmek, güçlü bir yönteme karşı yeterli ilerleme sağlandığı anlamına gelmeyecekti.

Deney küçük, sentetik bir sınıflandırma görevi üzerinde yürütüldü. Yirmi farklı rastgele başlangıç, altı yöntem ve üç zaman tekrarı kullanıldı. Eğitim sırasında kullanılmayan değerlendirme verisindeki doğruluk, koşunun sonunda ölçüldü. Ara sonuçlardan en iyi görünen nokta seçilmedi.

Sonuç birbirine çok yakındı

İki öneriden iyisini seçen aday ile güçlü karşılaştırma yöntemi şu sonuçları verdi:

Yöntem	Son değerlendirme doğruluğu
İki öneriyi ölçüp iyisini seçme	%91,11
Tek koordinat önerisini eşit olasılıkla seçme	%91,02

Aradaki fark yaklaşık 0,09 yüzde puandı.

Önceden belirlenen hedef 3 yüzde puandı. Bu karşılaştırmadaki belirsizlik aralığının üst sınırı da hedefin altında kaldı. Dolayısıyla deneyin birincil kalite hipotezi reddedildi.

Bu kararın kapsamı belirli: Bu mekanizmanın, bu görev ve bütçe altında beklenen büyüklükte kazanım sağladığı gösterilemedi. ADL’nin bütün araştırma soruları bu tek sonuçla kapanmış olmadı.

Yine de sınanan aday için karar açıktı. Onu başarılı bir kalite iyileştirmesi olarak ilerletmek için yeterli dayanak yoktu.

Seçim faydalı görünüyordu; hesabı tamamlamak gerekiyordu

Deneyde ek bir kontrol vardı. Bu kontrol de iki öneriyi ölçüyor, fakat sonuçlarına göre seçim yapmak yerine ilk öneriyi kullanıyordu.

Daha iyi öneriyi seçen aday, bu kontrolün yaklaşık 0,97 yüzde puan üzerinde sonuç verdi. Bu, seçimin katkısına dair keşifsel bir bulguydu. Fakat güçlü karşılaştırma yöntemine karşı önceden belirlenen başarı koşulunu karşılamıyordu.

Maliyet tarafında da iki farklı yön ortaya çıktı.

Aday, güçlü karşılaştırma yöntemine göre yaklaşık %36 daha az model ileri geçişi kullandı. Buna karşılık müdahaleyi hazırlayan, ölçen ve yöneten Controller’ın süresi yaklaşık %10,5 arttı. Toplam ölçülen sürede bir tasarruf doğrulanmadı.

Model çağrılarının azalması tek başına yeterli bir hesap değildi. Seçim mekanizmasının harcadığı zamanı da aynı bütçenin içinde görmek gerekiyordu.

Enerji tüketimi ve bütün iş akışının uçtan uca maliyeti bu deneyde ölçülmedi. Bu nedenle sonuçtan o alanlara ilişkin bir tasarruf iddiası çıkarılamaz.

Aynı kayıtlar yeni bir soruya dönüştü

Sonucun ardından mevcut deney kayıtları yeniden incelendi. Bu inceleme için yeni bir öğrenme koşusu yapılmadı.

Soru bu kez daha dardı: Seçim mekanizması, yaptığı her müdahale başına ne kadar ilerleme sağlıyordu? Bu ilerleme, harcadığı zamana bölündüğünde nasıl görünüyordu?

Keşifsel analizde iki öneriden iyisini seçmek, ilkini kullanan kontrole göre tur başına eğitim ilerlemesini yaklaşık %15 artırdı. Ancak güçlü karşılaştırma yöntemine göre Controller saniyesi başına eğitim ilerlemesi yaklaşık %12 daha düşüktü.

Bu iki gözlem birlikte anlamlıydı. Bir turda daha iyi bir değişiklik seçmek mümkün görünüyordu; o turu hazırlayıp değerlendirmek için harcanan zaman, avantajı sınırlayabiliyordu.

Analiz, toplam Controller maliyetindeki farkın hangi alt işlemden kaynaklandığını belirlemedi. Bu yüzden sorunu yalnız kopyalamaya, öneri üretmeye veya sıralamaya bağlamak için yeterli veri yoktu.

Sıradaki deneyi ne değiştirmeli?

Bu deney hattı kapatıldı. Aynı adayın tohumlarını, bütçesini veya ayarlarını değiştirerek daha elverişli bir sonuç aramak yerine kayıtları korumak ve farklı bir mekanizmayı ayrı bir soruyla sınamak tercih edildi.

Bir sonraki aday, tek öneriyi yalnız eğitim hatasına göre değerlendirmek yerine ağırlık büyüklüğüne sabit bir ceza ekleyen kabul ölçütünü araştırıyor. Mekanizmanın uygulaması ve testleri tamamlandı; kalite katkısı henüz sınanmış değil.

Burada da iki ayrı eşik var: Mekanizmanın tarif edildiği gibi çalışması ve öğrenmeye beklenen katkıyı sağlaması. İlk eşikten geçmek, ikinci eşik hakkında sonuç vermiyor.

ADL’deki bu deneyden kalan en yararlı şey, beklentinin daha açık bir soruya dönüşmesi oldu:

Bir müdahaleyi seçmek için harcadığımız hesap, o müdahalenin sağladığı ilerlemeye değiyor mu?

Sonraki deneyin cevap arayacağı yer burası.

---

Kaynak notu — 15 Ekim 2026: Yazı, F2-041 deney raporu, F2-042 keşifsel kayıt analizi ve F2-043 uygulama raporuna dayanır. Sonuçlar küçük sentetik CPU göreviyle sınırlıdır. Bu çalışma notu belirtilen kaynak kesimini anlatır; canlı bir deney durum raporu değildir.

ADL araştırma sayfası