Bir sonucu yeniden elde etmek için yalnız kodu saklamak yetmiyor. Hangi girdilerle, hangi sürümde ve hangi değerlendirme kurallarıyla o sonuca ulaşıldığını da korumak gerekiyor.
Bir raporda 40 sorunun 40’ının da beklentiyle eşleştiğini okumak mümkün.
Fakat aylar sonra aynı çalışmaya döndüğümüzde bu sayı tek başına yeterli olmayacak. Sorular değişmiş olabilir. Beklenen cevaplar yeniden yazılmış olabilir. Motorun yeni sürümü, önceki sorulara başka bir yoldan cevap veriyor olabilir.
Aynı sayıyı yeniden görmekle aynı sonucu yeniden elde etmek arasında bir mesafe var.
Önceki yazıda, bir deneyin sonucunu yayımlarken okura onu yeniden inceleyebileceği bir yol bırakmayı tartışmıştım. ERM’nin mevcut doğrulama kayıtları, bu yolun nasıl kurulabileceğine dair somut bir örnek sunuyor.
Burada yeni bir koşunun sonucunu anlatmıyorum. 6 Ekim 2026 tarihli kayıtları açıp, yeniden üretilebilirlik için nelerin korunmuş olduğuna bakıyorum.
Önce hangi ERM olduğunu belirlemek
Bu yazının konusu, ERM v0.12 ilişkisel bellek prototipi.
Bu prototip, belirli bir olayın ilişkisel yapısı ile aynı olay hakkında kaydedilmiş açık beyanları birlikte değerlendiriyor. Örneğin geçici kullanım yapısını destekleyen ilişkiler bulunurken, aynı aktarım hakkında bunun iade esaslı kullanım olmadığını söyleyen bir kayıt da bulunabilir.
Sistem bu durumda iki desteği birlikte göstererek çelişkiyi bildiriyor.
Buradaki araştırma hattı, RGM / Bağ Uzayı H1a erişim deneylerinden ayrı. İkisinin belgelerini veya sonuçlarını aynı yeniden üretim kaydına yerleştirmek, hangi mekanizmanın sınandığını belirsizleştirir.
Dolayısıyla ilk kayıt, çalıştırma komutundan önce geliyor: Hangi sürümün, hangi sorusunu yeniden inceliyoruz?
Eski soruları korumak, yeni soruları ayırmak
Yeni bir özellik eklediğimizde iki şeyi öğrenmek istiyoruz.
Önceki davranışlar korunmuş mu? Yeni özellik, kendisi için hazırlanan durumlarda nasıl davranıyor?
Bu iki soruyu aynı sonuç sayısında eritmek kolay. Fakat o zaman iyileşmenin veya bozulmanın nereden geldiğini takip etmek zorlaşır.
ERM’nin 6 Ekim kaydında önceki soru ve karşı örnek girdileri değiştirilmeden korunmuş. Yeni birleşik anlam sorgusunun senaryoları ayrı bir dosyada tutulmuş.
| Kontrol grubu | Kayıtta bildirilen sonuç |
|---|---|
| Önceki 40 soru | 40/40 eşleşme; önceki ayrıntılı cevap ve kanıtlar korunmuş |
| Önceki karşı örneklerin 36 sorgusu | 36/36 eşleşme; önceki ayrıntılı cevap ve kanıtlar korunmuş |
| Yeni 20 senaryodaki 25 aşamalı yargı | 25/25 beklenen yargıyla eşleşme |
Bunlar farklı kontrol grupları. Toplayıp tek bir genel başarı oranına dönüştürmek, neyin sınandığını anlatmayı zorlaştırır.
Yeni senaryolar; aynı çerçevedeki karşıt beyanları, başka zamana veya nesneye ait kayıtları, belirsiz aktarım referanslarını ve kaynak değişimlerini ayrı ayrı ele alıyor.
Önceki sınavın korunması ile yeni davranışın sınanması böylece birbirinden okunabiliyor.
Dosyanın adı aynıysa, içeriği de aynı mı?
Bir dosyayı aynı adla saklamak, aynı girdiyi koruduğumuzu göstermiyor.
İçindeki tek bir ilişki, beklenen etiket veya değerlendirme kuralı değişmiş olabilir. Sonuç yine aynı görünse bile artık başka bir sınamadan söz ediyor olabiliriz.
Bu nedenle protokol, motor kaynaklarını ve dört JSON girdisini nihai çalışmadan önce SHA-256 dosya özetleriyle kilitliyor. Dosya değiştiğinde yeni sınav sürümü gerekiyor.
Bu yazıyı hazırlarken dört mevcut girdi dosyasının özetlerini kilit kaydıyla karşılaştırdım; eşleştiler. Bu yalnız dosya bütünlüğü kontrolüydü. Motoru yeniden çalıştırmış veya sonucu bağımsız olarak doğrulamış olmadım.
Dosya özeti, içeriğin doğru olduğunu söylemez. Hangi içeriğin kullanıldığını ayırt etmemize yardım eder.
Yeniden üretim kaydı için bu ayrım önemli: önce aynı parçaları inceleyip incelemediğimizi bilmeliyiz.
Aynı etiketin arkasındaki dayanaklar
Bir sorgunun yeniden conflicting sonucunu vermesi yeterli mi?
Belki sonuç etiketi aynı kalmış, fakat artık başka bir olayın ilişkileri kullanılmıştır. Belki geri çekilen bir kaynak hâlâ destek sayılıyordur. Belki cevap, mevcut revizyonda bulunmayan bir kayda dayanıyordur.
ERM’nin protokolü bu nedenle yalnız son etikete bakmıyor.
Yargıdaki kanıtların mevcut revizyona ve görünür kaynak bağlamlarına ait olması gerekiyor. Yapısal açıklama, sorgulanan aktarımı içermeli; gerekli öncüller canlı kaynak desteğine dayanmalı.
Her aşamada sorgudan önceki ve sonraki kalıcı durum da karşılaştırılıyor. Okuma işleminin belleği değiştirmemesi bekleniyor. Kaydedilip yeniden yüklenen durumda aynı ayrıntılı cevabın elde edilmesi ayrıca kontrol ediliyor.
Böylece yeniden üretim sorusu genişliyor:
Aynı cevabı mı aldık; aynı cevabı aynı dayanaklarla mı aldık?
Bu, özellikle kaynak çekme ve revizyon değişikliklerinde anlam kazanıyor. Önceden desteklenen bir sonucun, desteği ortadan kalktıktan sonra yalnız eski cevabı koruduğu için yeniden başarılı sayılmaması gerekiyor.
Beklenen cevabı kim yazdı?
Kayıttaki eşleşmeleri okurken bir soru daha sormalıyız: Beklenti nereden geliyor?
Yeni senaryoların beklenen yargıları geliştirici tarafından yazılmış. Motorun çıktısından hesaplanmıyorlar. Protokol, beklenen etiketi değiştirmenin motor cevabını değiştirmediğini de denetliyor.
Bu, değerlendirme etiketinin cevabı doğrudan belirlemesini önlemeye yönelik bir kontrol.
Ancak bağımsız insan değerlendirmesi sağlamıyor.
İlişkiler ve anlam bağlantısı elle tanımlı. Prototip doğal dilde bir anlatıyı okuyup bütün bu yapıyı kendisi çıkarmıyor. Mevcut anlam köprüsü de açıkça belirlenmiş dar bir ilişkiye dayanıyor.
Bu nedenle raporda iki durum ayrı tutuluyor: sentetik teknik protokolün geçilmesi ve insan anlamı doğrulaması.
İkincisi hâlâ human_meaning_validated=false olarak kayıtlı. İnsan değerlendirme formlarındaki yargı ve gerekçe alanları boş bırakılmış.
Bu boşluk, raporun tamamlanmamış bir cümlesi gibi görünebilir. Aslında hangi kanıtın henüz bulunmadığını açıkça gösteriyor.
Yeniden dönebileceğimiz bir kayıt bırakmak
6 Ekim raporu ayrıca 348 motor testinin, 16 protokol testinin ve 127 teknik kontrolün geçtiğini bildiriyor. Bunlar farklı sorumlulukları denetleyen kontroller; araştırmanın kapsamından bağımsız bir doğruluk garantisi oluşturmuyorlar.
Bu kaydın sağlayabildiği şey daha belirli: korunmuş girdiler altında eski davranışları karşılaştırmak, yeni özelliğin tanımlanmış senaryolardaki cevaplarını incelemek ve cevapların kaynaklarını takip etmek.
Başka bir ortamda yeniden çalıştırma yapıldığında da o koşunun kendi kaydı gerekecek. Kullanılan sürüm, ortam, komut, girdiler, tamamlanma durumu ve önceki sonuçtan ayrılan noktalar ayrıca yazılmalı.
Bir fark çıkarsa onu yalnız “yeniden üretilemedi” diye kapatmak yeterli olmayacak. Önce farkın girdiden mi, ortamdan mı, uygulamadan mı yoksa değerlendirme kuralından mı geldiğini araştırmak gerekecek.
Bir araştırma kaydından beklediğim şey bu geri dönüşü mümkün kılması.
Aylar sonra raporu açtığımızda yalnız kaç kontrolün geçtiğini değil, hangi soruya hangi parçalarla cevap arandığını da okuyabilmeliyiz. O zaman aynı çalışmayı yeniden yürütmek, onu yeniden anlamanın da bir yolu olabilir.
Kaynak notu — 18 Ekim 2026: Yazı, ERM ilişkisel bellek v0.12 belgeleri ile 6 Ekim tarihli Örüntü–Beyan Tutarlılığı v0.4 protokolü, karşılaştırma, kilit ve dosya denetimi kayıtlarına dayanır. Dört mevcut girdi dosyasının SHA-256 değerleri kilit kaydıyla karşılaştırılmıştır. Bu yazı için motor testleri veya yeniden üretim koşusu çalıştırılmamış, bağımsız insan değerlendirmesi yapılmamıştır.
Bağlantılar: ERM araştırma sayfası · Önceki yazı: Başarısız bir deney nasıl yayımlanır?
Atlas kavramları: Bellek · İlişki · Bağlam · Geçmiş · Kanıt · Anlam
Bağlantıları
ERM v0.12 ilişkisel bellek prototipinin 6 Ekim tarihli korunmuş girdi, kanıt, yeniden yükleme ve doğrulama kayıtlarını inceler; RGM/H1a hattından ayrı tutar.
Bir deneyin sonucunu yeniden inceleme yolunu açık bırakma sorusunu, ERM’nin mevcut yeniden üretilebilirlik kayıtlarıyla somutlaştırır.