Atlas’a dön
E-033 / Deneme

Daha az hesaplama, gerçekten daha az maliyet mi?

Bir sistemin tasarruf ettiğini söylemeden önce, hesabın sınırlarını belirlemek gerekiyor.

Bu içeriğin kavramları

Bir kavramdan yola çıkarak ilişkili yazıları ve çalışmaları keşfet.

Diğer kavramlar (1)

Bir modelin daha az çağrılması ilk bakışta iyi bir haber. Daha az işlem, daha kısa bekleme ve daha düşük kaynak tüketimi bekliyoruz.

Fakat çağrı sayısını azaltan mekanizmanın da bir işi var. Olasılıkları hazırlıyor, seçenekleri değerlendiriyor, hangisinin uygulanacağına karar veriyor. Bazen modelin yapmadığı işi, modelin çevresindeki sistem üstleniyor.

Bu durumda hesaplamanın bir bölümü ortadan kalkarken başka bir bölümü büyüyebiliyor.

ADL’deki bir deney, bu ayrımı görünür kıldı. Modelin ileri geçiş sayısı azaldı; fakat toplam ölçülen sürede tasarruf doğrulanmadı. Sonucun düşündürdüğü soru şuydu: Bir yöntemi daha ucuz bulurken, sistemin hangi bölümüne bakıyoruz?

Seçmenin de bir bedeli var

ADL, öğrenen model ile modele yapılacak müdahaleyi seçen mekanizmayı ayrı ele alıyor. F2-041 deneyinde aday yöntem, iki değişiklik önerisini ölçüyor ve eğitim hatasını daha fazla azaltanı seçiyordu.

Bu yaklaşım, karar vermeden önce daha fazla bilgi edinmeyi sağlıyordu. Ancak iki öneriyi hazırlamak ve değerlendirmek de zaman harcıyordu.

Güçlü karşılaştırma yöntemine göre model ileri geçişleri yaklaşık yüzde 36 azaldı. Buna karşılık müdahaleleri hazırlayan ve yöneten Controller’ın süresi yaklaşık yüzde 10,5 arttı.

Bu iki oranı birbirinden çıkararak toplam tasarrufu hesaplayamayız. Biri işlem sayısını, diğeri belirli bir bileşenin süresini anlatıyor. Aynı bütçe içindeki paylarını ve nasıl ölçüldüklerini bilmeden tek bir kazanç oranına dönüşmüyorlar.

Deneyde toplam ölçülen sürede bir tasarruf doğrulanmadı. Enerji tüketimi de ölçülmedi. Dolayısıyla daha az ileri geçişten daha düşük enerji tüketimi sonucu çıkarılamıyor.

Hangi işin maliyetini karşılaştırıyoruz?

Bir sistemin maliyetini konuşurken yalnızca harcadığı kaynağa bakmak eksik kalıyor. O kaynakla ne elde ettiğini de bilmemiz gerekiyor.

Daha az işlem yapan bir yöntem, daha düşük nitelikte bir sonuç üretebilir. Daha yüksek doğruluk sağlayan başka bir yöntem ise aynı işi tamamlamak için daha fazla süreye ihtiyaç duyabilir. Bu sonuçları karşılaştırabilmek için önce başarı koşulunu belirlemek gerekiyor.

ADL deneyinde hedef, aynı bir saniyelik CPU bütçesinde dört karşılaştırma yönteminin her birine karşı son doğrulukta en az üç yüzde puanlık kazanımdı. Güçlü karşılaştırmaya karşı gözlenen fark yaklaşık 0,09 yüzde puanda kaldı. Önceden belirlenen kalite koşulu karşılanmadı.

Daha az model ileri geçişi, bu kararı değiştirmedi. İşlem sayısı bakımından ilginç bir gözlemdi; fakat tek başına kalite veya toplam maliyet başarısı değildi.

Bu nedenle “daha verimli” ifadesinin yanında bir tamamlayıcıya ihtiyaç var: Hangi sonuç için, hangi bütçede, hangi karşılaştırmaya göre?

Hesabın dışında kalan işler

Bir model çağrısının çevresinde başka işlemler de bulunabilir: bilgi getirme, seçenek üretme, doğrulama, kayıt tutma veya başarısız bir adımı yeniden deneme.

Bunlar kullanılan sisteme göre değişir. Yine de ortak bir ölçüm sorusu doğururlar. Raporladığımız maliyet, yalnızca modelin çalışmasını mı kapsıyor, yoksa işi tamamlamak için gereken diğer aşamaları da içeriyor mu?

İki ölçümün de kullanım alanı var. Modelin kendi maliyetini bilmek, o bileşeni geliştirmek için yararlı. Kullanıcıya teslim edilen sonucun maliyetini bilmek ise bütün iş akışını değerlendirmeye yardımcı oluyor.

Önemli olan, bir ölçümün kapsamını diğerinin yerine kullanmamak.

ADL kayıtlarında Controller maliyetindeki farkın hangi alt işlemden kaynaklandığı belirlenmedi. Bu yüzden artışı yalnızca kopyalamaya, öneri hazırlamaya veya karşılaştırmaya bağlamak mümkün değildi. Toplam farkı görmek, nedenini bildiğimiz anlamına gelmiyordu.

Eksik ölçümü görünür bırakmak

Bir değeri ölçemediğimizde onu rapordan çıkarmak kolay. Ancak eksik değer de kararın bir parçası.

Enerjiyi ölçmediysek enerji tasarrufu hakkında sonuç vermemeliyiz. Uçtan uca maliyeti ölçmediysek bir bileşendeki azalmayı bütün sisteme taşımamalıyız. Kalite koşulu karşılanmadıysa işlem sayısındaki iyileşmeyi onun yerine koymamalıyız.

Nage AI OS ve SEDIM white paper’ındaki kaynak ve maliyet raporlaması yaklaşımı da bu açıklık ihtiyacıyla buluşuyor: Ölçülen değerin yanında yöntemini, kapsamını ve elde edilemeyen bilgileri belirtmek.

Bir sistemi geliştirmeye bazen daha az işlem yaptırarak başlarız. Devam edebilmek için o azalmanın nerede karşılık bulduğunu görmemiz gerekir.

Bir sonraki karara yetecek ölçüm

ADL’deki bu kayıttan çıkan sonuç, seçim mekanizmalarının gereksiz olduğu değil. Karar vermek için edinilen bilginin bedelini de değerlendirmek gerektiği.

Bir turda daha iyi bir müdahale seçmek değerli olabilir. Fakat o turu hazırlamak için harcanan süre, sağlanan ilerlemeyi sınırlayabilir. Bunu anlayabilmek için müdahale başına kazanımı ve zaman başına kazanımı birlikte incelemek gerekir.

Sonraki soruyu da bu ayrım belirliyor:

Daha az yaptığımız işlemler, aynı nitelikte bir sonucu gerçekten daha düşük toplam kaynakla elde etmemizi sağlıyor mu?


Kaynak notu: Yazı, önceki ADL yazısında kullanılan F2-041 ve F2-042 kayıtlarının 15 Ekim 2026 tarihli kapsamına dayanır; yeni bir deney sonucu bildirmez. Bulgular küçük, sentetik CPU göreviyle sınırlıdır.

ADL araştırması · ADL deney yazısı · Nage AI OS ve SEDIM üzerine

Okumaya devam

Bu yazıyla ortak konuları olan yayınlar.

Kanıt · Belirsizlik · Sistemler

Başarısız bir deney nasıl yayımlanır?

ADL’nin hedefi karşılamayan deneyinden, Evidrel’in karar izlerine: beklentiyi, gözlemi ve sonradan geliştirilen açıklamayı ayrı tutmak.

Bağlantıları

belgeler

ADL — AI-Directed Learning

ADL F2-041 ve F2-042 kayıtları üzerinden işlem sayısı ve toplam maliyetin ölçüm sınırlarını ele alır.

Daha az hesaplama, gerçekten daha az maliyet mi? — Ömer Asım