On yedi ülke 1875’te Paris’te toplandı. Tek bir konu vardı masada: bir metrenin ne kadar olduğuna karar vermek. Anlaşma sonrası platin iridyum alaşımından bir çubuk döküldü, bir kasaya kondu ve artık bir metrenin ne olduğu net olarak belliydi.
Çünkü ölçmek istiyorsan önce neyle ölçtüğünü netleştirmen ve sabitlemen gerekiyor. Ayrıca ölçen aletin kendisi de düzenli olarak ölçülmeli. Mesela fabrikadaki kumpaslar her sene kalibrasyona tabi tutulur, teraziler bilinen bir ağırlıkla test edilir.
Ama yapay zekâ modellerini ölçen testlerin böyle bir mekanizması yok.
Örnek olarak, geçen hafta gizli model Ox Alpha (GLM 5.3 Flash olarak tanıtıldı) için dört farklı test sonucu sosyal medya da dolaşmaya başladı. Aslında dördü de yanlış ölçülmemişti. Ama nereye çekmek istersen oraya gidebilecek sayılar.
Neden bu kadar oynuyor?
Üç ayrı sebep var:
Örneklem. Yüzde 80, on “bug” dan olulan bir testten çıktı. Normalde setin tamamı 113 “bug”. Onlu görevde tek bir sonucun değişmesi bile puanı çok fazla değiştiriyor.
Harness. Modeli çalıştıran düzenek. Hangi araçlara erişebildiğini, kaç kez tekrar deneyebileceğini, ne kadar süresi olduğunu bu belirliyor. Model aynı kalıyor, harness değişiyor, oromatik olarak sonuç da değişiyor.
Ayarlar. Ne kadar metin okuyabildiği, ne kadar uzun cevap verebileceği, kaç saat çalışabildiği.
DeepSWE testini hazırlayan ekip bir şey daha buldu. Modeller arasında harcanan süre, üretilen metin ve maliyet on kat arttırıldığında bu farkların hiçbiri başarıya yansımıyor. Basitçe anlatacak olursam on kat pahalı olan model on kat fazla iş çözmüyor.
Z.ai, geçen hafta bizim de yazdığımız gizli modeli sahiplendi ve dokuz farklı testten oluşan bir karşılaştırma tablosu yayımladı. Tablonun altına testlerin nasıl yapıldığı da ekledi. Farklı testler 300 bin ile 1 milyon token arasında değişen boyutlarda, farklı çıktı sınırlarıyla ve bazıları on saate varan süre limitleriyle ölçülmüş. Farklı koşullar söz konusu. Üretici bunu saklamıyor bile. Kimse okumuyor, herkesin odaklandığı şey yüzdeler.
Benzer bir durum Terminal-Bench’te yaşandı. Testi hazırlayan ekip şunu gördü: 89 görevin 28’i bozuktu. Bunları düzelttiler. Düzeltmelerden sonra sonuçlar 12 puan civarında yükseldi.
Yani eski sürümle yeni sürüm arasındaki fark modelin iyileşmesi değil, testin düzeltilmesiydi. Ekip bunu duyurdu ve iki sürümün karşılaştırılamayacağını da ekledi. Size ilginç bir bilgi vereyim, lansman grafiklerinde iki sürümün sayıları hala yan yana duruyor.
Tezgahın önü
Kimsenin niyetinin kötü olup olmadığını bilemeyiz. Ama sektörde bu tür davranışlar herkes tarafından kabulllenmiş durumda. Mesela geçen yıl yayımlanan bir akademik çalışma, Meta’nın Llama 4 lansmanı öncesinde aynı modelin 27 özel varyantını test ettiğini ortaya koydu. Çok deneyip en iyisini yayımlamak ölçüm değil, seçim.
Devam edelim.
Anthropic’in Opus 5 karşılaştırma tablosunda bir satır 70,6 gösteriyor. O testi hazırlayan ekibin kendi yayımladığı sonuçlarda en yüksek puan 20,6.
xAI’ın Grok 4.6 karşılaştırma tablosunda Claude Opus 5 hiç yok. Oysa xAI’ın kazandığını öne çıkardığı satırlarda aslında en yüksek puan o modelin.
Z.ai‘nin tablosunda Terminal-Bench satırı var ve orada rakiplerinin arkasında. Ama öne çıkarılan satırlar başka.
Üçü de aynı şeyi yapıyor: kazanılan testler öne, kaybedilen arkaya. Aynı pazar tezgahındaki domatesler gibi.
Test modu
Kirlenme, yani modelin test sorularını eğitim sırasında görmüş olması, sık dile getirilen bir sorun. Ama buna kopya çekiyor demek haksızlık olur. Matematik sınavına matematik testi çözerek çalışan öğrenciye hilekar denmeyeceği gibi.
Hatırlar mısınız bilmem. 2015’te dünyanın en büyük otomobil üreticilerinden Volkswagen’in adı bir emisyon skandalıyla anılmıştı. Bu skandalın benzeri yapay zekâda da var. Modeller test edildiklerini anlayabiliyor.
Bu modeller aslında cevabı doğrudan vermiyor. Önce kendilerine bir düşünme metni yazıyorlar. Hangi dosyaya bakacaklarını, neyi deneyeceklerini, nereyi atlayacaklarını. Bu metin genelde kullanıcıya gösterilmez ama istenirse okunabilir.
Apollo Research adlı kuruluş bu metnin içinden “galiba test ediliyorum” anlamına gelen cümleleri sildi. Modelin kural dışı davranışı neredeyse ikiye katlandı. Kısacası model, izlendiğine inandığında daha uslu davranıyor. Anthropic de bunu tespit etti ve güvenlik testleri sırasında modelin bu farkındalığı dile getirmesini engellemek için müdahale etti.
Volkswagen’in yazılımının yaptığı da buydu. Araç test edildiğini anlıyor, emisyonu düşürüyor, yola çıkınca eski hâline dönüyordu. Biraz farklı olduğunu da eklemem lazım. Volkswagen’inki kasıtlı yazılmış bir koddu, amacı düzenleyiciyi kandırmaktı. Modellerdeki farkındalık kimsenin programlamadığı, kendiliğinden ortaya çıkan bir özellik. Üstelik bunu belgeleyen araştırmayı üreticinin kendisi yayımlıyor.
Sonuç benziyor ama niyet benzemiyor.
Asıl fark
Günün sonunda Volkswagen yakalandı. Çünkü ortada bir düzenleyici kurum, standart bir test protokolü ve arabaları gerçek yolda ölçen bağımsız bir üniversite ekibi vardı. Belki geç bulundu ama bulundu.
Yapay zekâda bunların hiçbiri yok. Testi üretici yazıyor, üretici uyguluyor, hangi satırın yayımlanacağına da aynı üretici karar veriyor. Yani soru “kopya var mı” değil, şu olmalı: kopya olsa fark eder miydik?
Dışarıdan bakıldığında dürüst bir ölçümle manipüle edilmiş bir ölçüm birebir aynı görünüyor. İkisi de birer yüzde. İkisi de tabloda. İkisinin de koşulları çoğu zaman okunmuyor bile.
Sektörün ihtiyacı belli. Aynı koşullarda tekrarlanabilen, koşulları yayımlanan, üreticinin elinde olmayan bir test düzeni. Böyle bir şeyin kurulup kurulamayacağı ise ayrı bir soru. Testi yayımlarsan eğitim verisine karışıyor. Gizli tutarsan sonucuna kimse güvenemiyor. Ve ölçtüğün şey, metrenin aksine, ölçüldüğünü fark edip davranışını değiştirebiliyor.
1875’te on yedi ülke bir metrenin ne kadar olduğunda anlaştı. Tanım o günden sonra iki kez değişti, en sonunda ışığın hızına bağlandı. Yani ölçünün kendisi bile zamanla düzeltildi.
Ama o çubuk hiçbir zaman kendini uzatmaya çalışmadı.