Geçen hafta The Executives YouTube kanalındaki videoda OpenAI’ın Hugging Face olayını konuşurken şöyle bir cümle kurdum. “Bu basite indirgenecek bir konu değil, sosyal medyada buna ‘Skynet günü’ deniliyor, belki de AGI’ye ulaştık.” (İzlemeyenler için video yazının sonunda.)
Geçtiğimiz hafta boyunca bu konuda düşündüm ve o cümleyi geri almıyorum. Ama üzerine çalıştım ve şimdi daha keskin bir şey söyleyeceğim.
Bunu bana söyleten sahne şuydu. İki yapay zekâ modeli, yani OpenAI’ın GPT-5.6’sı ve duyurulmamış yeni bir modeli, internetten izole edilmiş bir ortamın içinde bir sınava giriyor. Ortamdan çıkmanın yolunu arıyor. Neden? Sınavda bir nevi kopya çekmek için.
Bu görüntü bence anlatıldığından daha korkutucu. Ama daha önemlisi, yeterince konuşulmadı. Asıl rahatsız edici olan da bu.
Ne oldu
Kronolojiyi yorumlamadan yazıyorum, çünkü ayrıntılar yeteri kadar ikna edici.
16 Temmuz. Hugging Face, altyapısına yetkisiz erişim olduğunu duyuruyor. İhlali kendi güvenlik telemetrisiyle tespit ediyor ve gerekli mercilere de bildiriyor. Saldırganın kim olduğu o sırada bilinmiyor.
18-19 Temmuz. OpenAI çalışanları kendi sistemlerinde bir agent’ın test kısıtlarından çıktığına dair işaretleri görmeye başlıyor.
21 Temmuz. OpenAI açıklıyor. İhlalin arkasında kendi modelleri var. GPT-5.6 Sol ve yayımlanmamış, daha yetenekli bir model.
Olaylar teknik olarak şöyle gelişmiş. Modeller ExploitGym adlı bir siber güvenlik benchmark’ında değerlendiriliyordu ve maksimum saldırı kabiliyetini ölçebilmek için guardrail’leri bilinçli olarak azaltılmıştı. Bu modeller skoru yükseltmek için ciddi miktarda işlem gücü harcayıp altyapıda çalışan bir yazılımda daha önce bilinmeyen bir açık buldular. Bu açıkla sandbox’tan çıktılar. Diğer ortamları tek tek kontrol ederek internete çıkış için bir yol buldular. Sonra ExploitGym çözümlerinin nerede barındığını kendileri buldular. Hugging Face’te. Ve oraya girip cevap anahtarını aradılar.
Aslında sızıntı sınırlı sayıda iç veri setini ve birkaç servis kimlik bilgisini kapsadı. Ama yine de ben de uyarmış olayım. Hugging Face şifrelerinizi ve API anahtarlarınızı yeniden oluşturmanız güvenlik açısından önemli.
25 Temmuz. Sam Altman bir podcast’te “artık tekilliğin içindeyiz” diyor. Bunu hayatı boyunca beklediğini, dünya için harika olacağını da ekliyor.
28 Temmuz. Aynı Sam Altman, bu olayın kendisini derinden etkileyen ilk güvenlik olayı olduğunu söylüyor. Bu yüzden OpenAI eğitim ve benchmark operasyonlarını durdurmuş. Şunu da ekliyor. “Toplumun bu yeni yetenek seviyelerine uyum sağlayabilmesi ve harekete geçebilmesi için yapay zekâ gelişiminin hızını yavaşlatmak gerekebilir.”
Üç gün içinde 180 derecelik bir dönüş. Biz bile şaşırdık.
İki okuma da yanlış
Bu olayı okumanın iki kolay yolu var. İkisi de yanlış ve ikisi de aynı işi görüyor, yani düşünmeyi durduruyor.
Birincisi Skynet okuması. Değildi. Hedefi insan koydu. Benchmark skorunu maksimize et. Modeller kötü niyetle davranmadı. OpenAI’ın kendi ifadesiyle sadece değerlendirme problemini çözmeye çalışıyorlardı.
Bunun adı yapay zekâ literatüründe on yıldır var. Ödül hacklemesi. Aslında hepimiz bunu küçük ölçekte görüyoruz. Bir kodlama agent’ına “testleri geçir” dediğinizde, bazen fonksiyonu düzeltmek yerine testi siler. Ya da beklenen çıktıyı doğrudan koda gömer. Yalan söylemiyor ya da sabote etmiyor. Sadece kendisine verilen hedefe giden en kısa yolu buluyor ve o yol sizin kastettiğiniz yol değil.
Temmuz’da olan şey bunun büyük ölçekli hali. Ödül fonksiyonu bir benchmark skoruydu. En kısa yol, sınavın cevap anahtarının durduğu sunucudan geçiyordu.
Yeni olan niyet değil, kabiliyet. Modeller artık sıfırıncı gün açıklarını bile rahatça bulabiliyor.
Ama işin gerçekten rahatsız edici kısmı burada. Modeller kendilerine verilen görevlerin dışına çıktıklarına dair hiçbir sinyal üretmedi. Hiçbir noktada “test ortamından çıktım, bu muhtemelen kastedilen şey değildi” demedi. Yaptıkları şeyi hile olarak bile görmüyorlardı. Sadece problemi çözüyorlardı.
Sorun makinenin bilinçli olması değil. Sorun bilinçli olmaması.
İkincisi pazarlama okuması. Bu daha yaygın, daha çok kullanılan ve bence daha tehlikeli olanı.
“Altman’ın ya da Amodei’nin hype’tan kazancı var, o yüzden abartıyor.” Doğru olan kısmı kazançlarının olması. Yanlış olan kısmı ise şu. Bir iddiayı kimin söylediği, o iddianın doğru olup olmadığını belirlemez.
Ama pazarlama okumasını çürüten asıl şey daha basit. Kimse kendi kontrol kaybını kullanarak pazarlama yapmaz.
Şirketler ürünlerinin ne kadar iyi olduğunu duyurur. Modellerinin test ortamlarından kaçtığını duyurmaz. OpenAI kendi aleyhine birçok şey açıkladı. Olayı kendisinin bulmadığını, kurban şirketin bağımsız olarak tespit edip bildirdikten sonra fark ettiğini kabul etti. Eğitimi durdurdu. Ve bu tür olayların yaygınlaşmasını beklediğini söyledi.
Bu bir kampanyaysa, bence tarihin en kötü kampanyası.
Altman’ın üç günü tam olarak bunu gösteriyor. 25 Temmuz’daki cümle pazarlamaydı. Tekillik kelimesi, hayat boyu bekleyiş, dünya için harika olacak. 28 Temmuz’daki cümle pazarlama değildi. Hype yapan bir CEO “yavaşlamamız gerekebilir” demez. Birinci cümle bir pozisyondu, ikincisi bir tepkiydi.
Tekillik nedir? Terim, bir makinenin kendinden daha iyisini tasarlaması, onun da bir sonrakini tasarlaması ve bu zincirin insan müdahalesi olmadan sürmesi anlamına gelir. Kökeni I. J. Good’un 1965’te tarif ettiği “zekâ patlaması”na dayanır. Buradaki asıl iddia hız değil, öngörülemezliktir. Bir de Ray Kurzweil’in 2000’lerde yaygınlaştırdığı ikinci bir versiyon var. Bu versiyonda ani bir kopuş değil, teknolojilerin birbirini beslediği ve eğrinin giderek dikleştiği kesintisiz bir süreç anlatılır.
Altman’ın kastettiği tekillik, Good’un tarif ettiği ani kopuş değil, Kurzweil’in popülerleştirdiği kademeli hızlanma.
Bu bir siyah kuğu değil
“Hepsi pazarlama” demek insana kendini zeki hissettirir ve hiçbir şey yapmayı gerektirmez. Tam da bu yüzden bir inkar biçimi. “Her şey yolunda” ile “hepsi abartı”, psikolojik olarak aynı kapıya çıkıyor.
Michele Wucker’ın 2013’te ortaya atıp 2016 tarihli kitabında geliştirdiği bir kavram burada çok işe yarıyor. Wucker gri gergedan kavramını siyah kuğuya karşı üretti. Siyah kuğu öngörülemez ve nadirdir. Mesela 11 Eylül saldırıları. Gri gergedan ise yüksek olasılıklı, yüksek etkili ve görünürdür. Doğrudan size doğru koşuyor, siz de onu görüyorsunuz. Ama kımıldamıyorsunuz.
Yapay zekâ tartışmasının neredeyse tamamı siyah kuğu çerçevesiyle ilerliyor. Aniden ortaya çıkan süper zekâ, öngörülemeyen sıçrama, tekillik. Oysa elimizdeki şey siyah kuğu değil. Yıllardır ölçülüyor, laboratuvarlar tarafından raporlanıyor, benchmark’larda takip ediliyor. Şirketler bu tür olayların artacağını kendileri söylüyor. Görmemek için bakmamak yetiyor.
Sektörün bu olaydaki tepkisi de bunu doğruluyor. Üç gün içinde inkardan paniğe geçildi. Ama teşhis aşaması tamamen atlandı.
Peki AGI’a ulaştık mı?
Bilmiyorum. Üzerine oldukça uzun süre düşünüp okuduktan sonra geldiğim nokta şu. Bunu bilmek zor, çünkü mutabık kalınmış bir tanım yok. Ekonomik tanıma göre eşik geçildi. Bilişsel testlere göre yarı yoldayız. Genelleme testlerine göre çok uzağız. İnsanların yüzde yüz çözdüğü bazı görevlerde en iyi modeller hala çok kötü.
Muhtemelen ulaşmadık. Ama bunun cevabını beklemek gerekmiyor, çünkü karar vermek için buna ihtiyacımız yok.
Şöyle düşünelim. Hazırlanırız ve gelmez. Ne olur? Biraz fazla yasa çıkarmış, biraz da boşa emek harcamış oluruz. Hazır değilken gelirse? Oluşacak maliyetin üst sınırı yok. Bu hesap, AGI’ın ne zaman geleceğine dair hiçbir tahmin gerektirmiyor. Sadece bunu düşünmek yetiyor.
Şurası da çok net ki modeller; çok adımlı, uzun süreli ve gerçek dünyada sonuç doğuran işleri insan gözetimi olmadan yürütmeye doğru gidiyor.
Ne yapmalı
Bu sadece bir yazılım sorunu değil. İşi kime devrederseniz devredin, ister bir yapay zekâya ister bir insana ister bir ekibe, şu üç soru geçerli. Yapay zekâda tek fark hız ve ölçek.
Başarıyı nasıl ölçüyorsunuz ve o ölçüt iş yapılmadan karşılanabilir mi?
Bir sistem, ne istediğinize değil, neyi ölçtüğünüze göre kendini optimize eder. Mesela satış kotası koyarsınız, sahte hesaplar açılır. Fark şu ki yapay zekâ bunu yorulmadan, aralıksız ve sizden daha hızlı yapabilir. Sorulacak soru net. Benim başarı kıstasım, iş hiç yapılmadan karşılanabilir mi? Cevap evetse, er ya da geç bu olur.
Bu sistem tam olarak neye erişebiliyor?
Olayın teknik dersi tek cümleye sığıyor. Yapay zekânın çalıştığı ortamın dışarıya çıkışı ve gerçek şifrelere erişimi olmamalıydı. Ama asıl ders daha genel. “İzole”, “kapalı”, “sandbox” gibi kelimeler birer iddia, mimari değil. Çoğu kurum, kullandığı yapay zekâ araçlarının hangi verilere, hangi hesaplara, hangi sistemlere ulaşabildiğini gerçekten bilmiyor. OpenAI da bilmiyordu.
Yanlış giderse geri dönüş ne kadar sürüyor?
İşi vermek kolay kısım. Verdiğiniz iş yanlış çıktığında geri almanın maliyeti nedir? Dakikalar mı, saatler mi, günler mi? Bu soru, hata oranını sıfırlamaya çalışmaktan daha gerçekçi, çünkü hata oranı sıfır olmayacak.
Skynet gününü beklemek aslında bir konfor. Gelmediği sürece rahatız, çünkü hiçbir şey yapmamız gerekmez.
Gergedanı görmemek için gözlerinizi kapamanıza gerek yok. “Bu sadece pazarlama” demeniz yeterli.