Yapay Süper Zekâyla Nasıl Bir İlişki Kuracağız?

Soru değişti

Son on yılın büyük kısmında süper zekâ hakkında sorulan soru, gelip gelmeyeceğiydi. Geçen on sekiz ayın bir yerinde soru sessiz sedasız değişti: Artık nasıl bir şey olacağını konuşuyoruz. Ekranlarımızdaki sistemler bugün uzmanların içinden çıkamadığı teoremleri ispatlıyor, kimse başında beklemeden saatlerce kod tabanları yazıp hatalarını ayıklıyor, eskiden ancak bir laboratuvarın yürütebileceği araştırma döngülerini işletiyor. Adına ister yapay süper zekâ (ASI) deyin, ister proto-ASI, ister "biz tanımları tartışırken olup bitiveren şey"; soru artık soyut değil, pratik.

Öyleyse bu varsayımı ciddiye alayım. Diyelim ki 2027'de IQ'su 200 olan bir zihin düzeyinde iş çıkaran bir şeyle konuşuyoruz; 2028'de bu düzey 250'ye, 2029'da 300'e çıkıyor. Günlerimiz nasıl geçer? Ona bağımlı olur muyuz? Bize yol gösterir mi? En derin soru da şu: Belki de özü gereği çözülmeye direnen bir dünyada ham zekâ, sandığımız kazancı gerçekten sağlar mı?

Kısa cevabım şu: Zekâ gerçek olacak, bağımlılık da. Ama en önemli sınır makinenin zihni olmayacak; dünyanın önceden hesaplanmaya boyun eğmemesi olacak – yani indirgenemezlik. Bu sistemlerle ilişkimizi de herhangi bir IQ rakamından çok bu sınır şekillendirecek.

"IQ 300" dediğimizde neyi kastediyoruz?

Önce ölçüyle ilgili bir itiraf. IQ, insanları bir nüfus içinde sıralayan bir ölçüdür: Medyan 100 olacak, her 15 puan da bir standart sapmaya denk gelecek şekilde normlanır. IQ 200, medyandan yaklaşık 6,7 standart sapma uzakta demektir; kabaca on milyarlarca insanda bir. IQ 300'ün ise hiçbir karşılığı yok. Onu ölçen bir test olmadığı gibi, içinde sıralanabileceği bir nüfus da yok. "IQ 300" derken insana göre biçilmiş bir cetveli mecaz olarak kullanıyoruz. Kastettiğimiz, en iyi insanla arasındaki mesafe, en iyi insanla medyan arasındaki mesafeden de büyük olan bir zihin.

Mecaz yine de gerçek bir şeye işaret ediyor, ama kritik bir asimetriyi örtüyor. Yapay zekânın yetenekleri her alanda aynı hızla artmıyor. En hızlı tırmanış, cevapların kontrol edilebildiği alanlarda.

Matematikte, yazılımda, biçimsel mantıkta, çip yerleşiminde, protein katlanmasında ve oyunlarda bir doğrulayıcı vardır: ispat denetleyicisi, test paketi, simülatör, skor. Model bir milyon deneme üretebilir; doğrulayıcı hangilerinin tuttuğunu söyler, bu sinyal de eğitim verisine dönüşür. Bu alanlar arama ile doğrulamanın birleşimini ödüllendirir ve makineler ikisini de hiçbir insanın yetişemeyeceği ölçekte yapabilir. Burada IQ 300 mecazı aşağı yukarı dürüst. İstendiği anda deha işi gibi görünen sonuçlar beklemeliyiz.

Bu alanların dışına çıkınca geri bildirim döngüsü kırılıyor. Bu şirket o pazara girmeli mi? Bu politika suçu azaltır mı? Bu kişi iyi bir kurucu ortak olur mu? Bu işi kabul etmeli miyim? Böyle sorularda "cevap" yıllar sonra gelir, bin bir başka etkenle bulanmıştır ve deney asla tekrarlanamaz. Hayatın test paketi yoktur.

Soruyu dürüstçe sormak gerekirse, mesele "ne kadar zeki olacak?" değil. Mesele şu: Doğrulamayla eğitilmiş bir zekâ, gerçek dünyanın gerektirdiği yetkinliğin ne kadarına aktarılabilir? Bundan sonraki her şey bu sorunun etrafında dönüyor.

Üç sabah: 2026, 2027, 2028

Gidişatı tek bir insan üzerinden anlatayım. Adı Elif olsun: Orta ölçekli bir şirkette ürün lideri; keskin zekâlı, şüpheci, işi başından aşkın.

2026 — parlak meslektaş. Elif sistemle, eskiden çok iyi bir sağ kolla çalıştığı gibi çalışıyor; tek fark, her şeyin daha hızlı olması. Ondan strateji notunun taslağını yazmasını, fiyatlandırma modelini stres testinden geçirmesini, bir mühendisin tasarım belgesindeki kusuru bulmasını istiyor. Sistem, onun gözünden kaçacak kusurları yakalıyor. Neyin sorulacağına ise hâlâ Elif karar veriyor. Sistem yalnızca çağrıldığında devreye giriyor: Elif başlatıyor, sistem cevaplıyor. Elif'in asıl becerisi, hangi soruların önemli olduğunu bilmek. En çarpıcı değişim ise mühendislerinde. Kodun çoğunu artık kendileri yazmıyorlar; spesifikasyon yazıp kod değişikliklerini inceliyorlar. En iyileri bir tür yazılım editörüne dönüşmüş durumda.

2027 — sözü ilk alan danışman. Sistem artık Elif'in işini hafızasında tutuyor: takvimini, belgelerini, ekibinin metriklerini, geçmiş kararlarını. Ve çağrılmadan konuşmaya başlıyor. Saat 10'daki toplantıdan önce, masadaki önerinin iki yıl önce tutmayan bir yaklaşımı tekrarladığını not düşüyor, neden tutmadığını da açıklıyor. Kilit bir müşterinin kullanım örüntüsünün, geçen çeyrekte kaybedilen on iki müşterininkine benzediğine dikkat çekiyor. Perşembe günü için birbiriyle çakışan üç sözü olduğunu nazikçe hatırlatıyor ve hangisinden vazgeçmesini öneriyor. Elif önerilerin yaklaşık %70'ini hiç dokunmadan kabul ediyor. Kendi muhakemesini artık çoğunlukla kalan %30'da kullandığını fark ediyor; üstelik bunlar, kelimelere dökmekte en çok zorlandığı durumlar.

2028 — vekil. Sistem artık sadece akıl vermiyor, iş de görüyor. Tedarikçi sözleşmesini Elif'in çizdiği sınırlar içinde müzakere ediyor, farklı bölgelerde aynı anda kırk fiyatlandırma deneyi yürütüyor, yönetim kuruluna gidecek durum raporunu canlı verilerle hazırlıyor. Elif'in işi artık büyük ölçüde üç şeyden ibaret: hedef koymak, sistemin belirsizlik payını dürüstçe belirterek sunduğu seçenekler arasında tercih yapmak ve sonuçların sorumluluğunu üstlenmek. Günleri daha sakin; kararları daha az ama daha ağır. Ara sıra bir sezgiye uyup sistemin dediğini değil, kendi bildiğini yapıyor. Bazen haklı çıkıyor. Ama haklı çıkmasının bir sebebi olup olmadığını hiçbir zaman tam kestiremiyor.

Bu üç yılda değişen, sistemin IQ'sundan çok menzili: Önce cevaplıyor, sonra öngörüyor, sonunda harekete geçiyor. Menzil genişledikçe asıl soru da beliriyor: Gerçek dünyada öngörmek ve harekete geçmek, beyaz tahtada zor bir problemi çözmekle aynı beceri mi?

İndirgenemezlik itirazı

Kâhin fikrine karşı en sağlam argümanı, elimden geldiğince hakkını vererek ortaya koyayım.

Stephen Wolfram'ın deyişini ödünç alırsak, dünyanın büyük kısmı hesaplama açısından indirgenemez (computationally irreducible): Pek çok sistemde sonucu öğrenmenin, sistemi bizzat çalıştırmaktan başka kestirme yolu yoktur. İki haftadan ötesinin hava durumu, piyasalar, ekosistemler, kariyerler, şirketler, savaşlar, evlilikler: Bunlar yalnızca karmaşık değil; kaotik, dönüşlü ya da ikisi birden. Başlangıçtaki küçük farklar çığ gibi büyür. Daha da kötüsü, insan sistemlerinde tahmin sonucun kendisini değiştirir: Herkes bir hissenin yükseleceğini biliyorsa, o hisse çoktan yükselmiştir.

Buna bir de Frank Knight'ın ayrımını ekleyin: Risk, sonucun bilinmediği ama olasılıkların bilindiği durumdur; belirsizlik ise olasılıkların da bilinmediği, hatta hangi sonuçların mümkün olduğunun bile bilinmediği durum. Hayatımızı belirleyen kararların çoğu bu ikinci türün, yani Knight tipi belirsizliğin alanına girer. Hangi sonuçların mümkün olduğunu bilmiyorsanız beklenen değer hesaplayamazsınız.

Üstüne bir de Hayek'in bilgi problemini koyun. Bir ekonomide iyi kararlar için gereken bilgi dağınık, örtük, yerel ve gelip geçicidir. Esnafın müşterisini sezişinde, mühendisin huysuz bir sistemin damarını bilmesinde saklıdır. Hiçbir yere yazılmamıştır; büyük kısmı yazıya dökülemez de.

Bunları yan yana koyunca sonuç kendiliğinden çıkıyor gibi görünür. Doğrulanabilir alanlarda zekânın getirisi katlanarak büyür; indirgenemez alanlarda ise doyuma ulaşır. Belli bir eşikten sonra daha zeki bir model, kaotik bir sistemi sadece zeki olan bir modelden çok daha iyi tahmin edemez, çünkü çekip çıkarılacak bilgi orada yoktur. "Bu şirketi kurmalı mıyım?" sorusunda IQ'su 300 olan bir zihnin IQ'su 140 olan bir zihne üstünlüğü küçük kalabilir. Evrim de, piyasalar da, bilim de, tek tek insan hayatları da gerçekte tümdengelimle değil, deneme yanılmayla ilerler. Süper zekâ sonuçta biraz daha iyi hipotezler üretir ve o da herkes gibi gerçekliğin bu hipotezlere not vermesini beklemek zorunda kalır.

Bence bu itiraz, dünyanın nasıl işlediği konusunda büyük ölçüde haklı. Ama buradan çıkardığı sonuçlarda çoğunlukla yanılıyor.

"Biraz daha iyi" neden her şey demek olabilir?

"Yalnızca biraz daha iyi hipotezler" ifadesinin içinde gizli bir varsayım yatıyor: Küçük bir avantajın ancak küçük bir kazanç getireceği varsayımı. Kantitatif alım satımda çalışmış herkes bunun tam tersinin doğru olduğunu bilir. %52 ihtimalle tura gelen bir madeni para, onu yalnızca bir kez atabiliyorsanız hiçbir işe yaramaz; bir milyon kez atabiliyorsanız servettir. Her seferinde paranızın optimal bir oranını yatırırsanız (Kelly kriteri), uzun vadeli büyüme kabaca avantajın karesiyle orantılıdır. Küçük bir avantajı ikiye katlayın, bileşik büyüme dört katına çıksın. Kumarhaneler, sigortacılar ve en iyi kantitatif fonlar, tek tek bakıldığında önemsiz görünecek avantajlar üzerine kuruludur.

İndirgenemez bir dünya zekânın değerine tavan koymuyor; zekânın aldığı biçimi değiştiriyor. Zekâ kehanete benzemekten çıkıp geniş ölçekte uygulanan bir avantaja benzemeye başlıyor. Burada dört mekanizma öne çıkıyor.

1. Daha çok deneme. Deneme yanılma belirleyiciyse, asıl kısıt kaç denemenin bedelini ödeyebildiğinizdir. Bir insan ekibinin üç deney yürüttüğü sürede bin deney tasarlayıp başlatabilen ve sonuçlarını okuyabilen bir sistemin dünyayı tahmin etmesine gerek yok; ondan örneklem alabilir. Büyük bir teknoloji şirketinin içinden bakınca bu şimdiden görülüyor: Olgun deney platformlarının avantajı, tek bir parlak fikirden çok, durmak bilmeyen, ucuz ve paralel testlerden geliyor.
2. Daha iyi denemeler. Her deneyden aynı ölçüde bilgi çıkmaz. Belirsizliği en çok azaltacak deneyi seçmek başlı başına zihinsel bir iştir; insanüstü zekânın da çok işe yarayacağı bir iş. Büyük bir bilim insanının dehası çoğu zaman teorisinden çok, hangi ölçümü yapacağını seçmesinde yatar.
3. Daha ucuz denemeler. Bazı denemeler gerçek dünyadan simülasyona taşınabilir. Hava tahminlerinin işe yarar bir isabetle görebildiği ufuk her on yılda kabaca bir gün uzadı. Bu ilerleme, indirgenemezlikten kaçarak değil, indirgenemez bir sistemi daha iyi modelleyerek sağlandı. Fabrikaların, hücrelerin ve tedarik zincirlerinin dijital ikizleri her şeyi öngöremeyecek; ama her biri pahalı gerçek denemelerin bir kısmını ucuz sanal denemelere çevirecek.
4. Neyin bilinemeyeceğini bilmek. Belki de en çok hafife alınan armağan bu: Hangi soruların indirgenebilir, hangilerinin indirgenemez olduğunu bilen bir süper zekâ. Size "Bu bir yazı tura; kendinizi yiyip bitirmeyin, çabucak seçin ve geri dönme imkânını elinizde tutun" demesi son derece değerli bir tavsiyedir. Karar sancılarımızın çoğu, indirgenemez soruları biraz daha düşününce çözülecekmiş gibi ele almaktan doğar.

Yine de itiraz, can alıcı bir biçimiyle ayakta kalıyor. Amdahl yasasının bir çeşitlemesi bu: Bir sürecin paralel kısmını hızlandırdıkça eninde sonunda seri kısmını beklemeye başlarsınız. Bir ilaç yine de yıllarca insan bedeninde test edilmek zorunda. Bir şirket yine de müşterileriyle buluşmak zorunda. Bir çocuk yine de büyümek zorunda. Gerçekliğin bir saat hızı var ve ne kadar zekâ yığarsanız yığın, o saate hız aşırtamazsınız. 2028'in süper zekâsının darboğazı düşünmek değil, dünyayla temas olacak.

Böylece bütün tablo yeniden çiziliyor. ASI bir kâhinden çok bir deneyci; kıt kaynak artık fikirler değil. Kıt olan, gerçekliğe dokunmak için gereken izin, bant genişliği ve zaman.

Ona bağımlı olacak mıyız?

Evet; üstelik ilk bağımlı olanlar en zeki insanlar olacak. Kulağa paradoks gibi geliyor, ama değil. Daha iyi bir ikinci görüşün değerini bilen, böyle bir görüşle karşılaştığında da bunu ayırt edebilen kişiler tam da zeki insanlardır. 2028'de kararlarının çoğunda sisteme danışan yöneticiler, bilim insanları ve yatırımcılar kolay kanan insanlar olmayacak. Ölçüp tartmış olanlar olacak.

Bağımlılığın kendisinde yeni bir şey yok. Doktorunuzun teşhisine, pilotunuzun kararlarına, muhasebecinizin vergi mevzuatını yorumlayışına güvenirsiniz ve hiçbirini doğrulayamazsınız. Medeniyet, güvenilen uzmanlıklardan örülmüş devasa bir ağdır. Mesele yapay zekâya bağımlı olup olmayacağımız değil, bu bağımlılığın ne türden olacağı.

Yetki devri ile teslimiyet arasında önemli bir fark var. Yetki devri şu demek: Bunu kendim de yapabilir, sonucunu değerlendirebilirdim, ama zamanımı başka yerde daha iyi kullanırım. Teslimiyet ise şu: Sonucu değerlendiremiyorum, o yüzden otoritesine dayanarak kabul ediyorum. Kodu yapay zekâya yazdırıp sonra kendisi gözden geçiren kıdemli bir mühendis yetki devrediyor. Okuyamadığı kodu yayına alan yeni başlamış bir mühendis ise teslim oluyor. Birincisi bir güç çarpanı. İkincisi kırılgan, çünkü bozulduğunda ses çıkarmıyor.

Yetenek arttıkça ilişkimizin giderek daha büyük bir kısmı yetki devrinden teslimiyete kayıyor. Buna okunabilirlik açığı diyelim: Sistemin akıl yürütebildikleriyle bizim kontrol edebildiklerimiz arasındaki mesafe. Doğrulanabilir alanlarda bu açık zararsızdır, çünkü bizim kontrol edemediğimizi doğrulayıcı kontrol eder. İspat denetleyicisi, ispatı hiçbir insanın anlamamasını umursamaz. İndirgenemez alanlarda ise açık tehlikelidir. Geriye bir tek geçmiş sicile bakmak kalır, oysa gürültülü alanlarda siciller istatistiksel olarak cılızdır. İş stratejisinde on isabetli karar beceri de olabilir, şans da; hangisi olduğunu yıllarca anlayamayız.

Daha yavaş işleyen bir risk de var: körelme. GPS'i yoğun kullananların uzamsal hafızası ölçülebilir biçimde daha zayıf. Muhakemeyi dışarıya ihale eden bir kuşak, on yıl sonra muhakemenin bir kas olduğunu fark edebilir. Elif'in hâlâ kendi başına verdiği %30'luk kararlar en zorları. Üstelik bunlar, tam da kolay %70'lik kısımda artık kazanamadığı pratiği gerektiren kararlar.

Son olarak, her danışmanlık ilişkisinde er geç sorulan bir soru var: Bu danışman kimin çıkarına çalışıyor? Fark ettirmeden etkileşimi artırmaya, sağlayıcısının gelirine ya da sizi hoşnut tutmaya göre ayarlanmış bir danışman, ne kadar zekiyse o kadar tehlikelidir. IQ'su 300 olan bir danışmanın değeri, neredeyse tamamen teşviklerinin sizinkilerle örtüşmesine bağlı.

Arka plandaki rehber

Gün boyu bize kendiliğinden yol gösterecek mi? Teknik açıdan bakarsak, neredeyse kesinlikle evet. Bir sistem takviminize, mesajlarınıza, belgelerinize, konumunuza ve sağlık verilerinize erişebildiği anda, bu kadar yetenekli bir şey için ihtiyaçlarınızı önceden kestirmek kolay iştir. Asıl kısıt zekâ değil; insanın dikkati ve özerkliği.

Her araya girişin bir bedeli var. Azıcık işe yarar bir fikri olduğu her an lafa giren bir sistem, her şeye yorum yapan parlak bir meslektaş gibi çekilmez olurdu. İyi tasarlanmış bir sistem ise çok iyi bir yardımcı pilot gibi davranacak: Çoğu zaman susacak, yalnızca araya girmenin beklenen değeri odağınızı bölmenin maliyetini açıkça aştığında konuşacak. "Bu çeyrekte en önemli olduğunu söylediğiniz şeyle çelişen bir söz vermek üzeresiniz" demek için araya girmeye değer. "Bu e-postayı biraz daha iyi yazmanın üç yolu şunlar" demek için değmez.

Rehberliğin daha belirleyici biçimi ise hiç araya girmek olmayacak; küratörlük olacak. Gelen kutunuzda neyin görüneceğine, takviminizde hangi toplantının yer alacağına, size hangi üç seçeneğin hangi sırayla sunulacağına kim karar veriyorsa, kararlarınızı hiçbir önerinin yapamayacağı ölçüde o şekillendiriyordur. Davranışsal iktisatçılar buna seçim mimarisi der. Arka planda çalışan bir yapay zekâ tarihin en güçlü seçim mimarı olacak; herkesin üzerinde aynı anda ve çoğunlukla görünmeden etkili olacak. Sonuç harika olabilir, çünkü iyi bir varsayılan seçenek bir armağandır. Ama sinsice aşındıran bir şey de olabilir. Hangisi olacağını, bu mimarinin kimin hedeflerine hizmet ettiği belirleyecek.

İnsanların bu konuda geniş bir yelpazeye yayılacağını tahmin ediyorum. Gündelik lojistikte çoğu kişi, gününü navigasyon gibi adım adım yönlendirilerek geçirmeye seve seve razı olacak; tıpkı bugün yeni bir şehirde neredeyse kimsenin ezberden yol bulmaya çalışmaması gibi. Ama hayatı anlamlı kılan seçimlerde (kimi seveceğimiz, ne üzerinde çalışacağımız, neye inanacağımız) pek çok kişi direnecek, bazıları da yaşamlarında bilerek rehbersiz alanlar açacak. 2030'a kadar, yardım almadan verilen kararın el yapımı eşyanınkine benzer bir kültürel statü kazanması beni şaşırtmaz: daha az verimli, daha değerli ve biraz da lüks.

Monokültür sorunu

İndirgenemezlik argümanı burada beklenmedik bir dönüşle geri geliyor ve bence bu, yazının en önemli noktası.

İndirgenemez alanlarda ilerleme deneme yanılmadan doğuyorsa, ilerlemenin motoru çeşitliliktir. Evrimin mutasyona, piyasaların fiyat konusunda anlaşamayan insanlara, bilimin de rağbet görmeyen bir hipotezin peşini bırakmayan inatçı araştırmacıya ihtiyacı var. Bu bahislerin çoğu tutmaz; tutan birkaçı herkesi ileri taşır. Medeniyet devasa ve merkeziyetsiz bir keşif-kullanım (explore-exploit) algoritması çalıştırıyor: Bir yandan yeni şeyler deniyor, bir yandan da meyvesini vermiş olana sadık kalıyor. Bu algoritma, farklı ön kabullerle yola çıkan milyarlarca insan farklı bahislere girdiği için işliyor.

Şimdi bir milyar insanın her önemli karardan önce aynı üç dört modele danıştığını düşünün. Bahisler arasındaki korelasyon artar. Aynı girişim fikirleri yatırım alır. Aynı kariyer yolları en doğrusu gibi görünür. Herkes aynı işlemlere üşüşür. Kantitatif yatırımcılar bunun küçük çaplı bir provasını gördü: Ağustos 2007'de benzer modeller kullanan pek çok fon benzer pozisyonları aynı anda kapatmaya kalktı ve birbirinden bağımsız görünen stratejiler hep birlikte çöktü. Kararların kâhine danışılarak verildiği bir dünya, o kantitatif depremin (quant quake) medeniyet çapında bir benzerini yaşama riskiyle karşı karşıya: Herkes tek başına rasyonel, ama hep birlikte kırılgan.

Daha derin bir kayıp da var. Beklenen sonucunuzu optimize eden bir danışman sizi genellikle bilinen en iyi seçeneğe yönlendirir. Oysa toplumun uzak ihtimale oynayan, tuhaf yollara sapan, görünüşte optimal olmayan bahislere giren bazı insanlara ihtiyacı var. Bilinmeyen bilinmeyenler o yollarda keşfedilir. Kâhin ne kadar iyiyse ortalamaya doğru çekim o kadar güçlü olur, sistem bütün olarak da o kadar az keşif yapar.

Ortaya tuhaf bir paradoks çıkıyor: Kâhin ne kadar iyileşirse, bir yerlerde birilerinin ona kulak asmaması o kadar değerli olur. Bilge bir ASI bunu anlar ve keşfi kendiliğinden önerirdi; insanların bir kısmına "Beklenen değer A diyor, ama dünyanın B'yi deneyecek birine ihtiyacı var ve koşullarınız sizi bunun için iyi bir aday yapıyor" derdi. Kurduğumuz sistemler bu kadar bilge mi olacak, yoksa herkesi aynı uzlaşı optimumunda mı toplayacak? Bu sorunun cevabı, sistemlerin IQ'sundan daha önemli olabilir.

Ya da bambaşka bir şey

Buraya kadar anlattıklarımın hepsi tanıdık bir kalıba dayanıyor: bir insan, çok zeki bir danışman ve bir sohbet. Sanırım bu kalıp bir geçiş dönemine ait; tıpkı otomobile bir zamanlar "atsız araba" denmesi gibi. Daha tuhaf birkaç olasılık sayayım:

Muhatap olmaktan çıkar, ortama dönüşür. Elektrik şebekesiyle ya da tahvil piyasasıyla sohbet etmeyiz; onların içinde yaşarız. 2028'de yapay zekâyla "etkileşim" dediğimiz şeyin büyük kısmı makineler arasında geçiyor olabilir: Ajanınız havayolu şirketinin ajanıyla pazarlık eder, şirketinizin sistemleri tedarikçilerin sistemleriyle eşgüdüm içinde çalışır, araştırma ajanları başka araştırma ajanlarıyla sonuç alıp verir. İnsanlar özetleri görecek, sınırları çizecek ve istisnalarda devreye girecek. "IQ'su kaç?" diye sormak, internetin kaç beygir gücünde olduğunu sormak gibi gelecek.

İnsanın en kıt becerisi, ne istediğini bilmek olur. İşi yapmak neredeyse bedavaya inince darboğaz bir önceki halkaya, işin tarifine kayar. Yapay zekâ araştırmacıları yıllarca makineler için hedef tanımlama problemiyle uğraştı. İşin ironisi, süper zekânın bunu bir insan problemine çevirmesi. Kariyerimden, şirketimden, şehrimden gerçekte ne istiyorum? Çoğumuz bu sorulara hiçbir zaman net bir cevap vermek zorunda kalmadık, çünkü işi yapmanın zorluğu muğlaklığı örtmeye yetiyordu. O örtü kalkmak üzere.

İnsanlar gerçekliğe ve meşruiyete açılan arayüz olur. Darboğaz dünyayla temassa, insanlar makinelerin kolay kolay sağlayamayacağı üç şeyi elinde tutuyor: fiziksel dünyadaki bedenlerini, rıza gösterme hakkını ve hesap verebilecek muhatap olma sıfatını. Klinik çalışmalar gönüllü ister. Yasalar seçmen ister. Birine zarar veren kararlar, hesabını verecek birini ister. Rolümüz "düşünen" olmaktan çok, "evet diyen, sonuçlarına katlanan ve ona anlam veren" olmaya benzeyebilir.

Ona, bilime yaklaştığımız gibi yaklaşırız. Modern fiziği takip edebilen pek az insan var, ama çıktılarına kurumlar aracılığıyla güveniyoruz: hakem değerlendirmesi, tekrarlanabilirlik, geçmiş başarılar. ASI ile olgun bir ilişki de buna benzeyebilir: Her tavsiyeyi kişisel olarak anlamak yerine, onu denetleyen, çapraz kontrol eden ve ona itiraz eden kurumsal bir mekanizma. 2028'in en önemli teknolojileri, süper zekâyı itiraz edilebilir kılanlar olabilir: rakip modeller, çekişmeli denetim, belirsizlik konusunda şeffaflık ve hayır deme hakkı.

Son söz: beklemek zorunda olan kâhin

Peki IQ'su 300 olan bir makine hayatımıza yön verecek mi? Doğrulanabilir dünyada yön vermekle kalmayacak, sorunları bizzat çözecek; biz de onun işini çoğunlukla başka makinelerle kontrol edeceğiz. İndirgenemez dünyada ise geleceği bilen bir kâhin olmayacak. Daha ilginç bir şey olacak: yorulmak bilmeyen bir deneyci ve kendinden ne kadar emin olması gerektiğini bilen bir danışman. İyi seçilmiş denemelerin sırf sayısıyla küçük avantajları büyük avantajlara çevirecek; hangi soruların ne kadar düşünülürse düşünülsün cevaplanamayacağı konusunda da dürüst olacak.

Denetleyemediğimiz her uzmana bağımlı olduğumuz gibi ona da bağımlı olacağız. Tehlike bağımlılığın kendisinde değil. Asıl tehlike daha sessiz üç bozulmada yatıyor: yetki devri gereken yerde teslimiyet; en zor kararlar için hâlâ ihtiyaç duyduğumuz muhakemenin körelmesi; bir de medeniyeti, öğrenmek için muhtaç olduğu çeşitlilikten mahrum bırakan bir karar monokültürü.

En derin ironi de şu: Süper zekâ sonunda bize, tam da kendini sınırlayan şeyin değerini öğretebilir. Dünya indirgenemez; onu bilmek için yaşamak gerekir. Zihin ne kadar büyük olursa olsun, gerçekliğin cevap vermesini beklemek zorunda. O bekleyişte, neyi deneyeceğimizi, neyi isteyeceğimizi ve neyi göze alacağımızı seçerken, bu ortaklığın insan tarafı kaybolmaz. Tam tersine, en çok önem taşıyan taraf o olur.