Yapay zekâda zincirin unutulan halkası (3)
Bu köşede iki yazıdır yapay zekâ egemenliğini konuşuyoruz. İlk yazı, kapıların kapandığını, erişimin siyasi hizalanmaya bağlandığını anlattı. İkincisi, çıkış yolunu gösterdi, anahtarı kendimiz yapalım dedi: milli model ve açık kaynak. Bugün, serinin en az konuşulan ama bana sorarsanız en kritik halkasına geleceğim. Çünkü model yapmak bir an; duyurusu yapılır, alkış alınır, manşet olur. Modeli ayakta tutmak ise bir kurumsal disiplindir: her ay ölçeceksiniz, güvenliğini sınayacaksınız, eksiğini bulup düzelteceksiniz. Alkışın devamı şovun devam etmesine bağlı.
Peki bir modelin iyi olduğunu nereden bileceğiz? Bugün dünyada bu iş, birkaç küresel testle yapılıyor. Ama bu testlerin itibarı sarsılmış durumda. Sebebi basit: Sorular ve cevapları internete, oradan da modellerin eğitim verisine sızıyor; model, sınavı çözerek değil, soruları ezberleyerek geçiyor. Üstelik aynı modelin puanı, testin nasıl uygulandığına göre ciddi biçimde oynayabiliyor. Fakat benim itirazım daha temelden: Bu testler geçerli olsaydı bile bizim sorumuza cevap vermezdi. Amerikan lise müfredatından derlenmiş bir test, bir modelin, Türk hukukunu, Osmanlıca Türkçesi tarih arşivini, Türkçe kamu yazışmasını, bizim tıbbımızın diliyle hasta raporunu ne kadar anladığını ölçmez. Başarısını yabancı bir cetvelle ölçen, ihtiyacını da dışarıdan tarif etmiş olur.
Üniversitelerden araştırmacılar, Türk eğitim ve meslek sınavlarından derlenmiş 6.200 soruluk, 62 alanı kapsayan bir Türkçe değerlendirme seti kurdu ve bununla 39 modeli sınadı (TR-MMLU). Bu, yapay zekanın Türkçe ölçümünde öncü bir adım. Bunun yanında TurkBench ve Cetvel gibi akademik setler de çalışılıyor. Ancak bu çalışmalar akademik gayret ve gönüllü emekle yürüyor. Devlet ölçeğinde, alan alan derinleşen, her ay tazelenen ve sızmaya karşı korunan bir yapıya dönüşmedikçe, filiz filizlikte kalır.
Bir de işin güvenlik yüzü var ve burada çarpıcı bir örnek vereceğim. Amerika'nın standartlar kurumu bünyesindeki yapay zekâ değerlendirme merkezi, Çin'in açık modellerini milli güvenlik gözüyle teste tabi tuttu; kırmızı takım dediğimiz yöntemle, yani modeli bilinçli olarak kandırmaya çalışarak. Bu modellerin kötü niyetli talimatlara Amerikan modellerinden 12 kat daha yatkın olduğu raporlandı. Şimdi hatırlayalım: Geçen yazıda açık kaynak modelleri Türkiye için bir çıkış yolu olarak gösterdim; o görüşümün arkasındayım. Ama açık modelin "bedava" olması, denetimsiz kullanılacağı anlamına gelmez. Amerika kendi gözüyle test ediyor ve kendi çıkarına göre raporluyor, modeli ahlaki bir çerçeveye oturtuyor.
Peki, bizim kamu kurumumuza girecek modeli, yerli ya da yabancı, açık ya da kapalı, bizim gözümüzle kim test edecek? Bu boşluk, bir milli yapay zekâ değerlendirme ve güvenlik enstitüsü ihtiyacının ta kendisidir.
Önerilerimi toparlayayım.
* Hukuk, tıp, kamu yazışması, siber güvenlik, eğitim, yazılım ve kültür alanlarında Türkçe, taze ve sızmaya dirençli milli değerlendirme (benchmark) setleri kurulmalı; mevcut akademik birikim bu çatının temeli yapılmalıdır.
* Bir modeli eğitmek, onu millete ulaştırmanın yalnızca ilk adımıdır. Modeli eğiten, ince ayarını yapan, dağıtan ve denetleyen yerli araç zinciri kurulmalı; hukuk danışmanından kamu yazışmasına, siber analizden eğitime kadar vatandaşın hizmetine indirecek uygulama ekosistemi inşa edilmelidir.
* Kamuda kullanılacak her modeli kırmızı takım yöntemiyle sınayan, standardı belirleyen ve sertifikayı veren fonksiyon oluşturulmalıdır. Tübitak Yapay Zeka Enstitüsü buna adaydır.
* Kamu alımlarına açık bir şart konmalıdır: Milli ölçütten geçmemiş, güvenlik testi yapılmamış model kamuya giremez. Standardı koyan, pazarı da yönlendirir; kural koymak, egemenliğin en sessiz ama en kalıcı biçimidir.
* Erişim kesintisi ihtimaline karşı önemli açık modellerin yerli ve güvenli kopyaları, teknik tabirle aynaları (mirror), milli altyapılarda tutulmalıdır. Zira ABD açık modelleri düşman ilan etmeye yelteniyor.
* Bu işin insan zinciri şimdiden örülmelidir; çünkü değerlendirme dediğiniz şey yalnız mühendislik değildir: Modelin hukuk cevabını hukukçu, tıp cevabını hekim, güvenlik cevabını subay sınamalıdır.
* Ve süreklilik. Bu saydıklarımın hiçbiri kurdele kesilecek işlerden değildir; hepsi, her ay dönen sessiz bir çarkın dişlileridir. Zaten mesele de budur: Bir sistemin açılış töreni bir gün sürer, kullanımı ise ömür boyu.
Bu üç yazıyla şunu anlatmaya çalıştım. Yapay zekaya erişim kapanıyorsa, üreteceğiz; üretiyorsak ölçeceğiz ve denetleyeceğiz. Egemenlik tek bir parlak modelde değil, modeli hayat döngüsü ile ayakta tutan zincirin tamamındadır: veri, altyapı, insan ve denetim.
