Bu araç tam olarak ne yapıyor?
Yapıştırdığınız metni dört başlıkta ölçüyor: cümle ritmi, kalıp ifade yoğunluğu, somutluk ve paragraf düzeni. Sonra bunları tek bir sayıya çeviriyor ve o sayının hangi ölçümden geldiğini yanında gösteriyor. Bulduğu kalıp ifadeleri de tek tek listeliyor, çünkü asıl işe yarayan kısım puan değil, düzeltilecek cümlelerin listesi.
Metin tarayıcınızdan hiç çıkmıyor. Sunucumuza gönderilmiyor, kaydedilmiyor, hiçbir yere iletilmiyor. Ölçümün tamamı sizin cihazınızda yapılıyor.
Bu bir yapay zekâ dedektörü değil
Bunu baştan yazmak zorundayız. Yapay zekâ metin dedektörleri güvenilir çalışmıyor. OpenAI kendi geliştirdiği sınıflandırıcıyı doğruluk oranı düşük olduğu için kapattı. Bu araçların en sık yanlış suçladığı grup ise ana dili farklı olan yazarlar; kalıplı ve sade yazan herkes risk altında.
Yani hiçbir araç size "bu metni yapay zekâ yazdı" diyemez. Diyen varsa bilmediği bir şeyi biliyormuş gibi söylüyor demektir.
Bu araç onun yerine daha dar ve dürüst bir soruya cevap veriyor: bu metin, yapay zekâ metinlerinde sık görülen kalıplardan ne kadar taşıyor? Yüksek çıkması metnin yapay zekâ tarafından yazıldığını kanıtlamaz. Kalıplı yazılmış olduğunu gösterir. Bir insan da kalıplı yazabilir; zaten sorun da tam olarak budur.
Dört ölçüm ve eşikleri
Cümle ritmi
İnsan yazısında cümle uzunlukları oynar: uzun bir açıklamanın ardından üç kelimelik bir cümle gelir. Dil modelleri daha tekdüze yazar. Bu ritmi ölçmek için cümle uzunluklarının değişim katsayısına bakıyoruz.
Eşik uydurulmadı: bu sitedeki 41 blog yazısının hepsi ölçüldü ve hiçbirinde bu değer 0,47'nin altına inmedi. Yani 0,47 bir insan tabanı; altına inen metinlerde ritim kaybı gerçek.
Kalıp ifade yoğunluğu
"Günümüzde", "bu bağlamda", "önemli bir rol oynamaktadır", "sadece … değil aynı zamanda"; bu kalıplar yapay zekâ metinlerinde belirgin biçimde sık geçiyor. Listede İngilizce karşılıkları da var, karışık metinler için.
Buradaki liste de kalibre edildi: kendi yazılarımızda sık geçen ifadeler listeden çıkarıldı. Bir kalıp insan yazılarının beşte birinde geçiyorsa ayırt edici değildir, sadece yanlış alarm üretir.
Somutluk
Sayılar, tarihler, alıntılar ve birinci tekil şahıs izleri sayılıyor. Deneyimden yazan bir metinde bunlar olur: "geçen hafta ölçtüm", "16 tıklamanın hepsi", "üç kez denedim". Genel geçer bir metinde olmaz. Ölçümlerimizde bu en ayırt edici sinyallerden biri çıktı.
Paragraf düzeni
Paragraf uzunluklarının tekdüzeliği. Dil modelleri birbirine çok yakın uzunlukta paragraflar üretme eğiliminde.
Ölçüp kullanmaktan vazgeçtiğimiz bir sinyal
Cümle başlangıcı tekrarını da ölçtük. Aynı kelimeyle başlayan cümlelerin oranı. Yapay zekâ metinlerinde arttığı söylenir. Ama kendi 41 yazımızda bu oran 0,15 ile 0,44 arasında çok geniş bir aralıkta çıktı; yani insan yazısında da bolca var ve ayırt etmiyor. Puana katmadık. Ekranda bilgi olarak gösteriliyor, sayıyı etkilemiyor.
Bunu yazmamızın sebebi şu: bir aracın neyi ölçüp kullanmadığını söylemesi, neyi ölçtüğünü söylemesi kadar önemli.
Sonuç yüksek çıktı, ne yapmalıyım?
Panik yapılacak bir şey değil. Listedeki kalıp ifadeleri metinden çıkarın; çoğu zaten cümleden hiçbir şey eksiltmeden silinebiliyor. Sonra metne kendi deneyiminizden bir şey ekleyin: bir sayı, bir tarih, başınıza gelmiş bir örnek. İki müdahale de metni hem daha insani hem daha okunur yapıyor.
Aynısı yapay zekâya yazdırdığınız metinler için de geçerli. Sorun aracı kullanmak değil; çıkan metni olduğu gibi yayınlamak. Kendi cümlelerinize çevirdiğinizde bu araçtaki puan da düşer, okuyanın gözündeki değeri de artar.
Bu araç neyi ölçemez?
Metnin doğru olup olmadığını ölçmez. Kalıp aramaz, gerçek kontrolü yapmaz. Kimin yazdığını söylemez. Çok kısa metinlerde (200 kelimenin altında) ölçüm güvenilir değildir, çünkü ritim ve dağılım hesaplamak için yeterli cümle yoktur. Ve Türkçe dışındaki dillerde kalıp listesi yalnızca İngilizce için hazırlanmıştır.