Yanıtı Doğrulama: Doğru mu, Uydurma mı?

Süre tahmini: 13 dk · Ders 5/8

Bu derste ne yapacağız?

Önceki derslerde asistana daha net ve daha iyi yönlendirilmiş sorular sormayı çalıştınız. Ama iyi soru, doğru yanıtın garantisi değildir. Bu derste asistanın yanıtına hemen güvenmek yerine onu nasıl kontrol edeceğinizi öğreneceksiniz. Hedefimiz şunlar:

• Halüsinasyonun (asistanın uydurduğu bilginin) ne olduğunu anlamak.
• Şüpheli yanıtları işaretlemek.
• Tarih, rakam, isim ve kaynak gibi öğeleri pratik yollarla kontrol etmek.

Ön koşul: Bir yapay zekâ sohbet asistanını açıp soru yazabiliyor olmanız yeterli. Bir de tarayıcıda arama yapabilmeniz gerekiyor. Arayüzler sürüme göre değişebilir; düğme adları sizde biraz farklı görünebilir, mantık aynı kalır.

Köprü: Bu ders, kursun tam ortasında bir kavşaktır. Önceki derste asistandan daha iyi yanıt almayı çalıştınız; şimdi o yanıtı sınamayı öğreniyorsunuz. Sonraki derste (6/8) konu, asistanı güvenli kullanma yönüne ilerleyecek. Doğrulama alışkanlığı oraya da taşınacak.

Kavram

Sohbet asistanları, yazdığınız cümlenin devamında en olası görünen sözcükleri üreterek yanıt verir. Yani bir ansiklopedi gibi “doğru bilgiyi bulup getirmez”; akıcı ve inandırıcı görünen bir metin kurar. Çoğu zaman bu metin doğrudur. Bazen de doğru olmayan bir cümle, doğru olanlarla aynı özgüvenle yazılır. İşte buna halüsinasyon denir.

Günlük hayat benzetmesi: Çok konuşkan ve kendinden emin bir komşu düşünün. Size her konuda cevap verir, “bilmiyorum” demekten hoşlanmaz. Çoğu cevabı doğrudur ama bazen emin olmadığı şeyi de bilirmiş gibi anlatır. Onu dinlersiniz, önemli bir konuysa bir de başka yerden sorarsınız. Asistana karşı da aynı tavrı almalısınız: yararlı, hızlı, ama her sözü kesin değil.

Halüsinasyon nasıl görünür?

• Var olmayan kaynak: Gerçek gibi görünen kitap, makale veya internet adresi uydurulur.
• Yanlış rakam veya tarih: Bir olayın yılı, bir ürünün fiyatı ya da bir ölçü değeri hatalı verilir.
• Karışan isimler: İki kişinin ya da iki kurumun bilgileri birbirine karışır.
• Güncel olmayan bilgi: Asistan, değişmiş bir kuralı eski haliyle anlatır.
• Aşırı kesin dil: “Kesinlikle”, “her zaman”, “hiçbir zaman” gibi kalıplar, dayanağı zayıf bir bilginin üstüne çekilmiş parlak bir örtü olabilir.

Önemli ilke: Yanıtın akıcı olması, doğru olduğunu göstermez. Bu yüzden risk ne kadar yüksekse kontrol de o kadar sıkı olmalıdır. Yemek tarifinde bir malzemeyi yanlış öğrenmek ile ilaç dozunu, vergi tarihini ya da hukuki bir süreyi yanlış öğrenmek aynı ağırlıkta değildir.

Adım adım uygulama

Aşağıdaki adımları kendi asistanınızda deneyin. Önce bir sohbet açın: ekranda genellikle Yeni sohbet adlı bir düğme bulunur. Ona tıklayın ve alttaki mesaj kutusunun açılmasını bekleyin.

Adım 1 – Kontrol edilecek öğeleri işaretleyin. Mesaj kutusuna şu soruyu yazın ve gönderin: “Türkiye’de e-Devlet’in ne işe yaradığını üç maddede anlat. Varsa tarih ve rakam ver.” Yanıt gelince bir kâğıda ya da not uygulamasına şu dört başlığı açın: tarihler, rakamlar, özel isimler, kaynaklar. Yanıtta geçen her öğeyi ilgili başlığın altına yazın. Amaç, yanıtın tamamını değil yalnızca kontrol edilebilir parçalarını ayıklamaktır.

Adım 2 – Şüphe puanı verin. Her öğenin yanına 1’den 3’e kadar bir not koyun. 1: Çok bilinen, düşük risk. 2: Emin değilim. 3: Önemli ve emin değilim. Özellikle çok ayrıntılı rakamlar, tam tarihler ve “şu araştırmaya göre” gibi ifadeler genellikle 2 ya da 3 almalıdır. İlk kontrolü 3 alanlardan başlatın.

Adım 3 – Asistana kaynağını sorun. Aynı sohbete şunu yazın: “Bu bilgilerin dayanağını söyler misin? Emin olmadığın yerleri açıkça belirt.” Dikkat: asistanın verdiği kaynak adı da uydurma olabilir. Bu adım size cevabı doğrulamaz; yalnızca nereyi arayacağınıza dair ip ucu verir. Kaynak adını bir sonraki adımda mutlaka kontrol edeceksiniz.

Adım 4 – Bağımsız bir yerden arayın. Tarayıcınızda yeni bir sekme açın (genellikle sekme çubuğundaki + işareti). Arama kutusuna kontrol edeceğiniz ifadeyi yazın. Mümkünse resmî kurumun kendi sitesine, üreticinin sayfasına ya da güvenilir bir ansiklopediye bakın. Asistanın yanıtını kopyalayıp aramaya yapıştırmak yerine kısa ve net bir ifade yazın; örneğin kurum adı ile konu. Bilgiyi iki ayrı kaynakta görürseniz güveniniz artar.

Adım 5 – Kaynak gerçekten var mı? Asistan bir kitap, makale ya da bağlantı verdiyse başlığı tırnak içinde arama kutusuna yazın. Sonuç çıkmıyorsa, yazar adı tanıdık gelse bile kaynağın uydurma olma ihtimalini ciddiye alın. Bağlantı verdiyse adresin açılıp açılmadığına bakın; açılıyor ama içerik konuyla ilgisizse o da uyarı işaretidir.

Adım 6 – Aynı soruyu farklı biçimde yeniden sorun. Yeni sohbet düğmesine tıklayın ve aynı konuyu başka cümlelerle sorun. İki yanıttaki tarih, rakam ve isimler birbirini tutmuyorsa, tutmayan öğe şüphelidir. Tutarlılık doğruluğu kanıtlamaz ama tutarsızlık net bir alarmdır.

Adım 7 – Sonucu asistana bildirin. Hatayı bulduysanız eski sohbete dönüp şunu yazın: “Şu bilgi yanlış çıktı: … Doğru bilgi şu: … Buna göre yanıtı yeniden düzenle.” Düzeltilmiş metin yine kontrol gerektirir; ama ham yanıttan çok daha kullanışlı olur.

Hızlı kontrol listesi

• Tarih: Yıl, gün ve ay doğru mu? Resmî bir kaynakta görüyor muyum?
• Rakam: Birimi doğru mu (TL, kilogram, yüzde)? Güncel mi?
• İsim: Kişi ya da kurumun adı ve unvanı yazıldığı gibi mi?
• Kaynak: Aratınca bulunuyor mu? Söylenen şeyi gerçekten söylüyor mu?
• Dil: “Kesinlikle” gibi aşırı kesin ifadeler var mı?

Sık karşılaşılan sorunlar

Mini görev

Kendi ilgi alanınızdan bir konu seçin (örneğin bir şehir, bir hobi ya da bir ev aleti). Asistandan o konuda yaklaşık yarım sayfa bilgi isteyin ve “tarih, rakam ve kaynak ver” diye ekleyin. Sonra şunları yapın:

• Yanıttan en az beş kontrol edilebilir öğe seçip not alın.
• Her birine 1–3 arası şüphe puanı verin.
• En yüksek puanlı üç öğeyi bağımsız kaynaklarda arayın.
• Her öğe için “doğrulandı”, “yanlış” ya da “bulunamadı” yazın.

Kontrol listesi:

• En az beş öğeyi ayıkladım.
• Şüphe puanlarını yazdım.
• Üç öğeyi resmî ya da güvenilir bir sitede aradım.
• Verilen kaynak adını arama kutusunda sınadım.
• Bulduğum yanlışı (varsa) asistana bildirip yanıtı yeniden istedim.

Kendini sına

Soru 1. Halüsinasyon nedir? Bir cümleyle açıklayın.

Soru 2. Asistanın yanıtı çok akıcı ve özgüvenli yazılmışsa bu, bilginin doğru olduğunu gösterir mi?

Soru 3. Asistan size bir makale adı verdi. Bu adı nasıl sınarsınız?

Soru 4. Aynı soruyu Yeni sohbet açıp farklı biçimde sormanın amacı nedir?

Soru 5. Hangi bilgileri daha sıkı kontrol etmelisiniz: bir pasta tarifindeki şeker miktarını mı, yoksa bir ilacın dozunu mu? Neden?

Cevaplar

• Cevap 1: Asistanın gerçek olmayan bir bilgiyi, doğruymuş gibi inandırıcı biçimde üretmesidir.
• Cevap 2: Hayır. Akıcılık ile doğruluk ayrı şeylerdir; yanlış bilgi de aynı özgüvenle yazılabilir.
• Cevap 3: Başlığı tırnak içinde arama kutusuna yazarım. Bulunmuyorsa kaynağın uydurma olma ihtimalini ciddiye alırım; bulunsa bile içeriğin söylenenle uyuştuğuna bakarım.
• Cevap 4: Yanıtların tutarlı olup olmadığını görmek. Tutmayan tarih, rakam ya da isimler şüpheli öğelerdir.
• Cevap 5: İlaç dozunu. Yanlış bilginin sağlığa etkisi büyüktür; bu tür konularda yalnızca resmî kaynaklara ve ilgili uzmana (doktor, eczacı) dayanılmalıdır.

Özet: Asistanı hızlı bir yardımcı olarak kullanın, ama önemli bilgileri bağımsız bir yerden teyit etmeden kullanmayın. Bir sonraki derste (6/8) bu doğrulama alışkanlığını güvenli kullanım konusuyla birleştireceğiz.