Mozilla incelemesi: romantik yapay zeka uygulamaları ve gizlilik

Mozilla Vakfı’nın ürünlerin gizlilik uygulamalarını inceleyen Privacy Not Included ekibi, Şubat 2024’te 11 romantik yapay zeka sohbet uygulamasını inceledi. Mozilla’nın kendi rapor sayfasına erişemedik; bu özet, raporu aktaran Infosecurity Magazine, The Verge, WIRED ve Business Insider haberlerine dayanıyor.

Hangi uygulamalar incelendi?

The Verge’e göre incelenen 11 uygulama şunlardı: Talkie Soulful Character AI, Chai, iGirl: AI Girlfriend, Romantic AI, Genesia - AI Friend & Partner, Anima: My Virtual AI Boyfriend, Replika, Anima: AI Friend, Mimico - Your AI Friends, EVA AI Chat Bot & Soulmate ve CrushOn.AI². WIRED’a göre bu uygulamalar Android cihazlarda toplam 100 milyondan fazla kez indirilmişti³. Birçoğu, üretken yapay zeka akımının başladığı son iki yılda piyasaya çıkmıştı ve bazı özellikler için ücretli abonelik istiyordu³. İnceleme ağırlıkla uygulamaların gizlilik belgelerine dayanıyor; araştırmacılar bazı uygulamaları ayrıca kendileri denedi³.

Infosecurity Magazine’e göre 11 uygulamanın hepsi Mozilla’nın Privacy Not Included uyarı etiketini aldı; bu da kategoriyi kuruluşun o güne dek incelediği en kötü kategorilerden biri yaptı¹.

Bulgular

Infosecurity Magazine’in aktardığına göre incelenen uygulamaların¹:

• Yüzde 90’ı kullanıcı verilerini satıyor, hedefli reklam için paylaşıyor ya da gizlilik politikasında bunu yapmadığını doğrulamaya yetecek bilgi vermiyordu.
• Yüzde 73’ü güvenlik açıklarını nasıl yönettiğine dair kamuya açık bilgi vermiyordu.
• Yüzde 64’ü şifreleme kullanıp kullanmadığı konusunda açık bilgi vermiyordu.
• Yüzde 45’i “11111” gibi zayıf parolalara izin veriyordu.

Business Insider’a göre kişisel verileri paylaşabilecek ya da satabilecek uygulamalar arasındaki tek istisna EVA AI Chat Bot & Soulmate’ti⁴. The Verge’in aktardığına göre ise incelenen uygulamalardan yalnız Genesia, Mozilla’nın asgari gizlilik ölçütlerini karşılıyordu; Mozilla, uygulamaların birçoğunun yapay zekanın nasıl eğitildiği, verilerin nereden geldiği, bilgilerin nasıl korunduğu ve bir veri ihlalinde sorumlulukları konusunda bilerek belirsiz davrandığını tespit etti².

Denemelerde ne görüldü?

• İzleyiciler: WIRED’a göre uygulamalar, bilgileri Google ve Facebook’a ve Rusya ile Çin’deki şirketlere gönderen izleyiciler kullanıyordu. Romantic AI’ın gizlilik belgeleri veri satmayacağını söylese de araştırmacılar uygulamanın bir dakikalık kullanımda 24.354 reklam izleyicisi gönderdiğini buldu³.
• Parolalar: Araştırmacılar, Anima AI’ın uygulamalarında tek karakterlik bir parola (“1”) oluşturup bununla giriş yapabildi³.
• Sahiplik: Bazı uygulamaların sahibi ya da nerede kurulu olduğu belirsizdi; WIRED’a göre Mimico’nun sitesinde yalnız “Hi” yazıyordu³.
• Silme ve eğitim: Bazı uygulamalarda mesajları silme denetimi yok gibi görünüyordu. Bazıları hangi üretken modeli kullandığını ya da sohbetlerin model eğitiminden çıkarılıp çıkarılamayacağını belirtmiyordu³.
• Hassas veri: The Verge’e göre CrushOn.AI’ın gizlilik politikası sağlık durumu ve kullanılan ilaçlar gibi hassas bilgileri toplayabileceğini yazıyordu².
• Sağlık iddiaları: Romantic AI sitesinde ruh sağlığını korumaya yardım ettiğini söylerken, kullanım şartlarında terapi ya da tıbbi yardım sağladığına dair hiçbir güvence vermediğini belirtiyordu².

Araştırmacılar ve uzmanlar ne diyor?

Mozilla araştırmacısı Misha Rykov raporda, bu uygulamaların ruh sağlığına iyi geleceği vaadiyle pazarlandığını, ama bağımlılık ve yalnızlığı beslerken kullanıcıdan olabildiğince çok veri topladığını yazdı². Proje yöneticisi Jen Caltrider’a göre en ürkütücü risklerden biri manipülasyon: Kullanıcıyı yakından tanıyan bir sohbet botu, kötü niyetli kişilerin elinde insanları zararlı fikirlere ve davranışlara yöneltmek için kullanılabilir. Caltrider bu yüzden uygulamalarda daha fazla şeffaflık ve kullanıcı denetimi istedi¹. WIRED’a konuşan psikolog Vivian Ta-Johnson ise sohbet botlarının bazı insanlara başkalarıyla konuşamadıkları konuları açma rahatlığı verebileceğini söyledi. Ta-Johnson’a göre bir şirket kapandığında ya da sistemini değiştirdiğinde bu durum sohbet botuna yakınlık duyan kullanıcılar için sarsıcı olabilir; şirketler kullanıcıların kurduğu duygusal bağı ciddiye almalı³. Güvenlik şirketi Proofpoint’in yöneticilerinden Adenike Cosgrove da WIRED’a, çok miktarda kişisel veri toplayan hizmetlerde doğal bir risk bulunduğunu ve kullanıcıların özellikle duygusal açıdan kırılgan oldukları anlarda bu riski gözden kaçırabileceğini söyledi³.

Şirketler ne dedi?

Replika’nın temsilcisi Business Insider’a şirketin hiçbir zaman kullanıcı verisi satmadığını, reklam desteklemediğini ve verileri yalnız sohbetleri iyileştirmek için kullandığını söyledi⁴. WIRED’a göre Mozilla Replika’yı ilk kez 2023 başında incelemişti ve şirketin kurucusu o dönem yaptığı açıklamada Mozilla’nın bazı bulgularına itiraz etmişti³. EVA AI, parola kurallarını gözden geçireceğini ve kullanıcı sohbetlerini ön eğitimde kullanmadığını bildirdi³. WIRED’a göre şirketlerin çoğu yorum isteğine cevap vermedi³.

Mozilla’nın önerileri

Business Insider’a göre Mozilla, bir iş arkadaşınızın ya da ailenizin okumasını istemeyeceğiniz hiçbir şeyi yazmamayı, güçlü bir parola kullanmayı, yapay zeka eğitiminden çıkmayı ve uygulamanın konum, mikrofon ve kamera erişimini sınırlamayı öneriyor⁴. Projenin yöneticisi Jen Caltrider ise WIRED’a, uygulamalara Facebook ya da Google hesabıyla giriş yapmamayı, verileri silmeyi ve ad, konum, yaş gibi kişisel bilgileri olabildiğince az paylaşmayı önerdi; bunların bile yeterli olmayabileceğini ekledi³.

Sınırlılıklar

İnceleme Şubat 2024 tarihlidir; uygulamaların gizlilik politikaları o tarihten sonra değişmiş olabilir. Bulgular Mozilla’nın kendi değerlendirmesidir. Kaynaklara göre inceleme ağırlıkla gizlilik belgelerine ve sınırlı denemelere dayanıyor; uygulamaların sunucu güvenliğinin test edildiğine dair bir bilgi yok. Yüzdeler 11 uygulama üzerinden hesaplandığı için tek bir uygulama bile oranı yaklaşık 9 puan değiştirir.

Diğer araştırmalarla bağlantısı

Mozilla’nın uyarısı 2025’te somut bir karşılık buldu: İki yapay zeka arkadaş uygulamasında korumasız bir sunucu yüzünden özel sohbetler ve fotoğraflar açığa çıktı; ayrıntılar veri sızıntısı özetimizde. İncelenen uygulamalardan Replika’nın İtalya’da aldığı ceza ise İtalya kararı özetimizde anlatılıyor.

Okur için ne anlama geliyor?

Romantik sohbet uygulamaları kullanıcılardan çok kişisel bilgi toplayabilir. Bir uygulamayı seçmeden önce gizlilik politikasında verilerin satılıp satılmadığına ve hesabınızı nasıl sileceğinize bakın, güçlü ve başka yerde kullanmadığınız bir parola seçin. Gizlilik politikasını anlayacağınız bir dilde bulamıyorsanız bunu da bir uyarı işareti sayın. Uygulamaların güncel veri kuralları tarihli olarak gizlilik karnemizde, sohbet geçmişini silme adımları sohbet geçmişi silme rehberimizde, kontrol listesi yapay zeka sevgili güvenli mi rehberimizde yer alıyor.