2023’ten itibaren birçok site, içeriğinin model eğitiminde kullanılmasını engellemek için robots.txt dosyasına AI botlarını ekledi. Niyet makuldü; ancak uygulamada kritik bir ayrım gözden kaçtı: aynı şirketin eğitim botu ile arama/cevap botu farklı ajanlardır. İkisini birden engellediğinizde eğitim verisinden çıkmakla kalmaz, cevaplarda kaynak gösterilme şansınızı da yok edersiniz.
İki farklı bot türü
| Tür | Ne yapar | Engellenirse |
|---|---|---|
| Eğitim botu | İçeriği model eğitiminde kullanmak için toplar | Görünürlük doğrudan etkilenmez |
| Arama / cevap botu | Kullanıcı soru sorduğunda güncel içeriği getirir | Cevaplarda kaynak gösterilmezsiniz |
Görünürlük için kritik botlar
- OAI-SearchBot — ChatGPT’nin arama sonuçlarında sitenizi gösterebilmesi için gerekli.
- ChatGPT-User — kullanıcı bir bağlantıyı açtığında sayfanızı okur.
- PerplexityBot ve Perplexity-User — Perplexity cevaplarında kaynak gösterilmek için gerekli.
- ClaudeBot, Claude-User, Claude-SearchBot — Claude tarafında tarama ve getirme.
- Googlebot — hem klasik arama hem AI Overviews için temel tarayıcı.
- Bingbot — Copilot cevaplarının büyük bölümü Bing indeksinden beslenir.
Buna karşılık GPTBot (OpenAI eğitim), Google-Extended (Gemini eğitimi) ve Applebot-Extended (Apple Intelligence eğitimi) doğrudan görünürlük botları değildir. Bunları engellemek, cevaplarda anılmanızı tek başına engellemez.
Pratik kural: içeriğinizin model eğitiminde kullanılmasını istemiyor ama cevaplarda anılmak istiyorsanız, eğitim botlarını engelleyip arama/cevap botlarını serbest bırakın.
Örnek yapılandırma
# Eğitim botları engelli
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
# Arama / cevap botları serbest
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
Sitemap: https://ornek.com/sitemap.xmlrobots.txt tek engel değil
- CDN ve WAF kuralları (Cloudflare bot yönetimi gibi) AI botlarını robots.txt’den bağımsız olarak engelleyebilir.
- Sunucu tarafında user-agent bazlı 403 dönen kurallar sessizce görünmezlik yaratır.
- Yalnızca JavaScript ile üretilen içerik bazı botlar tarafından okunamaz.
- Giriş duvarı arkasındaki içerik hiçbir zaman kaynak gösterilemez.
Bu yüzden denetimi robots.txt ile sınırlı tutmamak; CDN kurallarını, sunucu günlüklerini ve sunucu tarafı render durumunu da birlikte incelemek gerekir.