قد تكون روبوتات الذكاء الاصطناعي محظورة على موقعك دون قصد

منذ عام 2023 أضافت مواقع كثيرة روبوتات الذكاء الاصطناعي إلى ملف robots.txt لمنع استخدام محتواها في تدريب النماذج. وكانت النيّة معقولة، لكن فارقًا حاسمًا غاب عن التطبيق: فروبوت التدريب وروبوت البحث/الإجابة، وإن كانا لشركة واحدة، وكيلان (user-agent) مختلفان. وحظرهما معًا لا يُخرج الموقع من بيانات التدريب فحسب، بل يُلغي كذلك فرصة الاستشهاد به في الإجابات.

نوعان مختلفان من الروبوتات

الروبوتات الحرجة للظهور

• OAI-SearchBot — ضروري كي يتمكّن ChatGPT من عرض موقعك في نتائج بحثه.
• ChatGPT-User — يقرأ صفحتك عندما يفتح المستخدم رابطًا.
• PerplexityBot وPerplexity-User — ضروريان للاستشهاد بموقعك في إجابات Perplexity.
• ClaudeBot وClaude-User وClaude-SearchBot — الزحف والجلب في جانب Claude.
• Googlebot — الزاحف الأساسي للبحث الكلاسيكي ولـ AI Overviews معًا.
• Bingbot — القسم الأكبر من إجابات Copilot يتغذّى من فهرس Bing.

في المقابل، ليست GPTBot (تدريب OpenAI) وGoogle-Extended (تدريب Gemini) وApplebot-Extended (تدريب Apple Intelligence) روبوتات ظهور مباشر. وحظرها وحده لا يمنع ذكر علامتك التجارية في الإجابات.

مثال على التهيئة

# روبوتات التدريب محظورة
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# روبوتات البحث / الإجابة مسموحة
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Sitemap: https://ornek.com/sitemap.xml

robots.txt ليس العائق الوحيد

• قواعد CDN وWAF (مثل إدارة الروبوتات في Cloudflare) قد تحظر روبوتات الذكاء الاصطناعي بمعزل عن robots.txt.
• القواعد التي تُرجع 403 على الخادم بحسب user-agent تصنع غيابًا صامتًا.
• المحتوى المُنتَج بـ JavaScript وحده يتعذّر على بعض الروبوتات قراءته.
• المحتوى الواقع خلف جدار تسجيل الدخول لا يمكن الاستشهاد به إطلاقًا.

لذلك ينبغي ألّا يقتصر التدقيق على robots.txt، بل أن يشمل كذلك قواعد CDN وسجلّات الخادم وحالة العرض على جانب الخادم.