زواحف الذكاء الاصطناعي ثلاثة أنواع (الزاحف برنامج يزور الصفحات ويقرؤها آليًا). زواحف التدريب (GPTBot وClaudeBot وMeta-ExternalAgent وCCBot) تجمع صفحات قد تُستخدم في تدريب النماذج القادمة. زواحف البحث (OAI-SearchBot وClaude-SearchBot وPerplexityBot وGooglebot وBingbot) تبني الفهارس التي يبحث فيها مساعدو الذكاء الاصطناعي حين يجيبون. وأدوات الجلب بطلب المستخدم (ChatGPT-User وClaude-User وPerplexity-User) تفتح صفحة لأن شخصًا طلبها.
النشاط التجاري الذي يريد أن يُرشَّح يسمح لكل زواحف البحث وأدوات الجلب، ويتخذ قرارًا واعيًا بشأن زواحف التدريب. ثم يفحص جدار الحماية، لأن الحجب في شبكة توصيل المحتوى يتقدم على ملف robots.txt. أداتنا المجانية لفحص الزواحف (بالإنجليزية) تختبر موقعك مقابل القائمة أدناه.
القائمة: زواحف الذكاء الاصطناعي ووكلاء المستخدم في 2026
كل صف، ما عدا Bytespider، مأخوذ من وثائق الشركة نفسها، وراجعناه في 21 و22 أكتوبر 2026، وكل اسم مرتبط بتلك الصفحة. و«رمز وكيل المستخدم» هو الاسم الذي تكتبه بعد User-agent: في ملف robots.txt، وهو الملف الذي يخبر الزواحف بما يمكنها قراءته في موقعك.
| الرمز | الشركة | الغرض | هل يلتزم بملف robots.txt؟ |
|---|---|---|---|
| OAI-SearchBot | OpenAI | فهرس البحث في ChatGPT | نعم. تقول OpenAI إن المواقع التي تحجبه لن تظهر في إجابات بحث ChatGPT |
| GPTBot | OpenAI | التدريب | نعم |
| ChatGPT-User | OpenAI | جلب بطلب المستخدم | تقول OpenAI إن القواعد قد لا تنطبق عليه |
| OAI-AdsBot | OpenAI | يفحص صفحات الهبوط المقدمة إعلاناتٍ في ChatGPT | يزور الصفحات المقدمة إعلاناتٍ فقط، ولا يُستخدم للتدريب |
| Claude-SearchBot | Anthropic | فهرس البحث في Claude | نعم |
| ClaudeBot | Anthropic | التدريب | نعم، ويدعم Crawl-delay |
| Claude-User | Anthropic | جلب بطلب المستخدم | نعم. حجبه يمنع Claude من جلب صفحتك للمستخدمين |
| Googlebot | بحث Google، ومنه نبذات Google بالذكاء الاصطناعي ووضع البحث بالذكاء الاصطناعي | نعم | |
| Google-Extended | رمز فقط بلا زاحف: تدريب Gemini والاستناد إلى المحتوى في تطبيقات Gemini | نعم (فهو أداة تحكم في robots.txt) | |
| Google-CloudVertexBot | زحف يطلبه صاحب الموقع لبناء وكلاء Vertex AI | نعم، وتنطبق عليه قواعد Googlebot أيضًا | |
| GoogleOther | زحف لمرة واحدة لأغراض البحث والتطوير | نعم | |
| Google-Agent | وكلاء على بنية Google ينفذون طلب مستخدم | تقول Google إن أدوات الجلب بطلب المستخدم تتجاهل قواعد الملف عمومًا | |
| PerplexityBot | Perplexity | فهرس البحث، وتقول Perplexity إنه لا يجمع محتوى لتدريب النماذج الأساسية | نعم |
| Perplexity-User | Perplexity | جلب بطلب المستخدم | تقول Perplexity إنه يتجاهل قواعد الملف عمومًا |
| Bingbot | Microsoft | بحث Bing وCopilot وواجهة Bing للاستناد | نعم. استخدم وسم NOARCHIVE أو NOCACHE لتقييد استخدام Copilot |
| Applebot | Apple | البحث في Siri وSpotlight وSafari، وقد تُدرَّب نماذج Apple على بياناته | نعم، ويتبع قواعد Googlebot إذا لم يُذكر بالاسم |
| Applebot-Extended | Apple | رمز فقط: الخروج من تدريب نماذج Apple الأساسية | نعم. تقول Apple إنه لا يزحف إلى الصفحات |
| Meta-ExternalAgent | Meta | تدريب نماذج الذكاء الاصطناعي وفهرسة المحتوى | نعم |
| Meta-WebIndexer | Meta | البحث في Meta AI، ويساعد Meta على الاستشهاد بمحتواك والربط إليه | نعم |
| Meta-ExternalFetcher | Meta | جلب بطلب المستخدم ومهام الوكلاء | تقول Meta إنه قد يتجاوز قواعد الملف |
| Amazonbot | Amazon | تحسين منتجات Amazon، وتقول إنه قد يُستخدم لتدريب نماذجها | نعم، بلا Crawl-delay |
| Amzn-SearchBot | Amazon | البحث في منتجات Amazon مثل Alexa، بلا تدريب | نعم |
| Amzn-User | Amazon | جلب بطلب المستخدم، مثل الإجابات الحية في Alexa | تقول Amazon إنه قد لا يتبع كل توجيهات الملف |
| CCBot | Common Crawl | أرشيف مفتوح للويب، يُستخدم كثيرًا في تدريب النماذج | نعم |
| MistralAI-Index | Mistral AI | فهرس البحث، وتقول Mistral إنه لا يُستخدم في أي تدريب للذكاء الاصطناعي التوليدي | نعم |
| MistralAI-User | Mistral AI | جلب بطلب المستخدم في مساعد Vibe | نعم، وتقول Mistral إن الملف يحدد المواقع التي يمكن إرسال هذه الطلبات إليها |
| MistralAI-Training | Mistral AI | التدريب | نعم |
| DuckAssistBot | DuckDuckGo | جلب فوري لإجابات DuckDuckGo بالذكاء الاصطناعي، بلا تدريب | نعم، ويسري التغيير بعد 72 ساعة |
| Bytespider | ByteDance | لم نجد وثائق رسمية | غير معروف |
تنشر معظم هذه الشركات أيضًا عناوين IP التي تستخدمها زواحفها، وروابطها في صفحات الوثائق نفسها (مثل openai.com/searchbot.json وperplexity.com/perplexitybot.json وbing.com/toolbox/bingbot.json). استخدم هذه القوائم لتميّز الزاحف الحقيقي من زاحف مزيف يستعير اسمه فقط. وتحذّر Anthropic من العكس: حجب عناوين IP الخاصة بها للخروج قد لا يعمل كما يجب، لأنه يمنع زاحفها من قراءة ملف robots.txt أصلًا.
التدريب والبحث والجلب: ماذا يكلّفك كل قرار؟
إذا حجبت زاحف تدريب
يُفترض أن تُستبعد صفحاتك القادمة من بيانات تدريب تلك الشركة، وتبقى في إجابات بحثها. الثمن: قد تعرف النماذج القادمة عنك أقل، فتُسقطك الإجابات التي تأتي من ذاكرة النموذج.
إذا حجبت زاحف بحث
تخرج من فهرس ذلك المساعد. تقول OpenAI إن هذه المواقع لن تظهر في إجابات بحث ChatGPT. ولنشاط يريد مشترين، هذا خطأ في كل الحالات تقريبًا.
إذا حجبت أداة جلب
حين يسأل مشترٍ عنك أو يلصق رابطك، قد لا يستطيع المساعد فتح صفحتك. وبعض أدوات الجلب تتجاهل الملف أصلًا، فقد لا ينجح الحجب أيضًا.
تفصيلان من Google يربكان كثيرين. الأول أن Google-Extended لا يمس بحث Google: للخروج من نبذات Google بالذكاء الاصطناعي ووضع البحث بالذكاء الاصطناعي تستخدم إعداد Search generative AI في Search Console، وتقول Google إن هذا الإعداد لا يؤثر في تدريب الذكاء الاصطناعي. والثاني أن Google-Extended بلا وكيل مستخدم خاص به، فلن تراه أبدًا في سجلات الخادم.
ملف robots.txt الذي نوصي به لنشاط يريد أن يُرشَّح
اجعله قصيرًا. بحسب معيار RFC 9309، الزاحف الذي يجد مجموعة قواعد باسمه يلتزم بها وحدها، ويتجاهل مجموعة User-agent: * كليًا. لذلك فإن ذكر الزواحف بالاسم لمجرد «السماح» لها فيه خطر: ستتخطى كل قاعدة في مجموعتك العامة. الملف الأكثر أمانًا يترك كل الزواحف تتبع مجموعة عامة واحدة، ولا يذكر بالاسم إلا ما تريد إبعاده.
# Everyone: crawl the site, skip private areas
User-agent: *
Disallow: /admin/
Disallow: /checkout/
Sitemap: https://www.example.com/sitemap.xml
هذا هو الملف كله لأغلب الأنشطة. كل زواحف البحث وأدوات الجلب وزواحف التدريب التي تلتزم بالملف مسموح لها، ما عدا المجلدات الخاصة.
وإذا كنت تعترض على تدريب الذكاء الاصطناعي على محتواك، فأضف مجموعة واحدة لرموز التدريب، وتبقى في إجابات البحث:
# Optional: opt out of AI training, stay in AI search
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: MistralAI-Training
Disallow: /
فكّر مرتين قبل إضافة Google-Extended إلى هذه المجموعة. تقول Google إنه يتحكم أيضًا في الاستناد إلى المحتوى (grounding) في تطبيقات Gemini، فحجبه قد يُبعدك عن إجابات تطبيق Gemini التي تستشهد بالويب. وتركنا Amazonbot خارج المجموعة عمدًا، لأن Amazon تصفه بأنه لتحسين المنتجات وللتدريب معًا.
وتضيف بعض المواقع سطر إشارات المحتوى من Cloudflare (Content Signals)، مثل Content-Signal: search=yes, ai-train=no. تقول Cloudflare نفسها إن هذه الإشارات تعبّر عن تفضيلات وليست وسيلة تقنية للمنع، ولم نجد شركة ذكاء اصطناعي توثّق أنها تقرؤها. ويعمل فريق AI Preferences في IETF على صيغة قياسية لقول الشيء نفسه، لكنها لم تكتمل بعد.
ستة أخطاء نفحصها في كل موقع
- جدار الحماية يرفض. منذ 1 يوليو 2025 تسأل Cloudflare كل نطاق جديد هل يسمح لزواحف الذكاء الاصطناعي، والحجب هو الخيار الافتراضي. وأوضاع مكافحة الروبوتات وإضافات الحماية قد تفعل الشيء نفسه. ولا يستطيع ملف robots.txt أن يتجاوز جدار الحماية.
- الملف يعيد خطأ خادم. يقول معيار RFC 9309 إن ردًا من نوع 5xx يعني أن على الزواحف أن تفترض الحجب الكامل. ملف واحد معطّل يحجب كل الزواحف.
- قوائم حجب منسوخة. قائمة «احجب كل زواحف الذكاء الاصطناعي» قد تشمل زواحف بحث مثل OAI-SearchBot أو PerplexityBot أو Claude-SearchBot، فتُخرجك من بحث الذكاء الاصطناعي لا من التدريب وحده. اقرأ كل سطر قبل أن تلصقها.
- مجموعات بالاسم تتخطى قواعدك. كما سبق: الزاحف الذي له مجموعة خاصة يتجاهل
User-agent: *. - انتظار نتيجة فورية. تقول OpenAI وPerplexity إن التغيير يحتاج نحو 24 ساعة، وقد تستخدم Amazon نسخة عمرها حتى 30 يومًا، وتقول DuckDuckGo إنها 72 ساعة، ويسمح RFC 9309 للزواحف بالاحتفاظ بنسخة من الملف حتى 24 ساعة.
- الثقة بالاسم في السجلات. أي شخص يستطيع إرسال طلب يقول إنه GPTBot. طابق عنوان IP مع القائمة المنشورة قبل أن تتصرف.
صفحاتك العربية: الزاحف لا يستشهد إلا بما في كود الصفحة
هذه بياناتنا نحن. في دراستنا لـ500 سؤال حقيقي من أسئلة المشترين في الإمارات (21 أكتوبر 2026)، كانت 90.2% من المصادر التي استشهد بها Claude في الإجابات العربية صفحات عربية. والأنشطة التي لها صفحات عربية حقيقية ذُكرت مرة بعد مرة: موقع مركز أوريس لطب الأسنان (Oris Dental Center) استُشهد به 14 مرة، كلها في إجابات عربية، وموقع مكتب Alaa Al Jasmi للمحاماة العربي 26 مرة، وصفحات Shuraa العربية 24 مرة. وفي المقابل، استشهدت 46 إجابة من 250 إجابة عربية بصفحة سعودية واحدة على الأقل. وقراءتنا أن البحث يأخذ ما يجده بالعربية، فإن لم يجد صفحة إماراتية بنى الإجابة من صفحات بلد آخر.
ما يعنيه هذا للزواحف:
- لكل صفحة عربية رابط خاص بها يستطيع الزاحف جلبه، مثل /ar/ في أول المسار. وتوصي Google بعنوان URL منفصل لكل لغة.
- لا تعتمد على أداة ترجمة تعمل في المتصفح. وجدت Vercel أن الزواحف التي يستخدمها ChatGPT وClaude تجلب ملفات JavaScript لكنها لا تشغّلها، فالنص العربي الذي لا يظهر إلا بعد تشغيل سكربت قد لا يراه الزاحف أبدًا. افتح كود الصفحة وابحث عن جملة عربية منها: إن لم تجدها، فافترض أن الزاحف لا يجدها.
- افحص المسارات العربية في جدار الحماية. تأكد في سجلات الخادم أن زواحف البحث تصل إلى صفحاتك العربية كما تصل إلى الإنجليزية.
التفاصيل في تقريرنا عن الإجابات العربية (بالإنجليزية) وفي دراستنا عن الظهور في الذكاء الاصطناعي في الإمارات.
وماذا عن الزواحف التي لا تلتزم بالقواعد؟
ملف robots.txt طلب لا قفل. يقول المعيار نفسه إن قواعده ليست شكلًا من أشكال الإذن بالوصول. والخلافات تحدث: في 4 أغسطس 2025 قالت Cloudflare إن Perplexity استخدمت زواحف غير معلنة لتتجاوز قواعد منع الزحف، وأزالتها من قائمة الروبوتات الموثقة لديها. وردّت Perplexity بأن Cloudflare خلطت بين حركتها وطلبات من خدمة متصفح خارجية. لا نستطيع أن نحكم في هذا الخلاف، لكن الدرس عملي: إذا كنت تحتاج فعلًا إلى إبعاد زاحف، فاستخدم قاعدة في جدار الحماية. وإذا كنت تريد أن تُرشَّح، فالخطر الأكبر أن تحجب الزواحف التي تحتاجها.
ماذا نفعل لك
يبدأ كل عمل بفحص الوصول: ملف robots.txt، وقواعد جدار الحماية وشبكة توصيل المحتوى، وسجلات الخادم للزواحف الحقيقية، والصفحات التي يستطيع كل مساعد قراءتها فعلًا، بالعربية والإنجليزية. الفحص المجاني يطرح 10 من أسئلة مشتريك على ChatGPT وGemini (Google AI). والتدقيق بسعر 1,950 درهمًا (549 دولارًا أمريكيًا خارج دول الخليج، على adjoltz.com/us) يضيف مراجعة كاملة للزواحف والوصول على 4 أدوات ذكاء اصطناعي. والباقات الشهرية: الأساس 4,500 درهم أو 1,249 دولارًا، والنمو 8,500 درهم أو 2,349 دولارًا، والريادة 16,000 درهم أو 4,399 دولارًا شهريًا، شهرًا بشهر، بلا التزام، وبلا رسوم تأسيس، مع ضمان غير مشروط لاسترداد المال خلال 30 يومًا (القواعد في صفحة الضمان). ولفحص سريع بنفسك، جرّب أداتنا لفحص الزواحف (بالإنجليزية).
ما لا نعد به
- أن السماح للزواحف يكفي لترشيحك. الوصول تذكرة دخول فقط، أما الصفحات والإشارات إليك في المواقع الأخرى فهي التي تصنع الفرق.
- أن تبقى هذه القائمة كاملة. الشركات تضيف زواحف وتغيّر أسماءها كثيرًا: منذ 2025 أضافت OpenAI وAmazon وMeta وMistral وGoogle كلها زواحف جديدة. نراجع الصفحات الرسمية ونؤرخ كل تحديث.
- أن ملف robots.txt يستطيع إبعاد زاحف يختار أن يتجاهله.