في الغالب نعم، وبفارق كبير عن أشهر مواقع العالم. من بين 1,642 موقعًا عاملًا من مواقع الشركات وغيرها التي استشهد بها Claude في إجاباته عن 500 سؤال لمشترين في الإمارات، كان لدى 94% منها ملف robots.txt، ولم يحجب أي روبوت للذكاء الاصطناعي إلا 4.4% منها، ولم يحجب روبوتًا من روبوتات البحث والإجابة إلا 12 موقعًا (0.7%). وبين أشهر 1,000 موقع في العالم، حجب 17% من المواقع التي تعمل صفحتها الرئيسية روبوتًا واحدًا على الأقل.
لكن الجاهزية التقنية لم تكن ما يميّز المواقع الأكثر استشهادًا: المواقع التي استُشهد بها ثلاث مرات أو أكثر اجتازت الفحوص الأساسية السبعة بنسبة قريبة من المواقع التي استُشهد بها مرة واحدة (71% مقابل 68%). الأساسيات شرط للدخول، لا سبب للفوز. وكون الذكاء الاصطناعي استشهد بهذه المواقع لا يثبت أن هذه الإشارات هي السبب.
لماذا أجرينا هذه الدراسة
نشرنا في 21 أكتوبر 2026 دراسة الظهور في الذكاء الاصطناعي في الإمارات: 500 سؤال حقيقي بالعربية والإنجليزية في 10 قطاعات. استشهد Claude مع البحث المباشر بـ4,634 مصدرًا، و79% منها مواقع الشركات نفسها ومواقع أخرى خارج الأدلة الكبرى. ونصائح "تجهيز موقعك للذكاء الاصطناعي" المنتشرة عبارة عن قائمة: اسمح لروبوتات الذكاء الاصطناعي، وأضف ملف llms.txt، وأضف البيانات المنظمة، واجعل الصفحة تعمل من دون جافاسكربت. فأردنا أن نعرف: هل تتبع المواقع التي يختارها الذكاء الاصطناعي فعلًا هذه القائمة؟
كيف أجرينا الدراسة
- المواقع التي استشهد بها الذكاء الاصطناعي. جمعنا المصادر الـ4,634 حسب الموقع، فكانت 1,954 موقعًا، وقسمناها بقواعد الدراسة الأولى إلى 1,861 موقعًا للشركات وغيرها و93 منصة (أدلة، ومواقع تقييم، وتواصل اجتماعي، وأخبار، وويكيبيديا، وجهات حكومية). وحدّدنا ضمنها 451 موقعًا يطابق عنوانها اسم شركة ذكرتها الإجابة نفسها.
- المقارنة. أشهر 1,000 موقع في قائمة Tranco البحثية (القائمة 262W9، 20 أكتوبر 2026). كثير منها نطاقات بنية تحتية بلا موقع، لذلك قارنّا فقط المواقع التي تعمل صفحتها الرئيسية: 1,642 من المواقع المستشهد بها و558 من المواقع العالمية.
- زحف مهذّب. عرّف روبوتنا نفسه باسمه الحقيقي AdjoltzResearchBot، ولم يرسل أكثر من 4 طلبات في الوقت نفسه، والتزم بملف robots.txt، ولم ينتحل اسم أي روبوت للذكاء الاصطناعي. جرى الفحص يوم 22 أكتوبر 2026 من الساعة 07:01 إلى 08:27 بتوقيت دبي.
- الفحوص. قرأنا لكل موقع هل يحجب ملف robots.txt أربعة عشر روبوتًا عن الصفحة الرئيسية وفق قواعد المعيار (RFC 9309)، وقسنا النص الموجود في كود الصفحة من دون تشغيل جافاسكربت، وقرأنا ترميز البيانات المنظمة ووسوم اللغة والعنوان والوصف. ثم جمعنا سبعة فحوص سمّيناها "الأساسيات السبعة": وجود ملف robots.txt، وعدم حجب أي روبوت بحث أو إجابة، وHTTPS، وعنوان ووصف للصفحة، و500 حرف على الأقل من النص في كود الصفحة، وترميز Organization، وخريطة موقع تعمل.
النتيجة الأولى: لا تحجب روبوتات الذكاء الاصطناعي تقريبًا
تفرّق OpenAI وAnthropic وPerplexity بين روبوتات تجمع بيانات التدريب وروبوتات تجلب الصفحات للبحث والإجابة. وكل الحجب تقريبًا في المواقع المستشهد بها كان على روبوتات التدريب:
| الروبوت | وظيفته بحسب شركته | المواقع المستشهد بها (1,642) | أشهر مواقع العالم (558) |
|---|---|---|---|
| OAI-SearchBot | الظهور في بحث ChatGPT | 0% | 4.5% |
| ChatGPT-User | زيارة صفحة عندما يطلبها المستخدم | 0.3% | 6.1% |
| Claude-SearchBot | تحسين نتائج بحث Claude | 0.2% | 5.0% |
| PerplexityBot | الظهور في بحث Perplexity | 0.5% | 7.7% |
| GPTBot | بيانات التدريب | 2.5% | 10.9% |
| ClaudeBot | بيانات التدريب | 2.4% | 10.8% |
| Google-Extended | تدريب Gemini والاستناد إليه، ولا يؤثر في بحث Google | 1.9% | 9.1% |
| Googlebot وBingbot | محركات البحث | 0% | 0% |
ولفت نظرنا أن 44 موقعًا استشهد بها Claude تحجب ClaudeBot، روبوت التدريب لدى Anthropic، ومع ذلك استشهد بها بحثه قبل يوم واحد. لا نعرف كيف تبني أداة البحث لدى Anthropic فهرسها، لذلك نقرأ هذا بحذر: حجب روبوت التدريب لم يُخرج هذه المواقع من إجابات Claude. وفي المقابل، رفض 116 موقعًا (6.2%) روبوتنا أو أخضعه لصفحة تحقق، مع أن ملف robots.txt لديها يسمح له. جدار الحماية قد يرد روبوتات الذكاء الاصطناعي بالطريقة نفسها من دون أن يظهر ذلك في الملف.
النتيجة الثانية: ملف llms.txt شائع لكنه لا يميّز
ملف llms.txt نص بسيط في جذر الموقع يلخّص الموقع لأدوات الذكاء الاصطناعي، اقترحه Jeremy Howard في سبتمبر 2024، وهو ليس معيارًا رسميًا. وجدناه في 652 موقعًا مستشهدًا بها (40%)، مقابل 18.6% من أشهر مواقع العالم. وجزء من السبب أن 56% من هذه المواقع مبنية على WordPress، وأن ثلث الملفات تقول في أولها إن إضافة SEO صنعتها (Yoast أو Rank Math أو All in One SEO) أو منصة Wix. لكن الفرق بين المواقع المستشهد بها مرة واحدة (38.6%) والمستشهد بها ثلاث مرات أو أكثر (45.9%) كان صغيرًا.
النتيجة الثالثة: النص موجود في كود الصفحة
بحسب تحليل Vercel في ديسمبر 2024، تنزّل روبوتات OpenAI وAnthropic ملفات جافاسكربت ولا تشغّلها، فلا تقرأ النص الذي لا يظهر إلا بعد تشغيلها. في المواقع المستشهد بها بلغ وسيط النص في كود الصفحة الرئيسية 8,214 حرفًا، ولم يكن تحت 500 حرف إلا 2.7% منها، مقابل 21% من أشهر مواقع العالم، ومعظمها تطبيقات ويب تبني صفحاتها في المتصفح.
النتيجة الرابعة: تعرّف بنفسها بالبيانات المنظمة
البيانات المنظمة (schema) كود يخبر الآلات بحقائق واضحة: هذه عيادة أسنان، وهذا عنوانها، وهذه ساعات عملها وحساباتها. تقول Google إن ترميز Organization يساعدها على فهم المؤسسة وتمييزها عن غيرها. حمل 76.8% من المواقع المستشهد بها ترميز Organization و36.6% ترميز LocalBusiness و19.5% ترميز FAQPage و12.5% ترميز التقييمات، مقابل 37.3% و0.4% و3.2% و1.8% في أشهر مواقع العالم. وكانت مواقع الشركات التي ذكرتها الإجابات بالاسم الأكمل ترميزًا: أكثر من نصفها يحمل LocalBusiness.
النتيجة الخامسة: الإشارات العربية ضعيفة
تعرف الآلات لغة الصفحة من وسم اللغة (lang)، ويربط وسم hreflang النسختين العربية والإنجليزية من الصفحة نفسها.
| استُشهد بها في إجابات إنجليزية (1,050) | استُشهد بها في إجابات عربية (679) | |
|---|---|---|
| وسم لغة الصفحة الرئيسية عربي | 0.9% | 56.1% |
| تربط نسخة عربية عبر hreflang | 15.1% | 38.4% |
| أي إشارة عربية | 15.4% | 79.2% |
| ترميز LocalBusiness | 39.6% | 34.9% |
| ترميز FAQPage | 23.3% | 15.2% |
| تجتاز الأساسيات السبعة | 73.0% | 66.3% |
أي إن خُمس المواقع التي استُشهد بها في إجابات عربية (20.8%) لا تحمل أي إشارة عربية في صفحتها الرئيسية، فإن كانت لديها صفحات عربية فالصفحة الرئيسية لا تدل الآلات عليها. وكانت هذه المواقع أقل اكتمالًا عمومًا، وهذا يتفق مع ما رأيناه في الدراسة الأولى: المحتوى العربي الجيد أقل، وتوسيمه أضعف.
ماذا يعني هذا لشركتك
ارتباط لا سببية. استشهد الذكاء الاصطناعي بهذه المواقع، وهذا لا يثبت أن الإشارات التي فحصناها هي السبب. فالمواقع القوية في البحث يبنيها في العادة أشخاص يضيفون أيضًا الإضافات والترميز وخرائط الموقع. اعتبر هذه الفحوص المستوى الذي يُقارن به موقعك، لا مفتاحًا يضمن ذكر اسمك.
- اسمح لروبوتات البحث والإجابة. افتح yoursite.com/robots.txt وتأكد أن OAI-SearchBot وChatGPT-User وClaude-SearchBot وClaude-User وPerplexityBot وGooglebot وBingbot غير محجوبة. وقرار روبوتات التدريب منفصل. تقرأ أداة فحص روبوتات الذكاء الاصطناعي المجانية الملف عنك.
- افحص جدار الحماية أيضًا. إن كنت تستخدم Cloudflare أو إضافة حماية، تأكد أنها لا تعترض روبوتات البحث.
- ضع نصك في كود الصفحة. افتح "عرض مصدر الصفحة" وابحث عن جملة من صفحتك. إن لم تجدها فالروبوتات التي لا تشغّل جافاسكربت لن تقرأها.
- عرّف بشركتك بالبيانات المنظمة. ترميز LocalBusiness بالنوع الصحيح، مع الاسم والعنوان والهاتف وساعات العمل وروابط sameAs إلى ملفك في Google وحساباتك.
- وسّم صفحاتك العربية. ضع lang="ar" على الصفحات العربية، واربط كل صفحة إنجليزية بنظيرتها العربية عبر hreflang في الاتجاهين، واكتب المنطقة والمدينة بالعربية والإنجليزية.
- ثم ابنِ ما يميّز فعلًا: صفحة لكل سؤال حقيقي يطرحه المشترون، بإجابة واضحة بالعربية والإنجليزية. وتُظهر أداة فحص الظهور المجانية أين تقف. أما ملف llms.txt فأضفه أخيرًا إن شئت عبر مولّد llms.txt المجاني.
فحصنا المجاني يسأل ChatGPT وGemini (Google AI) عشرة أسئلة حقيقية عن نشاطك ويخبرك من يُذكر. ولا نعد بأن هذه الإصلاحات ستجعل الذكاء الاصطناعي يذكرك، لكنها تزيل أسباب تجاهله لك.
حدود الدراسة
- مساعد واحد ويوم واحد: المواقع جاءت من إجابات Claude يوم 21 أكتوبر 2026، وفحصناها في اليوم التالي.
- المقارنة بأشهر مواقع العالم مرجع عام، لا مجموعة ضابطة من شركات إماراتية لم يستشهد بها الذكاء الاصطناعي.
- فحصنا الصفحة الرئيسية فقط، والبيانات المنظمة والصفحات العربية كثيرًا ما تكون في صفحات داخلية.
- لم نختبر باسم أي روبوت للذكاء الاصطناعي، فحجب جدار الحماية لها غير محسوب، والمواقع التي رفضت روبوتنا مستبعدة من النسب.
تنزيل البيانات
ملف فيه صف لكل موقع (2,940 صفًا): مجموعته، وعدد مرات الاستشهاد به وقطاعاته ولغاته، وترتيبه في Tranco إن وُجد، ونتيجة كل فحص. عناوين مواقع ونتائج تقنية فقط، بلا أي بيانات شخصية. نزّل ملف CSV، والتفاصيل الكاملة للمنهجية في النسخة الإنجليزية.