شكرًا رانيا لطرحك هذا الموضوع، وأود بالأساس مناقشة ما توصلتِ إليه بخصوص الملف، أنّه إذا كان لن ينفع، فهو لن يضر.
لدي اهتمام شخصي كمستخدم بمعرفة الآلية التي تعمل بها محركات البحث، وكيف تصل إلى المحتوى الذي ينشر على جميع المواقع لفهرسته. طبعًا هي عمليات آلية، لكن بها قدر كبير من الذكاء، وتقوم على عناكب البحث.
ببساطة تنطلق عناكب البحث في عمليات زحف للمواقع، وتبدأ في عمليات الفهرسة وفقًا لجودة المحتوى. في كل عملية زحف، يكون لهذه العناكب حصة معينة من صفحات الموقع، ولا يمكن أن تزيد.
تخيلي معي مثلًا أنّكِ ترغبين في شراء منتج معين، إذا ذهبتي إلى المتجر ووجدتِ أنواع مختلفة من هذا المنتج، ستزداد فرص الشراء في أثناء وجودك. بينما إذا وجدتِ المنتج بكمية قليلة، وتوجد منتجات من نوع آخر، فحتى إذا ألقيتِ نظرة عليها ففي النهاية لن تجري أي عملية شراء.
الأمر ذاته لعناكب البحث، عندما تأتي إلى الموقع، إذا وجدت صفحات غير مهمة بالنسبة لما تبحث عنه، فنحن نخسر فرصة الفهرسة. بينما إذا نجحنا في التحكم بالبيانات والصفحات المطلوب تتبعها من عناكب البحث، فسنقدر على جعلها تصل إلى هدفها سريعًا، ومن ثم إمكانية فهرسة الموقع أسرع على محركات البحث.
وهذا هو دور ملف robots txt، أنّه يمنع الملفات التي لا فائدة لها من الفهرسة، مثل صفحات الإضافات والقوالب، ويجعل التركيز على المحتوى المهم.
وبالطبع تكون نتيجة ذلك هي زيادة فرصنا في الظهور بمحركات البحث للمستخدمين.
