تحسين محركات البحث (SEO) يعتمد على أدوات وتقنيات متعددة، ومن أبرزها ملف robots.txt، في هذا المقال، سنشرح ما هو هذا الملف، كيف يعمل، ولماذا يُستخدم، بالإضافة إلى أهم الأوامر التي يجب عليك تضمينها فيه، ستتعرف على كل شيء متعلق بملف robots.txt لتحسين ظهور موقعك في نتائج البحث.
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي بسيط يمكن لأصحاب المواقع الإلكترونية إنشاؤه للتحكم في حركة عناكب البحث داخل مواقعهم، ويُستخدم هذا الملف لإعطاء تعليمات واضحة لعناكب البحث، مثل Googlebot، حول كيفية الزحف إلى صفحات الموقع وفهرستها. بمعنى آخر، يحدد ملف robots.txt الصفحات والمحتويات التي يُسمح لعناكب البحث بالوصول إليها وأرشفتها، والصفحات التي يجب عليها تجنب الزحف إليها.
كيفية الوصول إلى ملف robots.txt الخاص بأي موقع؟
للوصول إلى ملف robots.txt الخاص بموقعك أو أي موقع إلكتروني آخر على الإنترنت، كل ما عليك فعله هو إضافة علامة / بعد الدومين الخاص بالموقع، ثم كتابة robots.txt والضغط على زر Enter.
على سبيل المثال:
www.example.com/robots.txt
عند القيام بذلك، ستتمكن من عرض ملف robots.txt الافتراضي الخاص بالموقع. حاليًا، إذا قمنا بزيارة ملف robots.txt الخاص بموقعنا "الربح بالعربي"، سنجد مجموعة من الأوامر والتفاصيل التي تم إنشاؤها لإدارة تحسين محركات البحث، هذه التفاصيل تشمل التعليمات التي يتم توجيهها لعناكب البحث للتحكم في الزحف إلى المحتوى، وسنتحدث عن هذه الأوامر بمزيد من التفصيل لاحقًا.
الأوامر الأساسية في ملف robots.txt
عند البدء بكتابة ملف robots.txt، يجب فهم العناصر الأساسية التي يعتمد عليها الملف لإعطاء التعليمات لعناكب البحث، وهي:
1. User-agent (وكيل المستخدم):
يُستخدم هذا الأمر لتحديد عناكب البحث (روبوتات الزحف) التي ستتلقى التعليمات. يمكن استخدام علامة النجمة (* ) لتطبيق التعليمات على جميع عناكب البحث. على سبيل المثال:
User-agent: *
هذا يعني أن جميع عناكب البحث ستتبع الأوامر المضافة بعد هذا السطر.
2. Disallow (أمر المنع):
هذا الأمر يُستخدم لمنع عناكب البحث من الوصول إلى صفحات أو مجلدات معينة داخل الموقع. على سبيل المثال:
Disallow: /admin
هذا يمنع عناكب البحث من الوصول إلى المجلد الخاص بإدارة الموقع.
3. Allow (أمر السماح):
يُستخدم هذا الأمر للسماح بالوصول إلى صفحات محددة حتى وإن كانت ضمن مجلد مُحدد في قائمة المنع. على سبيل المثال:
Allow: /admin/public
هذا يعني أن الصفحة public داخل مجلد admin ستكون مسموحة لعناكب البحث.
4. حظر جميع عناكب البحث:
إذا كنت ترغب في منع جميع عناكب البحث من الوصول إلى محتوى الموقع بالكامل، يمكنك كتابة الأوامر التالية:
User-agent: *
Disallow: /
هنا، علامة / تعني منع الوصول إلى جميع محتويات الموقع.
5. السماح الكامل لعناكب البحث:
في حالة السماح لعناكب البحث بالوصول إلى كل محتويات الموقع بدون أي قيود، يمكنك استخدام:
User-agent: *
Disallow:
هذا يعني أن جميع عناكب البحث يمكنها الزحف إلى جميع صفحات الموقع.
6. إضافة خريطة الموقع (Sitemap):
يمكنك تضمين رابط خريطة الموقع (Sitemap) لتسهيل عملية الفهرسة على عناكب البحث، مثل:
Sitemap: https://example.com/sitemap.xml
مثال عملي:
لنفترض أنك تريد السماح لجميع عناكب البحث بالوصول إلى محتويات الموقع باستثناء مجلد الإدارة، يمكن كتابة الملف بالشكل التالي:
User-agent: *
Disallow: /admin/
Allow: /admin/login
Sitemap: https://example.com/sitemap.xml
هذه الأوامر البسيطة تُعتبر الأساس لإنشاء ملف robots.txt فعال يدعم استراتيجية تحسين محركات البحث الخاصة بموقعك.
كيفية تخصيص أوامر ملف robots.txt لإدارة الزحف بشكل أكثر دقة
يمكنك استخدام أوامر robots.txt لتحديد الصفحات أو الأقسام التي تريد السماح لعناكب البحث بالوصول إليها، وحظر الصفحات التي لا تريد فهرستها. هنا سنشرح الخطوات مع بعض الأمثلة العملية:
2. حظر صفحة معينة باستخدام Disallow
لنفترض أنك تريد منع عناكب البحث من الوصول إلى صفحة البحث الداخلي لموقعك. يمكنك تحديد الرابط الذي يتضمن علامة "search"، ثم إضافة الأمر كما يلي:
Disallow: /search
3. منع زحف عناكب معينة فقط
إذا كنت تريد منع بوت معين، مثل AhrefsBot، من الزحف إلى موقعك، يمكنك كتابة التالي:
User-agent: AhrefsBot
Disallow: /
مثال عملي:
إذا كنت تريد السماح لجميع عناكب البحث بالوصول إلى موقعك باستثناء:
- صفحة الإدارة /admin/
- صفحة البحث الداخلي /search
- ومنع بوت AhrefsBot تمامًا، سيكون الملف كالتالي:
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /admin/login
User-agent: AhrefsBot
Disallow: /
Sitemap: https://example.com/sitemap.xml
بهذه الطريقة، يمكنك تحسين عملية الزحف لموقعك وضمان أن محركات البحث تستهدف فقط المحتوى الذي تريد ظهوره في نتائج البحث.
كيفية إعداد ملف robots.txt واختباره بشكل صحيح
لبدء إضافة ملف robots.txt، افتح الملف الخاص بك في الموقع أو أنشئ ملفًا جديدًا. إذا لم يتم إرسال الملف بشكل صحيح أو لم تتعرف عليه عناكب البحث مثل Googlebot أو أدوات مثل Google Search Console، يمكنك إعادة تحميل الملف مرة أخرى للتأكد من تشغيله.
1. اختبار ملف robots.txt
- قم بفحص ملف robots.txt مباشرة من خلال إضافة /robots.txt إلى الدومين الخاص بموقعك.
- استخدم أدوات مشرفي المواقع لاختبار الإعدادات.
- إذا حصلت على رسالة أو علامة باللون الأحمر عند فحص إحدى الصفحات، فهذا يعني أن الصفحة محظورة بناءً على الإعدادات المضافة في الملف.
2. استخدام أدوات الفحص والتأكد من الإعدادات
للتأكد من أن الملف يعمل بشكل صحيح:
- انسخ إعدادات robots.txt وأدخلها في أدوات الاختبار.
- افحص النتيجة وتأكد من أن عناكب البحث تعمل بشكل مناسب حسب الأوامر التي أضفتها.
3. تحديث عناكب البحث بعد التعديلات
- إذا عدلت ملف robots.txt، يجب تحديث عناكب البحث ليتم تطبيق التغييرات.
- استخدم ميزة تحديث الزحف داخل أدوات مثل Google Search Console.
أفضل ملف روبوت تكست لبلوجر
هنا نسرد لك كل شئ بناءً على خبرات أمتدت لسنوات في مجال السيو، وهذا الملف سنقدمه لك بناءً على استخدامه في مئات المدونات التي تم العمل عليها، وهو كالآتي:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
كل ما عليك فعله هو استبدال https://www.example.com برابط موقعك، وبذلك تأكد أن أمورك بخير، كل ما عليك بعد ذلك هو عمل أقسام بشكل منظم ثم نشر محتوى غني وفريد بالمعلومات التي يحتاجها الزائر.
نصيحة أخيرة
