كيف يمكن تحسين ملف robots.txt لتحسين عملية السيو. يوضح ملف robots.txt لمحركات البحث كيفية الزحف إلى موقع الويب الخاص بك مما يجعله أداة محسنة للسيو قوية بشكل لا يصدق. في هذه الدليل البسيط، سنعرض لك كيفية إنشاء ملف robots.txt مثالي للسيو وكيف تحسينة لمحركات البحث.

ما هو ملف robots.txt؟

Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محرك البحث عن كيفية الزحف إلى صفحات الموقع وفهرستها.

عادة ما يتم تخزينه في الدليل الجذر المعروف أيضا باسم المجلد الرئيسي لموقع الويب الخاص بك. يبدو التنسيق الأساسي لملف robots.txt كما يلي:

User-agent*: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

قد يبدو هذه صعب في البداية، لذا سأعرف معنى هذه الأوامر:

وكيل المستخدم: هنا يمكنك تحديد الاتجاهات إلى روبوت معين. في هذه الحالة، استخدمنا “*” التي تنطبق على جميع الروبوتات.
عدم السماح: يمكنك عدم السماح إلى روبوت البحث بالذحف إلى عنوان URL او ملف او مجلد معين
السماح: يسمح للروبوت بأنه من المقبول الزحف إلى ملف في مجلد تم رفضه.
ملف خرائط الموقع: يستخدم لتحديد موقع ملف Sitemap الخاص بك.

يمكنك الحصول على سطور متعددة من التعليمات للسماح بعناوين URL محددة أو عدم السماح بها وإضافة ملفات Sitemap متعددة. إذا كنت لا تسمح بعنوان URL، فإن روبوتات محرك البحث تفترض أنه يُسمح له بالزحف إليه.

إليك ما يمكن أن يبدو عليه الملف. مثال على ملف robots.txt:

User-Agent: *
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
 
Sitemap: https://example.com/sitemap_index.xml

في مثال ملف robots.txt أعلاه، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في مجلد تحميلات ووردبريس الخاص بنا.

بعد ذلك، لم نسمح لروبوتات البحث من الزحف إلى المكونات الإضافية وفهرستها ومجلدات مسؤول ووردبريس.

أخيرًا، قدمنا عنوان URL لـ Sitemap XML الخاصة بنا.

هل تحتاج إلى ملف Robots.txt لموقع ووردبريس الخاص بك؟

إذا لم يكن لديك ملف robots.txt، فسيظل محرك البحث يزحف ويفهرس موقع الويب الخاص بك. ومع ذلك، لن تكون قادرًا على إخبار محركات البحث بالصفحات أو المجلدات التي يجب ألا يزحف إليها.

لن يكون لهذا تأثير كبير عند بدء مدونة لأول مرة وليس لديك الكثير من المحتوى.

على الرغم من نمو موقع الويب الخاص بك ولديك الكثير من المحتوى، فمن المحتمل أنك تريد التحكم بشكل أفضل في كيفية الزحف إلى موقعك وفهرسته، سوف تعرف السبب هنا.

تحتوي روبوتات البحث على نسبة زحف لكل موقع ويب.

هذا يعني أنهم يقومون بالزحف إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينهوا الزحف إلى جميع الصفحات على موقعك، فسوف يعودون ويستأنفون الزحف في الجلسة التالية.

هذا يمكن أن تبطئ معدل فهرسة موقع الويب الخاص بك.

يمكنك إصلاح ذلك عن طريق منع برامج روبوت البحث من محاولة الزحف إلى الصفحات غير الضرورية مثل صفحات مسؤول ووردبريس وملفات المكون الإضافي ومجلد التصيم.

بإلغاء السماح للصفحات غير الضرورية، يعني حفظ نسبة الزحف الخاصة بك. يساعد ذلك محركات البحث على الزحف إلى مزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.

سبب مهم آخر لاستخدام ملف robots.txt هو عندما تريد إيقاف محركات البحث من فهرسة مقال أو صفحة على موقع الويب الخاص بك.

ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس، ولكنها ستساعدك في منعهم من الظهور في نتائج البحث.

كيف يبدو ملف Robots.txt المثالي؟

تستخدم العديد من المدونات الشائعة ملف robots.txt بسيط جدًا. قد يختلف محتواها بناءً على احتياجات الموقع المحدد:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

يتيح ملف robots.txt لجميع برامج الروبوت فهرسة جميع المحتويات ويوفر لهم رابطًا لملفات Sitemap الخاصة بـ XML لموقع الويب.

بالنسبة إلى مواقع ووردبريس، نوصي بالقواعد التالية في ملف robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

أخبر روبوتات البحث بفهرسة جميع صور وملفات الووردبريس. لا يسمح بروبوتات البحث بفهرسة ملفات المكون الإضافي لوردبريس، ومنطقة مسؤول ووردبريس، وملف ووردبريس التمهيدي، وغيرة.

بإضافة ملفات Sitemap إلى ملف robots.txt، تسهل على روبوتات جوجل العثور على جميع الصفحات على موقعك.

الآن وبعد أن عرفت كيف يبدو ملف robots.txt المثالي، دعنا نلقي نظرة على كيفية إنشاء ملف robots.txt في ووردبريس.

كيفية إنشاء ملف Robots.txt في ووردبريس؟

هناك طريقتان لإنشاء ملف robots.txt في ووردبريس. يمكنك اختيار الطريقة التي تناسبك.

1- تحرير ملف Robots.txt باستخدام Yoast SEO

إذا كنت تستخدم المكون الإضافي Yoast SEO، فسيأتي معه منشئ ملفات robots.txt.

يمكنك استخدامه لإنشاء ملف robots.txt وتحريره مباشرةً من خلال لوحة التحكم ووردبريس.

ما عليك سوى الانتقال إلى صفحة “SEO” في لوحة التحكم ووردبريس الخاص بك والنقر فوق رابط File Editor.

في الصفحة التالية ، تعرض صفحة Yoast SEO ملف robots.txt الموجود لديك.

إذا لم يكن لديك ملف robots.txt ، فسيقوم Yoast SEO بإنشاء ملف robots.txt لك.

بشكل افتراضي، سيقوم منشئ ملف robots.txt الخاص بـ Yoast SEO بإضافة القواعد التالية إلى ملف robots.txt الخاص بك:

User-agent: *
Disallow: /

من المهم أن تقوم بحذف هذا النص لأنه يمنع جميع محركات البحث من الزحف إلى موقع الويب الخاص بك.

بعد حذف النص الافتراضي، يمكنك المضي قدمًا وإضافة قواعد robots.txt الخاصة بك. نوصي باستخدام تنسيق ملف robots.txt المثالي الذي شاركناه أعلاه.

بمجرد الانتهاء من ذلك ، لا تنس النقر على زر “حفظ ملف robots.txt” لتخزين تغييراتك.

الطريقة 2. تحرير ملف Robots.txt يدويًا باستخدام FTP

لهذه الطريقة، ستحتاج إلى استخدام عميل FTP لتحرير ملف robots.txt.

ما عليك سوى الاتصال بحساب استضافة ووردبريس الخاص بك باستخدام عميل FTP.

بمجرد الدخول، ستتمكن من رؤية ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك.

إذا لم تشاهد واحدًا، فمن المحتمل ألا يكون لديك ملف robots.txt. في هذه الحالة، يمكنك فقط المضي قدما وإنشاء واحدة.

Robots.txt هو ملف نصي عادي، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره يمكنك تحرير هذا الملف بواسطة محرر HTML او من خلال المحرر التقليدي لدي جهازك.

بعد حفظ التغييرات، يمكنك تحميلها مرة أخرى إلى مجلد جذر موقع الويب الخاص بك.

كيفية اختبار ملف Robots.txt الخاص بك؟

بمجرد إنشاء ملف robots.txt الخاص بك، من الجيد دائمًا اختباره باستخدام أداة اختبار robots.txt.

هناك العديد من أدوات اختبار ملف robots.txt، لكننا نوصي باستخدام الأداة الموجودة داخل لوحة تحكم جوجل. فى الأوقات الأخير لا يظهر هذه الخيار ضمن لوحة تحكم جوجل الجديدة

ولكن ما عليك سوى تسجيل الدخول إلى حساب لوحة التحكم في جوجل، ثم الذهاب إلى هذه الرابط مباشر اختبار ملف Robots.txt سينقلك هذا إلى واجهة Google Search Console القديمة. من هنا، يمكنك مشاهدة ملف Robots.txt مباشر

ستقوم الأداة تلقائيًا بجلب ملف robots.txt الخاص بموقعك الإلكتروني وتسليط الضوء على الأخطاء والتحذيرات إذا وجدت.

ما هي أهداف الملف على موقعك؟

الهدف من تحسين ملف robots.txt هو منع محركات البحث من الزحف إلى الصفحات غير المتاحة للجمهور. على سبيل المثال، الصفحات في مجلد wp-plugins أو الصفحات في مجلد مسؤول ووردبريس الخاص بك.

من المستحسن والشائع بين خبراء تحسين محركات البحث (السيو)أ ن حظر فئة علامات ووردبريس وعلاماتها وأرشيفها سيؤدي إلى تحسين معدل الزحف ويؤدي إلى فهرسة أسرع وتصنيفات أعلى.

هذا ليس صحيحا. يتعارض أيضًا مع إرشادات مشرفي المواقع من جوجل.

اختتام

نوصي باتباع تحسين ملف robots.txt أعلاه لإنشاء ملف robots.txt لموقع الويب الخاص بك.

نرجو أن تساعدك هذه المقالة على تعلم كيفية تحسين ملف robots.txt الخاص بالووردبريس الخاص بـ SEO. قد ترغب أيضًا في الاطلاع على دليل كيفية بناء موقع ووردبريس لأول مرة و أفضل أدوات ووردبريس لتنمية موقعك الإلكتروني.