شرح ملف robots.txt و طريقة تركيبه لمدونات بلوجر

شرح ملف Robots.txt مخصص لمدونات بلوجر و طريقة تركيبه

شرح ملف robots.txt و طريقة تركيبه لمدونات بلوجر

هل

 تسألت يوماً عن الكيفية التي تتم بها عملية أرشفة الموقع و ما هي العناصر أو المكونات المساعدة في ذلك؟ سنحاول الإجابة على هذا السؤال من خلال طرح تساؤل آخر و هو: ما المقصود بملف robots.txt؟ و ما دوره؟ و من ماذا يتكون هذا الملف؟ و كيف يمكنني إنشائه؟ إذا أجبنا على كل هذه الأسئة فالأكيد أنك ستعلم تماماً كيف يتم أرشفة صفحات الموقع، ليس هذا فحسب، بل سيكون بإمكانك تحديد الصفحات التي تريد أرشفتها و برامج الزحف التي ستختارها من أجل الأرشفة و ستتعلم أيضاً الطريقة الصحيحة لإدخال ملف robots.txt في لوحة التحكم الخاصة بمدونتك على بلوجر.

• ما هو ملف robots.txt؟
• مكونات ملف robots.txt
• طريقة تركيب ملف robots.txt لمدونة بلوجر

• ما هو ملف robots.txt؟

 ملف robots.txt أو (Robots.txt (Robots Exclusion Protocol)، هو عبارة عن ملف يقوم بإصدار تعليمات لروبوتات و عناكب البحث بالزحف نحو الصفحات المهمة في الموقع و أرشفتها لتظهر على محركات البحث، بحيث يقوم الملف بعملية توجيه عناكب البحث نحو الصفحات التي يجب أرشفتها، و في نفس الوقت يصدر هذا الملف أوامر للربوتات بعدم الزحف نحو الصفحات غير المهمة و التي لا يجب أرشفتها مثل الصفحات الخاصة بإدارة الموقع ( سياسة الخصوصية، أرشيف الموقع، خريطة الموقع..) . هذا كل ما في الأمر.

ببساطة يمكن معرفة ملف robots.txt الخاص بموقعك من خلال هذا المسار www.yoursite.com/robots.txt، كما يمكنك الاطلاع على ملف robots.txt الخاص بمدونتي كمثال: https://adamh33.com/robots.txt.

• مكونات ملف robots.txt

يمكن في العادة تحديد ملف robots.txt من خلال 3 مكونات أساسية و هي:

• User-agent

أو بعبارة أخرى "وكلاء المستخدم" و هو أول سطر في الملف، و هي خاصية يتم من خلالها تطبيق القواعد و الإرشادات على ربوتات الزحف، و يمكن ملاحظة ذلك من خلال كتابة (* :User-agent)، و تعني النجمة (*) أنه مسموح بمعالجة جميع روبوتات الزحف نحو موقعك وفق قواعد محددة. كما يمكنك أيضا توجيه تعليماتك إلى روبوت محدد دوناً عن الربوتات الأخرى و ذلك بإزالة علامة (*) و كتابة إسم برنامج الروبوت بدل العلامة على هذا الشكل: 

User-agent: Googlebot (Google)

                    Googlebot-Image (Google Bildersuche)

                    Adsbot-Google (Google AdWords)

                    Googlebot-Mobile (Google Mobile)

                    Slurp (Yahoo)

                    Bingbot (Bing)

•  Googlebot: برنامج الزاحف الخاص بمحرك البحث Google. 
• Googlebot-Image: برنامج الزحف الخاص بالصور.
• Adsbot-Google: برنامج الزحف الخاص بإعلانات AdWords. 
• Googlebot-Mobile: برنامج الزحف الخاص بالموقع على سطح الجوال.
• Slurp: برنامج الزاحف الخاص بمحرك البحث Yahoo.
• Bingbot: برنامج الزاحف الخاص بمحرك البحث Bing. 

يمكن بهذه الطريقة تحديد إسم برنامج الزحف الذي يكون تابعاً لمحرك بحث معين ( يمكنك تحديد جميع البرامج في حالة استخدامك علامة (*))، و يكون ذلك بناء على الأوامر التالية:

User-agent: Googlebot

Disallow: 

Allow:

• Disallow / allow

تتيح لنا خاصية Disallow و allow منع أو السماح لبرنامج الزحف بالوصول إلى ملفات أو صفحات معينة من موقعنا، كما يمكنك أيضاً منعه (أو السماح له) بالوصول إلى الصفحة باكملها من خلال إدخال الرمز / بعد النقطتين على هذا الشكل:

Disallow: / 

Allow:/

يمكنك تحديد الملفات أوالصفحات على موقعك و التي يُمنع (أو يُسمح) لبرنامج الزحف الوصول إليها، و ذلك عبر إدخال الأوامر التالية:

Disallow: /images/dogs.jpg

أو

Allow: /images/dogs.jpg

Disallow: /wp-admin/

أو

Allow: /wp-admin/

Disallow: /Userprofile/profil.html

أو

Allow: /Userprofile/profil.html

Disallow /meineprivatenFotos

أو

Allow /meineprivatenFotos

• Sitemap

ملف Sitemap هو عبارة عن ملف يتم عبره فحص محتوى موقعك بشكل كامل و مستمر من خلال وصول عناكب البحث، إلى موقعك و فهرسة تدويناتك الجديدة بصفة مستمرة. و يمكن لبرامج الزحف معرفة بنية رابط URL الخاص بموقعك من خلال مرجع XML Sitemap و التي ستساعدها في الوصول أو الزحف بشكل أفضل إلى موقعك. كما يمكنك أيضا استدعاء ملف Robots.txt الخاص بموقعك (كما ذكرنا سابقاً) عبر المسار التالي: www.yoursite.com/robots.txt.

في حالة إذا وجدت صفحت الخطأ (404)، فأعلم أن موقعك لا يتوفر على ملف Robots.txt، أو ربما قد تم تحميله بشكل خاطئ.

• معلومة هامة

يجب أن تعلم أن منع برامج الزحف من الوصول إلى موقعك لا ينفي تواجد الموقع في محرك البحث، كما أن الصفحة إذا تمت فهرستها، فلا يمكن إزالتها حتى و لو استخدمت علامة noindex.

• طريقة تركيب ملف robots.txt لمدونة بلوجر

الآن تعرفنا على ملف robots.txt و دوره في جلب عناكب البحث (ربوتات البحث) بهدف أرشفة الصفحات المهمة، و كذلك إبعادها عن الملفات أو الصفحات الحساسة باستخدام أوامر معينة تمنع هاته العناكب من الزحف إليها و بالتالي عدم أرشفتها.

يبقى السؤال: كيف يمكنني تركيب ملف robots.txt حتى تتم عملية الأرشفة بشكل سليم؟.

الطريقة سهلة و لا تتطلب أي مهارة أو خبرة في هذا المجال، يكفي فقط الذهاب إلى مدونتك على بلوجر، ثم الدخول إلى إعدادات بعدها أنقر على تفضيلات البحث، ستجد "ملف robots.txt مخصص"، أنقر على تعديل كما هو موضح في الصورة:

قم بنسخ ملف robots.txt الذي من خلال هذا الرابط ثم ألصقه في الخانة المخصصة بملف robots.txt، بعدها قم باستبدال رابط XML Sitemap برابط موقعك، و أخيراً أنقر على "حِفظ التغييرات".

الوسوم: دورة بلوجر