جاري تحميل ... مدونة آدم للتقنية و العلوم

إعلان الرئيسية

تفاعل معنا

fbbox/https://www.facebook.com/adamelrhiouane33/PicalicaStore

جديد التقنية

آخر المقالات

أخبار ساخنة

إعلان في أعلي التدوينة

دورة بلوجر

شرح ملف robots.txt و طريقة تركيبه لمدونات بلوجر

شرح ملف Robots.txt مخصص لمدونات بلوجر و طريقة تركيبه

ملف robot txt,robots.txt,ما هو ملف robots.txt,كيفية إنشاء ملف robots.txt,robots.txt file,robots.txt ملف,شرح ملف robots.txt,عمل ملف robots.txt,إضافة ملف robots.txt,اضافة ملف robots.txt,robots.txt ملف شرح,شرح عمل ملف robots.txt,ملف robot.txt,how to create robots.txt file,طريقة إضافة ملف robots.txt,إنشاء robots.txt,طريقة عمل ملف robot.txt
شرح ملف robots.txt و طريقة تركيبه لمدونات بلوجر


هل
 تسألت يوماً عن الكيفية التي تتم بها عملية أرشفة الموقع و ما هي العناصر أو المكونات المساعدة في ذلك؟ سنحاول الإجابة على هذا السؤال من خلال طرح تساؤل آخر و هو: ما المقصود بملف robots.txt؟ و ما دوره؟ و من ماذا يتكون هذا الملف؟ و كيف يمكنني إنشائه؟ إذا أجبنا على كل هذه الأسئة فالأكيد أنك ستعلم تماماً كيف يتم أرشفة صفحات الموقع، ليس هذا فحسب، بل سيكون بإمكانك تحديد الصفحات التي تريد أرشفتها و برامج الزحف التي ستختارها من أجل الأرشفة و ستتعلم أيضاً الطريقة الصحيحة لإدخال ملف robots.txt في لوحة التحكم الخاصة بمدونتك على بلوجر.

  • ما هو ملف robots.txt؟
  • مكونات ملف robots.txt
  • طريقة تركيب ملف robots.txt لمدونة بلوجر

  • ما هو ملف robots.txt؟

 ملف robots.txt أو (Robots.txt (Robots Exclusion Protocol)، هو عبارة عن ملف يقوم بإصدار تعليمات لروبوتات و عناكب البحث بالزحف نحو الصفحات المهمة في الموقع و أرشفتها لتظهر على محركات البحث، بحيث يقوم الملف بعملية توجيه عناكب البحث نحو الصفحات التي يجب أرشفتها، و في نفس الوقت يصدر هذا الملف أوامر للربوتات بعدم الزحف نحو الصفحات غير المهمة و التي لا يجب أرشفتها مثل الصفحات الخاصة بإدارة الموقع ( سياسة الخصوصية، أرشيف الموقع، خريطة الموقع..) . هذا كل ما في الأمر.

ببساطة يمكن معرفة ملف robots.txt الخاص بموقعك من خلال هذا المسار www.yoursite.com/robots.txt، كما يمكنك الاطلاع على ملف robots.txt الخاص بمدونتي كمثال: https://adamh33.com/robots.txt.

  • مكونات ملف robots.txt

يمكن في العادة تحديد ملف robots.txt من خلال 3 مكونات أساسية و هي:

  • User-agent
أو بعبارة أخرى "وكلاء المستخدم" و هو أول سطر في الملف، و هي خاصية يتم من خلالها تطبيق القواعد و الإرشادات على ربوتات الزحف، و يمكن ملاحظة ذلك من خلال كتابة (* :User-agent)، و تعني النجمة (*) أنه مسموح بمعالجة جميع روبوتات الزحف نحو موقعك وفق قواعد محددة. كما يمكنك أيضا توجيه تعليماتك إلى روبوت محدد دوناً عن الربوتات الأخرى و ذلك بإزالة علامة (*) و كتابة إسم برنامج الروبوت بدل العلامة على هذا الشكل: 

User-agentGooglebot (Google)
                    Googlebot-Image (Google Bildersuche)
                    Adsbot-Google (Google AdWords)
                    Googlebot-Mobile (Google Mobile)
                    Slurp (Yahoo)
                    Bingbot (Bing)

  •  Googlebot: برنامج الزاحف الخاص بمحرك البحث Google. 
  • Googlebot-Image: برنامج الزحف الخاص بالصور.
  • Adsbot-Google: برنامج الزحف الخاص بإعلانات AdWords. 
  • Googlebot-Mobile: برنامج الزحف الخاص بالموقع على سطح الجوال.
  • Slurpبرنامج الزاحف الخاص بمحرك البحث Yahoo.
  • Bingbot: برنامج الزاحف الخاص بمحرك البحث Bing. 


يمكن بهذه الطريقة تحديد إسم برنامج الزحف الذي يكون تابعاً لمحرك بحث معين ( يمكنك تحديد جميع البرامج في حالة استخدامك علامة (*))، و يكون ذلك بناء على الأوامر التالية:
User-agent: Googlebot
Disallow: 
Allow:

  • Disallow / allow
تتيح لنا خاصية Disallow و allow منع أو السماح لبرنامج الزحف بالوصول إلى ملفات أو صفحات معينة من موقعنا، كما يمكنك أيضاً منعه (أو السماح له) بالوصول إلى الصفحة باكملها من خلال إدخال الرمز / بعد النقطتين على هذا الشكل:
Disallow: / 
Allow:/

يمكنك تحديد الملفات أوالصفحات على موقعك و التي يُمنع (أو يُسمح) لبرنامج الزحف الوصول إليها، و ذلك عبر إدخال الأوامر التالية:

Disallow: /images/dogs.jpg
أو
Allow: /images/dogs.jpg

Disallow: /wp-admin/
أو
Allow: /wp-admin/

Disallow: /Userprofile/profil.html
أو
Allow: /Userprofile/profil.html

Disallow /meineprivatenFotos
أو
Allow /meineprivatenFotos

  • Sitemap

ملف Sitemap هو عبارة عن ملف يتم عبره فحص محتوى موقعك بشكل كامل و مستمر من خلال وصول عناكب البحث، إلى موقعك و فهرسة تدويناتك الجديدة بصفة مستمرة. و يمكن لبرامج الزحف معرفة بنية رابط URL الخاص بموقعك من خلال مرجع XML Sitemap و التي ستساعدها في الوصول أو الزحف بشكل أفضل إلى موقعك. كما يمكنك أيضا استدعاء ملف Robots.txt الخاص بموقعك (كما ذكرنا سابقاً) عبر المسار التالي: www.yoursite.com/robots.txt.

في حالة إذا وجدت صفحت الخطأ (404)، فأعلم أن موقعك لا يتوفر على ملف Robots.txt، أو ربما قد تم تحميله بشكل خاطئ.

  • معلومة هامة
يجب أن تعلم أن منع برامج الزحف من الوصول إلى موقعك لا ينفي تواجد الموقع في محرك البحث، كما أن الصفحة إذا تمت فهرستها، فلا يمكن إزالتها حتى و لو استخدمت علامة noindex.

  • طريقة تركيب ملف robots.txt لمدونة بلوجر

الآن تعرفنا على ملف robots.txt و دوره في جلب عناكب البحث (ربوتات البحث) بهدف أرشفة الصفحات المهمة، و كذلك إبعادها عن الملفات أو الصفحات الحساسة باستخدام أوامر معينة تمنع هاته العناكب من الزحف إليها و بالتالي عدم أرشفتها.

يبقى السؤال: كيف يمكنني تركيب ملف robots.txt حتى تتم عملية الأرشفة بشكل سليم؟.

الطريقة سهلة و لا تتطلب أي مهارة أو خبرة في هذا المجال، يكفي فقط الذهاب إلى مدونتك على بلوجر، ثم الدخول إلى إعدادات بعدها أنقر على تفضيلات البحث، ستجد "ملف robots.txt مخصص"، أنقر على تعديل كما هو موضح في الصورة:

ملف robot txt,robots.txt,ما هو ملف robots.txt,كيفية إنشاء ملف robots.txt,robots.txt file,robots.txt ملف,شرح ملف robots.txt,عمل ملف robots.txt,إضافة ملف robots.txt,اضافة ملف robots.txt,robots.txt ملف شرح,شرح عمل ملف robots.txt,ملف robot.txt,how to create robots.txt file,طريقة إضافة ملف robots.txt,إنشاء robots.txt,طريقة عمل ملف robot.txt

قم بنسخ ملف robots.txt الذي من خلال هذا الرابط ثم ألصقه في الخانة المخصصة بملف robots.txt، بعدها قم باستبدال رابط XML Sitemap برابط موقعك، و أخيراً أنقر على "حِفظ التغييرات".

الوسوم:

ليست هناك تعليقات:

إرسال تعليق

هل لديك تعليق؟...أتركه هنا.

إعلان أسفل المقال

إتصل بنا

نموذج الاتصال

الاسم

بريد إلكتروني *

رسالة *