robots.txt : ما هو ملف الربوت تكست !! لعلك تسالت يوما عن هذا الملف وما هى الاكواد الغريبة التى يحتوى عليها ملف الربوت تكست ، وما هو فائدة هذا الملف بالنسبة الى موقعى وهل فعلا يؤثر تواجد هذا الملف على ارشفة موقعى ضمن نتائج البحث .
يعتبر ملف الربوت تكست من اهم الركائز داخل موقعك التى تساعد محركات البحث فى الزحف الى موقعك ، ولكن للتوضيح ايضا سواء كان هذا الملف موجود داخل موقعك ام لا فسوف تزحف محركات البحث ، لكن النقاط المهمة التى سوف اتكلم عنها فى هذا الموضوع وذكره انا هذا الملف هو الموجه داخل موقعك بمعنى ان محركات البحث قد تزحف الى جميع المعلومات داخل موقعك سواء كانت سرية او هامة او عادية او ليس لها اى قيمة .
يعتبر ملف الربوت تكست من اهم الركائز داخل موقعك التى تساعد محركات البحث فى الزحف الى موقعك ، ولكن للتوضيح ايضا سواء كان هذا الملف موجود داخل موقعك ام لا فسوف تزحف محركات البحث ، لكن النقاط المهمة التى سوف اتكلم عنها فى هذا الموضوع وذكره انا هذا الملف هو الموجه داخل موقعك بمعنى ان محركات البحث قد تزحف الى جميع المعلومات داخل موقعك سواء كانت سرية او هامة او عادية او ليس لها اى قيمة .
قد يهمك ايضا الإطلاع : شرح اداوت مشرفي المواقع .
اضافة ملف الربوت تكست | robots.txt الى موقعك للضبط الزحف والارشفة
تساعدك اضافة ملف مثل الربوت تكست الى التحكم فى زحف محركات البحث لديك ومنع ارشفة اجزاء من المواقع والسماح بارشفة اجزاء اخرى مما يساعدك فى تعزيز وجودك ضمن محركات البحث ، واذا كنا قد اتفاقنا على اهمية ملف الربوت تكست باعتباره الموجه العام لمحركات البحث داخل موقعك فالان سوف ننتقل الى الطريقة العملية للإضافته .طريقة اضافة ملف robots.txt الى البلوجر والتاكد من اضافته
1. نقوم بالدخول الى بلوجر ثم نقوم بالضغط على الاعدادت ثم تفضيلات البحث ثم الانتقال الى ملف الربوت تكست
2. قم بتعديل ملف الربوت تكست من خلال الضغط على زر تعديل ثم قم باضافة هذا الكود .
3 . بعد اضافة ملف الربوت تكست قم بالضغط على زر " حفظ التغيرات " والان قم بفتح المتصفح الخاص بك وبعد نهاية موقعك اضف هذا البارميتر " robotx.txt " وعلى سبيل المثال http://www.az-protek.com/robots.txt الان سوف ترى الملف ويتبقى نقطة اختبار الملف من داخل الويب ماستر ساشرحها فى اخر المقالة .
لكن يبقى الشرح والتساول عن ماهية هذا الملف ، تشير الجملة الاولى وهى user-agent الى الوكيل الخاص بك وهو الربوت الذى ترغب فى منع زحفه الى موقعك وفى هذا الملف قمت بمنع الزحف الى ملف search داخل موقعى ويرجى العلم انه يمكنك الزحف الى ملفات معينة بمعنى ان المنع هو حالة عامة شاملة يمكنك ان تستثنى منها بعض الملفات مثل
disallow: /search
allow: /search/android
allow: /search/العاب
بمعنى انك منعت زحف العام الى ملف "search " ولكن سمحت له ان يزحف الى الاندرويد والالعاب داخل موقعك .
2. شرح اضافة ملف الربوت تكست الى الموقع العادى
- لإضافة ملف الربوت تكست الى موقعك يجب اضافته فى الجذر بمعنى ان تتم اضافته الى المكان المتواجد به الدومين .
- قم بفتح احد برامج نقل الملفات مثل fillzilla or ftp اى كان وقم برفع ملف الربوت تكست الى جذر الموقع .
- بعد اضافة الملف الى جذر الموقع قم بعمل فحص من خلال اضافة " robots.txt " الى نهاية موقعك والضغط انتر.
3- شرح اضافة ملف الربوت تكست الى الوردبريس .
1. يمكنك الاعتماد على الطريقة الثانية لاضافة ملف robots.txt باضافته الى الجذر الذى خاص بنظام ادارة المحتوى والمتوافر عليه النطاق وذلك من خلال لوحة التحكم واضافته من خلال filemanger او من خلال برامج نقل الملفات ثم التحقيق من اضافته عن طريق اضافة " robots.txt " الى نهاية موقعك .
2. او عن طريق بلجنز معين مثل "youast seo " نقوم بالضغط على البلجنز ثم الادوات ثم محرر الاكواد
ونقوم باضافة ملف الربوت تكست الخاص بك ، ثم تقوم بالضغط على حفظ التغيرات فى ملف الربوت تكست ، ثم قم بعمل تحقق من خلال اضافة robots.txt الى اخر موقعك والضغط انتر لترى هذا الملف يظهر فى صفحة كاملة على هيئة ملف نصى .
اختيار ملف الربوت تكست من خلال ادوات مشرفى المواقع | robots.txt tester
1- قم بفتح ادوات مشرفى المواقع الجديدة ثم انتقل الى الاصدار القديم ثم الى الزحف ثم اختبار ملف الربوت تكست
يمكنك من خلال ادوات مشرفى المواقع اختبار ملف الربوت تكست الخاص بالزحف الى موقعك واختبار الفهارس التى ترغب فى منع الزحف اليها والاخرى التى تود السماح للمحركات البحث بزحفها ، كما يمكنك منع ربوت معين من الزحف الى موقعك والسماح للاخرين ، وبالضغط على زر تاكيد تجرى عملية فحص الزحف الى موقعك .
