كيفية إضافة ملف robots.txt إلى موقعك
كيفية إضافة ملف robots.txt إلى موقعك
يجب أن يكون لكل موقع او مدونة ملف آلي ويجب إضافة ملف sitemap جديد وملف robots.txt والدي يشار إليه في غالب الامر وعن طريق الخطأ باسم ملف robot.txt. إن إضافة ملف sitemap جديد وملف robots.txt إلى مجلد الجذر لموقعك عملية بسيطة للغاية، ويعتبر إنشاء هده الملفات بمثابة علامة على جودة موقعك تقدمها لمحركات البحث. فدعونا ادن نفهم ما هو دور ملف إضافة ملف sitemap جديد وملف robots.txt وكيف يمكن إنشاؤهما؟
ما هو ملف robots.txt؟
ملف robots.txt بكل ببساطة هو ملفASCII أو ملف نص عادي يخبر عناكب محرك البحث بأمرين اثنين وهما دور ملف robots الأساسي. كما يسمى ملف الروبوت باسم Standard for Robot Exclusion. فما هما هدان الدوران:
دور ملف robots الأول: هو السماح لعناكب محرك البحث بالدخول إليه والدخول الى موقعك من طرف محركات البحث والزحف والوصول اليه بدون قيود.
دور ملف robots الثاني: هو عدم السماح لعناكب محرك البحث من الوصول الى مكان ما انت تحدده على موقعك ويخبر الروبوتات بعدم الزحف الى هدا المكان. لن يتم الزحف إلى أي ملفات أو مجلدات مدرجة في هذا المستند وفهرستها من خلال عناكب محرك البحث.
ان امتلاكك لملفrobots.txt، على موقعك ولو كان فارغا، معناه أنك تعطي الصلاحية لمحركات البحث بالزحف والوصول الى موقعك. ولهادا توصي جوجل بإضافة ملف نصي لبرامج الروبوت إلى مجلد الجذر لموقعك او نطاقك الرئيسي وجميع المجالات الفرعية على موقعك وهدا من شانه ان يحسن محركات البحث لموقعك.
كيف يمكنني إنشاء ملف Robots.txt خاص بموقعي
يمكنني إنشاء ملف robots.txt بسهولة فالعديد من المدونين يسألون كيف يمكنني إنشاء ملفrobots ? العملية سهلة للغاية فقط قم باتباع هذه الخطوات البسيطة التالية:
اذهب الى حاسوبك الشخصي افتح Notepad أو Microsoft Word أو أي محرر نصوص.
ثم قم بحفظ ملف باسم "robots" بحروف صغيرة كما هو مكتوب في الشرح، مع التأكد من اختيار .txt كملحق نوع الملف فيWord، اختر نص عادي، بعد ذلك أضف سطري النص التاليين إلى ملف "robots" الدي قمت بإنشائه.
User-agent: *
Disallow: /
"User-agent" هي كلمة أخرى للروبوتات أو عناكب محركات البحث،
علامة (*) النجمية تشير إلى أن هذا الخط ينطبق ويعمم على جميع العناكب.
Disallow لا يوجد ملف أو مجلد مدرج في السطر، مما يعني أنه يمكن الوصول إلى كل شيء على موقعك. وهذا هو الملف النصي الأساسي لملف للروبوتات.
يعد حظر عناكب محرك البحث من موقعك بالكامل أحد خياراتrobots.txt. وللقيام بذلك، أضف هذين السطرين إلى الملف:
User-agent: *
Disallow: /
إذا كنت ترغب في منع عناكب محركات البحث من مناطق معينة في موقعك، فقد يبدو ملف robots.txt الخاص بك على النحو التالي:
User-agent: *
Disallow: /database/
Disallow: /scripts/
Allow: /
تخبر الأسطر الثلاثة المذكورة أعلاه جميع الروبوتات أنه لا يسمح لها بالوصول إلى أي شيء في قاعدة البيانات وأدلة البرامج النصية أو الدلائل الفرعية. ضع في اعتبارك أنه يمكن استخدام ملف أو مجلد واحد فقط لكل سطر Disallow. يمكنك إضافة العديد من خطوط Disallow حسب الحاجة وحسب ما تريد حضره من الارشفة ويمكنك الاطلاع على الأمور التي لا يجب ارشفتها من خلال زيارة هده المقالة.
تأكد من إضافة ملف sitemap XML المناسب لمحرك البحث إلى ملف نصي للروبوتات. سيضمن ذلك أن العناكب يمكنها العثور على خريطة موقعك وفهرسة جميع صفحات موقعك بسهولة. ويمكنك استخدم هذه البنية التالية:
خريطة الموقع:
Sitemap: https://www.th3techlink.com/sitemap.xml
ليصبح ملف الروبوت على هدا الشكل:
User-agent: *
Disallow: /database/
Disallow: /scripts/
Allow: /
Sitemap: https://www.th3techlink.com/sitemap.xml
عند الانتهاء، من انشاء ملف robots.txt قم بحفظه ثم تحميله إلى جذر موقعك. على سبيل المثال، إذا كان نطاقك هوwww.mydomain.com، فسوف تضع الملف على www.mydomain.com/robots.txt.
بمجرد وضع الملف في مكانه، تحقق من ملف robots.txt بحثا عن أي أخطاء.
سبحانك اللهم وبحمدك اشهد ان لا إله الا انت استغفرك واتوب اليك.
ليست هناك تعليقات:
إرسال تعليق