ماهو ملف robots.txt وما اهميته
باختصار شديد ملف robots.txt هو ملف يقوم ب (السماح / منع) روبوتات وعناكب البحث للوصول لصفحات موقعك التي سيتم ارشفتها . ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث.
$ads={1}
يستعمل ملف robots.txt غالباً من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم . والافضل دائما استخدام الملف الاساسي (لاكن الملف الاساسي يمنع الوصول لصفحات التسميات) او ان لا تفعل الامر من الاساس ف بلوجر باعتباره مستضافا على خوادم جوجل وجوجل يتكفل بكل شىء نيابه عنك فلا تعبث كثيرا بهذه الملفات.
افضل ملف روبوت robots.txt مخصص
فقط قم بتعديل الرابط المحدد ب الاحمر في الاسفل برابط موقعك
User-agent: *Disallow: /search?updated-min=Disallow: /search?updated-max=Disallow: /search/label/*?updated-min=Disallow: /search/label/*?updated-max=Allow: /{codeBox}Sitemap: https://almdawn.com/sitemap.xml
