ошибки robots.txt

Robots.txt и Sitemap помогают поисковым системам разбираться в структуре сайта, но выполняют совершенно разные задачи. robots.txt управляет доступом поисковых роботов к URL, а Sitemap помогает сообщить им об…