Кто может сделать SEO лучше,
чем тот кто сам в ТОП3? Звоните!
Кто может сделать SEO лучше,
чем тот кто сам в ТОП3? Звоните!
8 800 350 99 87 пн – пт 10:00 – 19:00 (Мск)

Сайт закрыт к индексации в файле robots.txt

Ошибка «Сайт закрыт от индексации в файле robots.txt» означает, что поисковому роботу был запрещён доступ к вашему ресурсу. Если это не исправить, проект может быть исключён из индекса.

Не спешите пугаться. Мы подготовили для вас несколько советов, которые помогут легко решить данную проблему. Скорее всего вам даже не понадобится помощь специалистов.

Сайт закрыт к индексации в файле robots.txt

Причина № 1. Просрочка оплаты домена

Одна из причин по которой может появиться запрет на индексирование ресурса – это несвоевременная оплата за аренду доменного имени. Продлите ваш домен и через пару дней отображение ошибки исчезнет.

Причина № 2. Закрытие сайта к индексации в файле robots.txt

Robots – это текстовый документ, который находится на сервере вашего проекта. С помощью внесения в него специальных записей вебмастер может управлять видимостью контента и закрывать от поисковой системы служебные страницы, которые не нужно показывать в поиске. Для этого необходимо прописать в документе директиву «disallow». Именно из-за неправильного использования данной директивы у поисковика чаще всего и возникают проблемы с загрузкой файла роботс.

Как проверить наличие директивы disallow в файле robots.txt?

Проверить содержимое данного документа можно с помощью специального внутреннего инструмента в панели вебмастера Яндекс. Перейдите по ссылке и укажите в поле URL-адрес вашего ресурса. Посмотрите нет ли в содержании документа строчек, которые имеют следующий вид:

Строчка Значение

User-agent: Yandex

Disallow: /

Доступ закрыт для Яндекс

User-agent: Googlebot

Disallow: /

Доступ закрыт для Google

User-agent: *

Disallow: /

Доступ закрыт для всех поисковых систем

Если какая-либо из данных записей обнаружится, её необходимо удалить.

Как проверить наличие директивы disallow в файле robots.txt

Убираем из файла robots.txt информацию о закрытии сайта к индексации

Перейдите в корневую директорию вашего проекта и найдите там файл с названием «robots.txt«. Чтобы при следующем обращении разрешить поисковику доступ ко всему ресурсу, просто удалите из документа все запрещающие директивы. Ничего вместо них прописывать не нужно.

Если вы хотите запретить индексировать отдельные страницы или раздел, необходимо использовать запись «Disallow: /URL страницы/». Например, запись: «Disallow: /admin/» запрещает ссылки из панели администратора.

Чтобы закрыть раздел, используется запись «Disallow: /Раздел/*».

Помощь при закрытии сайта к индексации в файле robots.txt

Не спешите расстраиваться, если предыдущие советы не помогли. Вы всегда можете обратиться за помощью к нашим специалистам. Мы настроим корректные параметры индексации и в качестве бонуса проведём полную диагностику вашего ресурса на наличие других критичных нарушений и проблем с безопасностью.

Закажите SEO раскрутку сайта
Оставьте свой номер телефона и мы свяжемся с Вами в рабочее время. Наша команда проконсультирует, поможет, проснит и ответит на любые вопросы

    Либо напишите нам на почту [email protected] или просто позвоните по номеру