Uniq Themes.ru шаблоны Joomla, темы WordPress

Главная / Вебмастеру / Путеводитель для роботов - файл robots.txt

Путеводитель для роботов - файл robots.txt

Чтобы поисковая система знала, в каком направлении ей следует двигаться при обследовании неизвестного сайта, необходимо создать специальный путеводитель для роботов. Он именно так и называется: файл robots.txt. Его ищут роботы, когда начинают индексацию веб-ресурса и отсюда они получают все основные инструкции. Поэтому, чтобы ничего не напутать, вам нужно достоверно узнать о файле robots.txt.

Данный файл robots.txt должен храниться в корневой папке вашего сайта, здесь его надеются обнаружить поисковые роботы. С его помощью вы удачно избежите так называемого «зазеркаливания», а также сможете отключить от индексации те страницы и директории, которые не хотите делать видимыми для робота.

Как вы уже поняли из формата .txt, этот файл является текстовым, а создается он при помощи самого простого текстового редактора – Блокнота. Тут вы должны задать все необходимые параметры, после чего сохранить документ под названием robots и переместить его в «корневище» своего ресурса.

Главные параметры файла robots.txt – это User-Agent: и Disallow:. Первый указывает на то, для каких поисковиков заданы определенный действия, а второй – что нужно спрятать от индексации. Если вы поставите такую строку: User-Agent:*, то это будет значить, что действия указаны для всех поисковых роботов (обычно так все и пишут). В Disallow нужно указать непосредственно директорию, к примеру, Disallow: /folder/ или страницу: Disallow: /page.html.

В принципе, это все основные данные, которые касаются файла robots.txt. Как видите, все довольно просто и незамысловато, и чтобы справиться с данным мероприятием, не нужны особенно высокие и глубокие навыки!

Но чтобы не было лишних «зеркальных» проблем с Яндексом, лучше специально прописать для данной поисковой службы отдельный параметр, который будет указывать ему, по какому адресу индексировать сайт. Этот параметр выглядит так: host:. Если вы хотите, чтобы все страницы шли с адресом с www, то нужно будет указать домен с этим прибавлением, если же нет, то без него. К примеру, вот как должна выглядеть конечная картинка, если вы отказались от www:
User-Agent: Yandex
Host: myproject.ru.

Ну вот, это единственная тонкость, о которой стоило замолвить словечко! В остальном все пройдет легко и просто!