Файл Robots.txt для WordPress

автор: admin 18.03.2016 4 Комментарии

И снова здравствуйте! Как у Вас продвигается создание блога? Надеемся, что всё хорошо. А мы продолжаем разбираться с блогостроением и, недавно, столкнулись с такими понятиями как –  файл Robots.txt и Sitemap.xml. Оказывается, это одни  из самых важных инструментов, влияющих на индексацию ресурса. В этой статье мы подробно разберем, что из себя представляет этот файлик, как его составить и куда разместить.

     Когда поисковые роботы (Yandex, Google и др.) заходят на ваш сайт/блог, первым делом они ищут Роботс.тхт, содержащий определённые инструкции для индексации (чаще всего, это запреты на индексацию некоторых страниц). В том случае, если поисковик не находит данный документ, он может проиндексировать ресурс по собственному желанию. Чем это грозит? Во-первых, в поиск попадут страницы, не имеющие отношения к содержимому блога,  во-вторых, произойдет многократное дублирование материала, что, как известно, поисковики тоже не очень любят и чаще всего, за это можно получить санкции.

     Роботс.тхт – это текстовый документ, который Вы легко сможете создать, а в будущем и изменять, в любом текстовом редакторе (мы рекомендуем Notepad++). У нашего блога thebizfromscratch Роботс выглядит вот так (конечно, его можно редактировать и добавлять что-то своё, но нас устраивает именно этот вариант):

     Вы могли заметить, что только для Яндекс робота прописаны индивидуальные правила и это неспроста. Среди опытных блоггеров бытует мнение, что таким образом вы проявляете уважение к самому жёсткому поисковику 🙂

Теперь, когда роботс создан его необходимо сохранить в корневую папку сайта. Для этого воспользуемся, уже знакомой, программой FilleZilla: устанавливаем соединение с сервером, находим  папку «public_html» и переносим в неё файл.

Кстати, чтобы посмотреть, как выглядит Robots у вас или у другого ресурса достаточно добавить к URL главной страницы окончание – /robots.txt. Например, thebizfromscratch.ru/robots.txt и вы увидите наш роботс документ.

     И в завершении, осталось проверить, правильно ли работает созданный файл. Заходим в свой аккаунт на ЯндексВебмастер, переходим в раздел «Настройка индексирования» – «Анализ robots.txt», загружаем файл с сайта и кликаем по «Проверить».  Всё исправно! Ура 🙂 И на этом мы заканчиваем данную статью, до новых постов. И Удачи!