Файл Robots.txt для WordPress

Мистер Зэбиз11

И снова здравствуйте! Как у Вас продвигается создание блога? Надеемся, что всё хорошо. А мы продолжаем разбираться с блогостроением и, недавно, столкнулись с такими понятиями как –  файл Robots.txt и Sitemap.xml. Оказывается, это одни  из самых важных инструментов, влияющих на индексацию ресурса. В этой статье мы подробно разберем, что из себя представляет этот файлик, как его составить и куда разместить.

     Когда поисковые роботы (Yandex, Google и др.) заходят на ваш сайт/блог, первым делом они ищут Роботс.тхт, содержащий определённые инструкции для индексации (чаще всего, это запреты на индексацию некоторых страниц). В том случае, если поисковик не находит данный документ, он может проиндексировать ресурс по собственному желанию. Чем это грозит? Во-первых, в поиск попадут страницы, не имеющие отношения к содержимому блога,  во-вторых, произойдет многократное дублирование материала, что, как известно, поисковики тоже не очень любят и чаще всего, за это можно получить санкции.

     Роботс.тхт – это текстовый документ, который Вы легко сможете создать, а в будущем и изменять, в любом текстовом редакторе (мы рекомендуем Notepad++). У нашего блога thebizfromscratch Роботс выглядит вот так (конечно, его можно редактировать и добавлять что-то своё, но нас устраивает именно этот вариант):пример документа роботс

     Вы могли заметить, что только для Яндекс робота прописаны индивидуальные правила и это неспроста. Среди опытных блоггеров бытует мнение, что таким образом вы проявляете уважение к самому жёсткому поисковику 🙂

Теперь, когда роботс создан его необходимо сохранить в корневую папку сайта. Для этого воспользуемся, уже знакомой, программой FilleZilla: устанавливаем соединение с сервером, находим  папку «public_html» и переносим в неё файл.сохранение документа в корневую папку

Кстати, чтобы посмотреть, как выглядит Robots у вас или у другого ресурса достаточно добавить к URL главной страницы окончание – /robots.txt. Например, thebizfromscratch.ru/robots.txt и вы увидите наш роботс документ.

     И в завершении, осталось проверить, правильно ли работает созданный файл. Заходим в свой аккаунт на ЯндексВебмастер, переходим в раздел «Настройка индексирования» – «Анализ robots.txt», загружаем файл с сайта и кликаем по «Проверить». проверка созданного файла Всё исправно! Ура 🙂 И на этом мы заканчиваем данную статью, до новых постов. И Удачи!


Комментарии:

2 Комментарии

  1. Игорь

    Я раньше думал Файл Robots.txt проблемно добавлять и устанавливать, темный лес))))
    Сейчас это смешно вспоминать

  2. Александр

    Новичкам вообще ничего придумывать не нужно. На первые три месяца просто все разрешать. Со временем придет осознание того, что нужно, что не нужно

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *