Удаляем всё ненужное из индекса. Пишем robots.txt

В пору, когда я создавал ресурс непонятно для чего, начитался всяких статей по SEO, что если на сайте куча страниц — это хорошо. Да, это хорошо, только если страницы полноценные и на них есть содержательный текст. Но если это мусор из одних ссылок на другие страницы, дубляж контента — это не очень хорошо. В wordpress такими страницами являются страницы тегов, рубрик, архивы. У меня однажды было что какая то мусорная страница по запросам стояла выше, чем та, нужная содержательная страница. Я подумал, да и почитал опять же статьи в интернете, и решил — нафига они нужны? И прописал в robots.txt правила на запрет индексирования ненужных страниц.

Для справки — как, что писать в писать в robots.txt

И проверить, правильно ли написан файл можно тут. Там можно загрузить файл robots.txt с вашего ресурса, ввести какой нибудь url с сайта и проверить, будет ли он индексироваться или нет.

Для этого сайта robots.txt выглядит следующим образом:

Ну что ж, посмотрим какой будет результат, после того как в индексе будут только нужные контентные страницы, в малом количестве, но с нормальным текстом.

Опять же судя по обсуждениям в интернете это должно дать плюс/минус по тем, иным запросам. Но в целом ту же картину по посещаемости.

Файл robots изменил в начале марта. Пока что Яндекс судя по веб-мастеру уже несколько раз заходил на мой сайт, но из индекса ненужные страницы не выбросил. Может надо подождать подольше. Или я что то делаю не так 🙂

Через месяцок отпишусь, что дали все эти телодвижения.

Рубрики: SEO
Понравилось? Поделись с другими плз












Комментарии ВКонтакте





Комментарии с сайта
  1. Вячеслав:

    С момента публикации прошло уже несколько месяцев. Как результаты?

    • admin:

      Да особо ничего не произошло 🙁 После того как прописал этот robots.txt Яндекс через недели 2-3 выкинул ненужные страницы. Гугл до сих пор держит ненужные страницы в индексе. Надо наверное в веб-мастер зайти и вручную ему указать всё. На посещаемости отразилось не сильно. Тут просто такая ситауция получилась — посещаемость держится такой же, какой и была, но с периода когда я прописал этот robots.txt до текущего дня я подзабил(получается в течение 2-3 месяцев) на этот блог и по идее посещаемость должна так примерно на треть просесть, но не проседает. Видимо небольшой плюс дало всё это дало — типа небольшая уважуха, трастовость от поисковика. Ну это моё мнение 🙂 Я не сео-шник 🙂 Но то что вреда от этого нет — это точно. Вред разве что может быть, если вы продаёте ссылки на какой нибудь бирже, страниц сайта станет меньше и мест для размещения ссылок меньше.


Ответить admin

*