Robot.txt для blogger

Каким должен быть Robot.txt для blogger?

Вот так, живёшь себе живёшь, долбишь по клаве до посинения, стараясь выдать «на гора» единственный и неповторимый (то бишь – уникальный) контент, как вдруг – гром среди ясного неба и ты – в ж…, сорри, — в бане (это я так сначала посчитала, но как оказалось, была неправа).

Да нет, не в той бане, в которой моются, а в БАНЕ, когда из индекса выпали все или почти все страницы сайта.

Несколько дней назад именно это со мною и произошло.

Сначала обратила внимание на то, что резко упал заработок на партнёрской программе Google Ad Sense.

Стала искать причину,  и в аккаунте AdSense  обнаружила, что ко многим страницам нет доступа.

На запрос сайт выдаёт ошибку 404.

Написала в саппорт Яндекса Платону Щукину запрос.

Мне вежливо ответили – ждите.

Но ждать-то нЕкогда, ведь  кроме того, что я теряю деньги, резко упал и трафик,  за счёт того, что страниц сайта нет в поисковой выдаче!

Но самое мерзопакостное заключалось в том, что выпало из индекса сразу два сайта (в том числе и Школа начинающего блоггера), расположенных на Blogger!

В чем причина?

Пишу сама, это не говносайты, а СДЛ, исправно ставлю ссылки, если публикую чужой контент.

Стала искать «откуда ноги растут».

Какими партизанскими тропами я пришла к выводу о том, что «собака зарыта» в файле robot.txt, я даже рассказывать не стану, просто поверьте нА слово, что если у Вас не говносайт и Вы не воруете чужой контент, то при выпадении из индекса в Яндекс ищите причину в файле robot.txt. (

(но, конечно, причин гораздо больше, но об этом – в следующий раз)

Где искать?

C некоторых пор в настройках блога появилась новая фишка: Настройки поиска.

Когда все дружно перешли на новый интерфэйс, мало кто обратил внимание на появление новой функции.

И напрасно, потому как именно здесь оч. удобно давать задание поисковым роботам где и как Вас искать, т.е. Вы можете добавить описание своего блога (150 знаков), создать страницу 404, чтобы симпатично выглядела и т.д.

Но, главное, Вы можете внести необходимые изменения в файл robot.txt, чтобы дать разрешение  поисковому роботу Яндекс сканировать страницы блога.

Вы этому умнику так и адресуйте: «Для робота с именем Яндекс».

Взгляните на эти две записи:

до:

User-agent: Mediapartners-Google 

Disallow: 

User-agent: * 

Disallow: /search 

Disallow: /p/search.html 

Allow: / 

Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated 

и после:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /p/search.html

Allow: /

Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated

User-agent: Yandex

Disallow: /search

Disallow: /p/search.html

Allow: /

Обратите внимание: специально для Яндекса мы добавили пару ласковых слов, чтобы этот умник понял, что обращаются именно к нему:

User-agent: Yandex 

Disallow: /search 

Disallow: /p/search.html 

Allow: /

А теперь самое главное: куда все это прописать?

Идем настройки блога — Настройки — Настройки поиска

Далее: Пользовательский файл robots.txt

На вопрос   Использовать собственный файл robots.txt? говорим Да, и далее вставляем следующее:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /p/search.html

Allow: /

Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated

User-agent: Yandex

Disallow: /search

Disallow: /p/search.html

Allow: /

Сохраняем

Все. Умный Яндекс поймет, что от него требуется.

Не уходя с этой страницы пропишем заодно и Персонализированные теги robots для заголовков.

Я сделала это следующим образом:

А то я голову сломала, как выкинуть архив!

Сохраняем

И последнее: дадим поисковым системам описание своего блога, чтобы быстрее могли его найти на просторах инета:

Постарайтесь уложиться в 150 знаков, только все самое значимое.

Вот и все. Осталось только дождаться следующего визита робота, чтобы блоги чудесным образом  стали видимыми для Всевидящего Ока Яндекса.

Но уже сейчас, проверка результатов  внесенных исправлений вфайл robot.txt показала, что страницы, бывшие ранее недоступными, стали доступны для сканирования.

Буду рада, если мои мытарства и потеря n-ой части прибыли были не напрасны, и я смогла предостеречь Вас от ненужных  переживаний и потерь!

Удачи!

Статьи по теме:

Как создать файл sitemap на BlogSpot?

Как зарегистрировать сайт В Yandex?

Как подтвердить право собственности на блог?