Robot.txt для blogger

Каким должен быть Robot.txt для blogger?
Вот так, живёшь себе живёшь, долбишь по клаве до посинения, стараясь выдать «на гора» единственный и неповторимый (то бишь – уникальный) контент, как вдруг – гром среди ясного неба и ты – в ж…, сорри, — в бане (это я так сначала посчитала, но как оказалось, была неправа).
Да нет, не в той бане, в которой моются, а в БАНЕ, когда из индекса выпали все или почти все страницы сайта.
Несколько дней назад именно это со мною и произошло.
Сначала обратила внимание на то, что резко упал заработок на партнёрской программе Google Ad Sense.
Стала искать причину, и в аккаунте AdSense обнаружила, что ко многим страницам нет доступа.
На запрос сайт выдаёт ошибку 404.

Написала в саппорт Яндекса Платону Щукину запрос.
Мне вежливо ответили – ждите.
Но ждать-то нЕкогда, ведь кроме того, что я теряю деньги, резко упал и трафик, за счёт того, что страниц сайта нет в поисковой выдаче!
Но самое мерзопакостное заключалось в том, что выпало из индекса сразу два сайта (в том числе и Школа начинающего блоггера), расположенных на Blogger!
В чем причина?
Пишу сама, это не говносайты, а СДЛ, исправно ставлю ссылки, если публикую чужой контент.
Стала искать «откуда ноги растут».
Какими партизанскими тропами я пришла к выводу о том, что «собака зарыта» в файле robot.txt, я даже рассказывать не стану, просто поверьте нА слово, что если у Вас не говносайт и Вы не воруете чужой контент, то при выпадении из индекса в Яндекс ищите причину в файле robot.txt. (
(но, конечно, причин гораздо больше, но об этом – в следующий раз)
Где искать?
C некоторых пор в настройках блога появилась новая фишка: Настройки поиска.
Когда все дружно перешли на новый интерфэйс, мало кто обратил внимание на появление новой функции.
И напрасно, потому как именно здесь оч. удобно давать задание поисковым роботам где и как Вас искать, т.е. Вы можете добавить описание своего блога (150 знаков), создать страницу 404, чтобы симпатично выглядела и т.д.
Но, главное, Вы можете внести необходимые изменения в файл robot.txt, чтобы дать разрешение поисковому роботу Яндекс сканировать страницы блога.
Вы этому умнику так и адресуйте: «Для робота с именем Яндекс».
Взгляните на эти две записи:
до:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated
и после:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
Обратите внимание: специально для Яндекса мы добавили пару ласковых слов, чтобы этот умник понял, что обращаются именно к нему:
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
А теперь самое главное: куда все это прописать?
Идем настройки блога — Настройки — Настройки поиска
Далее: Пользовательский файл robots.txt
На вопрос Использовать собственный файл robots.txt? говорим Да, и далее вставляем следующее:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
Сохраняем
Все. Умный Яндекс поймет, что от него требуется.
Не уходя с этой страницы пропишем заодно и Персонализированные теги robots для заголовков.
Я сделала это следующим образом:

А то я голову сломала, как выкинуть архив!
Сохраняем
И последнее: дадим поисковым системам описание своего блога, чтобы быстрее могли его найти на просторах инета:
Постарайтесь уложиться в 150 знаков, только все самое значимое.
Вот и все. Осталось только дождаться следующего визита робота, чтобы блоги чудесным образом стали видимыми для Всевидящего Ока Яндекса.
Но уже сейчас, проверка результатов внесенных исправлений вфайл robot.txt показала, что страницы, бывшие ранее недоступными, стали доступны для сканирования.
Буду рада, если мои мытарства и потеря n-ой части прибыли были не напрасны, и я смогла предостеречь Вас от ненужных переживаний и потерь!
Удачи!
Статьи по теме:
Как создать файл sitemap на BlogSpot?
Как зарегистрировать сайт В Yandex?
Как подтвердить право собственности на блог?
Комментарии: 71
Найти можно, времени только нет. Пришлось еще сайт один сайт создавать, т.к. на тот, второй, кот. выпал из индекса у меня готовился новый проект по инфобизнесу, и тот сайт мне был позарез нужен:((((
Теперь придется потратить массу времени и сил на его раскрутку, ну, и время, конечно, потеряла.
Ссылки на этот блог я не закупаю, он развивается естественным путем, а после того, как выпал в осадок, сразу трафик резко упал. жалко, конечно, но не смертельно, умнее буду:)))
[Ответить]
Оля, ты нашла того, кто тырил статьи? Или это нереально? Надо наказывать таких умников.
[Ответить]
Рада была помочь!
[Ответить]
Спасибо за пост — очень пригодился!
[Ответить]
Спасибо за статью! Очень всё просто и понятно и главное очень кстати! 🙂
[Ответить]
Спасибо и Вам, что не остались равнодушны:))
[Ответить]
Всегда пожалуйста, Руслан:)))
[Ответить]
Спасибо
[Ответить]
Если хотите, чтобы все страницы блога были открыты для индексации, в опции «Использовать персонализированные теги robots для заголовков?» в графе «Архив и страницы поиска» поставьте галочку в чек бокс «all» и снимите их с чек боксов noidex, nofollov, noarchive.
Адресное обращение к Яндексу не имеет к этому отношения.
[Ответить]
Спасибо за четкую подсказку. Если не сложно, уточните пожалуйста для нуба: если я хочу, чтобы все абсолютно страницы (включая начинающиеся search/label) были открыты, то Robots.txt должен выглядеть следующим образом:
User-agent: Mediapartners-Google
Allow:
User-agent: *
Allow:
Sitemap:http://имя вашего сайта/feeds/posts/default?orderby=updated
User-agent: Yandex
Allow:
Или я опять что то не поняла?
[Ответить]
Рада, что пригодилась статья:) Заходите еще.
Удачи!
[Ответить]
спасибо, а то не знал даже что с ним делать))
[Ответить]
Здравствуйте, Ольга, из комментариев я поняла, что кто то безвозмездно позаимствовал ваши статьи, у меня произошла такая же история. Я вдруг обнаружила на чужом сайте мою статью. И самое интересное, антиплагиат выдает принадлежность этой статьи другому сайту.
Может подскажите как с этим бороться?
[Ответить]
Liana, то, что антиплагиат выдает принадлежность Вашей статьи другому сайту, в общем-то, закономерно в том случае, если у того сайта показатели выше, чем у Вашего, и бот посчитал, что хорошая статья может принадлежать ресурсу с солидными показателями.
Вам необходимо написать админу того сайта требование или убрать статью, или поставить на нее ссылку. В большинстве случаев такие требования выполняются. В противном случае свяжитесь с его хостером и объясните ситуацию, приложив к письму доказательства Вашего авторства. Рычаги воздействия есть, но попробуйте начать с этого. Можно поставить скрипт «защита от копирования», но это мало кого останавливает. Воровство контента, к сожалению, становится нормой, но обычно более серьезные меры принимаются в случае воровства сайта (не дай Бог!), так что -удачи Вам в борьбе! Напишите, удалось ли Вам договориться мирным путем!
[Ответить]
Извините, Ольга, может вопрос не в тему. Я тут платный домен прикрепляю к блогу на блоггере. Нужно ли robot.txt менять?
[Ответить]
Нет, Екатерина, менять ничего не надо/ Все остается в прежнем виде. Удачи!
[Ответить]
Вставляю Ваш код как описано, а при сохранении выдает что не соответствует правилам форматирования.
[Ответить]
Пробуйте еще. Иногда бывает, что при копировании теряется слэш или звездочка, или еще какой-то знак, который может показаться неважным, но на самом деле, без него ничего не срастется. Как видно из комментариев, у других читателей получилось, значит, код верный. Да я и сама его не раз проверяла. Ищите ошибку. Удачи!
[Ответить]
Я уже раз 5 пробовал. Сначала в блокнот, в блокноте вот этоhttp://имя вашего сайта/ меняю на свое и выдает ошибку.
[Ответить]
Пришлите мне скриншот своей записи вместе с адресом блога.
[Ответить]
У Вас Sitemap оформлен?
[Ответить]
Здравствуйте! На своем сайте все сделал как у Вас, но в поисковике Google выдает все подряд и поиск показывает как-то не так — название сайта, потом страницу, а потом не описание страницы,а описание блога. Нет краткого описания страницы, хотя их прописываю. Помогите разобратся.
[Ответить]
Пришлите адрес своего блога.
[Ответить]
Посмотрела Ваш блог. Интересный, запоминающийся дизайн. Вы проделали большую работу, но Вам предстоит еще потрудиться над ключевыми словами и семантическим ядром. Блог новый и, как я уже неоднократно писала, раскручивать его надо, используя НЧ запросы, к тому же, названия статей не отвечают требованиям seo. Но самое главное — у Вас крайне неудобная навигация, и карта блога, хоть и красивая, но ПО, скорее всего, просто не могут ее просканировать.
[Ответить]
Добрый день, большое спасибо за статью. Всё очень понятно, и я надеюсь, что у меня всё правильно получилось. Добро пожаловать в гостиhttp://milena-journal.blogspot.com/
[Ответить]
Нет слов, хочется просто сказать спасибо за ценную информацию. Долгое время билась и не понимала, почему в моем блоге низкая посещаемость. Исправила, посмотрим на результаты 🙂
[Ответить]
Ольга Reply:
Ноябрь 25th, 2013 at 09:36
Буду рада, если Вы с нами ими поделитесь:)
Но для увеличения посещаемости желательно предпринять и другие меры.
Почитайте соответствующие статьи и составьте для себя план мероприятий.
Вот тогда результат, наверняка, не заставит себя ждать.
Удачи!
[Ответить]
Отличная статья, написанная простым языком так, что поймет даже совсем неопытный «юзер»))
[Ответить]
Ольга Reply:
Декабрь 23rd, 2013 at 09:49
Благодарю, Марина:)
Буду рада, если статья Вам помогла:)
[Ответить]
Спасибо. Посмотрим, что получилось в итоге. А как можно еще проверить результат после проделанной работы?
[Ответить]
Ольга Сескутова Reply:
Август 5th, 2014 at 21:35
Обязательно все свои действия сверяйте с Яндекс вебмастер. Не забудьте, кстати, сначала верифицировать в Яндексе свой блог. Тогда Вы всегда будете в курсе: сколько страниц у Вас в индексе, какие страницы и почему не попали в индекс, какие ошибки обнаружил бот при сканировании сайта. То же самое можно сказать и об инструментах для веб-мастеров в Гугл.
[Ответить]
Спасибо за статью, сегодня поправил как указано выше, будем ждать. Заходите в гостиhttp://oatmeallife.blogspot.ru/
[Ответить]
Ольга Сескутова Reply:
Октябрь 29th, 2014 at 17:47
У Вас интересный сайт. Видно, что Вы над ним поработали. Если контент уникальный, ту у него прекрасное будущее.
Жаль, что на бесплатном хостинге — практически нет вариантов для его монетизации.
А в целом-оставляет приятно впечатление.
Удачи!
[Ответить]
Ольга, доброго времени!
(у меня blogspot)А робот от Гоши сам приходит, или следует что-то прописывать?
[Ответить]
Ольга Сескутова Reply:
Ноябрь 7th, 2014 at 23:55
Да, заходит без приглашения 🙂
Но прописать путь для него надо. Как — рассказано в этом посте.
Удачи 🙂
[Ответить]
Вика Reply:
Ноябрь 8th, 2014 at 00:01
Поискала ещё нашла ответ, на это, что User-agent: * как раз за это отвечает, потом блог же является их системой. Это только Yandex`у, как маразматику (извините), всё показывать нужно :). Большое Вам Спасибо =)!
[Ответить]
Ольга Сескутова Reply:
Ноябрь 8th, 2014 at 13:14
Удачи 🙂
Ох, сделала все, ка вы сказали. А вдруг, все устарело в 15 году?..http://chelobaka.blogspot.ru/ .
Вот мой сайт, вдруг захотите зайти:
[Ответить]
Ольга Сескутова Reply:
Июнь 17th, 2015 at 18:10
Татьяна, не волнуйтесь 🙂 Принципы создания robot.txt остались прежними. Побывала на Вашем блоге. Блог интересный, пишите легко, профессионально, тема востребована. Конечно, допущены ошибки при его создании, и некоторые вещи я бы посоветовала исправить(изменить, убрать, добавить). Но, если нет в планах активно его монетизировать, то можно и оставить все, как есть. Однако, блоггеры, в основном, пишут не для мамы-папы-и-любимой-собаки, а для людей, для своих единомышленников, друзей по интересам. поэтому блог необходимо раскручивать, чтобы Ваш интересный контент нашел своего читателя. Мне пока непонятно, как Вы контролируете поток посетителей? без статистики невозможно двигаться вперед. Советую обязательно поставить счетчик от Liveinternet, чтобы быть в курсе происходящего на сайте. Это поможет лучше организовать работу. Удачи!
[Ответить]
Все рекомендации выполнил. А как увидеть результат, проверить что сделано все правильно. Спасибо.
[Ответить]
Ольга Сескутова Reply:
Июль 3rd, 2015 at 10:01
Визуально это никак не отразится на блоге. Понять, что настройки верны, можно будет позже по тому, как индексируются статьи и по посещаемости. Но, если Вы сделали все, как написано в этом посте, будьте уверены, что все настройки сделаны верно.
[Ответить]
Как сделать Карту блога такую как у Вас? Спасибо
[Ответить]
Ольга Сескутова Reply:
Июль 3rd, 2015 at 09:37
Школа блоггера расположена на WP, и карта блога реализована через плагин. Но у Вас блог находится на BlogSpot, там карта блога строится иначе. У меня раньше была статья о том, как ее делать, но после переезда с Блоггера на Вордпресс часть статей затерялась, в том числе и статья о том, как делать карту блога для Блогспот. Но в инете много информации на эту тему, Вам не составит труда найти. Ваш блог сейчас недоступен, перенаправление не осуществляется. Вы об этом знаете? Вам надо заново пройти всю процедуру перевода на персональный домен. Но не проще ли открыть на WP?
[Ответить]
Подскажите пожалуйста по вопросу о переносе блога на новый домен. Блог перенес, регистратор уверяет что сайт работает, но поисковики не видят сайт. Что надо исправить? Спасибо.http://избакрым.рф/
[Ответить]
Ольга Сескутова Reply:
Июль 3rd, 2015 at 23:31
Нет, сайт по-прежнему не работает. Ошиблись где-то при переносе, что-то неправильно прописали. Мне трудно судить, надо смотреть «изнутри», я только вижу ошибку перенаправления.
[Ответить]
Виталий Лопатин Reply:
Июль 5th, 2015 at 10:50
Сергей, такое впечатление, что сайта на Blogspot-е больше нет. Вы сам сайт не переносили на другой хостинг, только домен поменяли?
[Ответить]
Виталий Лопатин Reply:
Июль 5th, 2015 at 11:00
И какой изначально был домен, до изменения?
[Ответить]
Июль 5th, 2015 at 11:13
[Ответить]
Виталий Лопатин Reply:
Июль 5th, 2015 at 11:56
У регистратора, насколько я вижу, все правильно прописано. Можете сделать снимок страницы с настройками блога на Blogspot (где прописывается персональный домен) и выложить его куда-нибудь (можно воспользоваться, например, joxi.ru)? Возможно, Вы не прописали нужные настройки для Вашего сайта, чтобы он открывался по адресу избакрым.рф.
я только вижу ошибку перенаправления. И как это можно исправить? Спасибо.
[Ответить]
Июль 5th, 2015 at 16:02
Основное
Название Недвижимость Севастополя Изменить
Описание Недвижимость Севастополя Изменить
Конфиденциальность Отображается в Blogger. Сканируется поисковыми системами. Изменить
Публикация
Адрес блога • sevsiv.blogspot.com
Изменить
+ Использовать персональный домен — Свяжите URL собственного зарегистрированного домена со своим блогом.
Разрешения
Авторы блога admin sevsiv273@gmail.com
Администратор
+ Добавить авторов
Читатели блога Общедоступная Изменить
[Ответить]
Публикация
Адрес блога • sevsiv.blogspot.com
Изменить
+ Использовать персональный домен — Свяжите URL собственного зарегистрированного домена со своим блогом.
[Ответить]
Виталий Лопатин Reply:
Июль 5th, 2015 at 17:03
Сергей, я отредактировал Ваш комментарий, оставив самое важное. Насколько я смог понять из этого текста, домен избакрым.рф не прописан на этой странице настроек. Т.е. Google даже не знает, что Ваш сайт должен открываться по новому адресу.
Подробнее, как перенести Blogspot-блог на персональный домен, можно узнать тут: https://shkolabloggera.ru/kak-perenesti-blog-s-blogspot-na-personalnyiy-domen/
[Ответить]
Умничка, огромное спасибо за помощь!!! а то я двое суток мучился с robots, всё ошибку выдавал)))) А твой скопировал и всё))))
ОГРОМНЫХ ТЕБЕ УСПЕХОВ В ИНТЕРНЕТ БИЗНЭССЕ!!!!!!
[Ответить]
Ольга Сескутова Reply:
Февраль 13th, 2016 at 13:52
Спасибо, Андрей!
И тебе удачи и успехов в блоговедении 🙂
[Ответить]
Добрый день.
Спасибо за отличную статью она мне очень помогла!
Но у меня осталась пара вопросов… при добавлении своего блога от blogger.com на Яндекс, робот главным зеркалом сделал сайт blogger.ru хотя я его не указывала, а указывала только blogger.com. Мне хочется чтобы Яндекс выдавал мои страницы по поиску blogger.com (мне интересна аудитория не только из России и Украины, а и другие страны).
Покопалась в гугле пыталась найти ответ на свой вопрос и выяснила что в файле robots.txt нужно прописать HOST: и название того сайта, который нужно сделать главным, но при добавлении этого тега в файл пишет ошибку и не дает сохранить изменения. Надеюсь понятно объяснила, я не программист и не имею представление о кодах и т.д., может с вашей помощью смогу в этом разобраться. Подскажите пожалуйста что нужно сделать чтобы Яндекс был ко мне более благожелательный)))) и чтобы добавил в поиск все мои 270 страниц, а не только 80!
и еще вопрос насчет насчет Adsense… все необходимые манипуляции сделала, но мне пришел отказ думаю как раз таки из-за Яндекса… Яндекс говорит что от меня идут какие-то автоматические запросы, что это за запросы и как с ними бороться?
Заранее спасибо, ОЧЕНЬ надеюсь на ответ
[Ответить]
Здравствуйте)
очень полезная статья, спасибо. В гугле все хорошо отображается, но вот яндекс противится. Что делать?
[Ответить]
Что Вы имеете в виду под словом «противится»? Статья не индексируется? Если так, то следует иметь в виду, что продвижения для Яндекса и для Гугла несколько отличаются, а индексация Яндекса часто отстает от Гугла. Блогспот все-таки родная платформа для Гугла, и он «по-родственному» старается побыстрее продвинуть статьи с этой бесплатной платформы. В Школе блоггера есть посты о том, что нравится Яндексу. Прочтите и постарайтесь оптимизировать свои статьи в соответствии с требованиями этого поисковика.
[Ответить]
oooOOO все получилось.
спасибо вам огромное!!!!!!.
[Ответить]
То, что нужно! Спасибо!!!
[Ответить]
Спасибо!
[Ответить]
Здравствуйте! Не подскажете почему робот яндекса не видит файл? Пишет » Сервер отвечает редиректом на запрос /robots.txt «
[Ответить]
Устанавливали SSL сертификат? В файл robots.txt добавьте строчкуhttps://froots.ru/ , а в панели вебмастера в изменении адреса добавьте галочку на https, и уже будете смотреть все данные по новому адресу. После склейки ошибки с редиректами уйдут.
Host:
[Ответить]
Отлично! Спасибо. Не подскажете — у меня два блога на «Блоггере». Можно просто перенести один на другой, соединить?
[Ответить]
Елена, не уверена, что верно поняла Ваш вопрос. Вы хотите соединить два блога в один, под одно доменное имя? Если так, то Вам придется перенести все статьи, уже проиндексированные, с одного блога на другой, т.е. получится дублированный контент, кот. ПС будут рассматривать, как плагиат. Лучше этого не делать.
[Ответить]
Добрый день,
У меня проблема. Я прописываю все как написано, это работает сутки, а потом опять все пусто(
[Ответить]
Мария, к сожалению такие вещи на блогспоте случаются. Иногда пропадает даже панель инструментов на несколько дней. Потом восстанавливается. Платформа бесплатная, спросить не с кого. Вот почему я рекомендую открывать блог сразу на WP на своем хостинге и своем домене. Там хотя бы СБ сможет помочь.
[Ответить]
Спасибо огромное Ольга!
[Ответить]
Успехов, Сергей!
[Ответить]
Огромное спасибо за понятную и интересную статью. Очень вовремя. Почему-то мой индивидуальный robots.txt исчез из админки. Сайт выпал из индексирования, а я не пойму почему!!! Всю «голову сломала». Начала с поиска главного зеркала, а «собака вот где порылась». Теперь надо бы разобраться, почему пропадают данные в админке. Может подскажите? Заранее спасибо! Мой блог на движке блогспот.
[Ответить]
Ирина, спасибо за комментарий 🙂 Рада, что смогла помочь, но что касается периодических пропаданий данных из админки, то я тоже хотела бы знать, почему такое происходит. Тем не менее, это факт. И у меня были случаи, когда не могла найти, куда запостить статью-просто пропадал весь сайтбар в админке, но через пару-тройку дней чудесным образом появлялся снова. Свалила все на инопланетян 😀 А если серьезно, то это все же бесплатная платформа, было бы удивительно, если бы на ней все работало без сучка и без задоринки.
[Ответить]