Robot.txt для blogger

Robot.txt для blogger

Каким должен быть Robot.txt для blogger?

Вот так, живёшь себе живёшь, долбишь по клаве до посинения, стараясь выдать «на гора» единственный и неповторимый (то бишь – уникальный) контент, как вдруг – гром среди ясного неба и ты – в ж…, сорри, — в бане (это я так сначала посчитала, но как оказалось, была неправа).

Да нет, не в той бане, в которой моются, а в БАНЕ, когда из индекса выпали все или почти все страницы сайта.

Несколько дней назад именно это со мною и произошло.

Сначала обратила внимание на то, что резко упал заработок на партнёрской программе Google Ad Sense.

Стала искать причину,  и в аккаунте AdSense  обнаружила, что ко многим страницам нет доступа.

На запрос сайт выдаёт ошибку 404.

Robot txt для blogger
Robot txt для blogger

Написала в саппорт Яндекса Платону Щукину запрос.

Мне вежливо ответили – ждите.

Но ждать-то нЕкогда, ведь  кроме того, что я теряю деньги, резко упал и трафик,  за счёт того, что страниц сайта нет в поисковой выдаче!

Но самое мерзопакостное заключалось в том, что выпало из индекса сразу два сайта (в том числе и Школа начинающего блоггера), расположенных на Blogger!

В чем причина?

Пишу сама, это не говносайты, а СДЛ, исправно ставлю ссылки, если публикую чужой контент.

Стала искать «откуда ноги растут».

Какими партизанскими тропами я пришла к выводу о том, что «собака зарыта» в файле robot.txt, я даже рассказывать не стану, просто поверьте нА слово, что если у Вас не говносайт и Вы не воруете чужой контент, то при выпадении из индекса в Яндекс ищите причину в файле robot.txt(

(но, конечно, причин гораздо больше, но об этом – в следующий раз)

Где искать?

C некоторых пор в настройках блога появилась новая фишка: Настройки поиска.

2000 Премиум WordPress шаблонов

Когда все дружно перешли на новый интерфэйс, мало кто обратил внимание на появление новой функции.

И напрасно, потому как именно здесь оч. удобно давать задание поисковым роботам где и как Вас искать, т.е. Вы можете добавить описание своего блога (150 знаков), создать страницу 404, чтобы симпатично выглядела и т.д.

Но, главное, Вы можете внести необходимые изменения в файл robot.txt, чтобы дать разрешение  поисковому роботу Яндекс сканировать страницы блога.

Вы этому умнику так и адресуйте: «Для робота с именем Яндекс».

Взгляните на эти две записи:

до:

User-agent: Mediapartners-Google 

Disallow: 

User-agent: * 

Disallow: /search 

Disallow: /p/search.html 

Allow: / 

Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated 

и после:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /p/search.html

Allow: /

Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated

User-agent: Yandex

Disallow: /search

Disallow: /p/search.html

Allow: /

Обратите внимание: специально для Яндекса мы добавили пару ласковых слов, чтобы этот умник понял, что обращаются именно к нему:

User-agent: Yandex 

Disallow: /search 

Disallow: /p/search.html 

Allow: /

А теперь самое главное: куда все это прописать?

Идем настройки блога — Настройки — Настройки поиска

Далее: Пользовательский файл robots.txt

На вопрос   Использовать собственный файл robots.txt? говорим Да, и далее вставляем следующее:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /p/search.html

Allow: /

Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated

User-agent: Yandex

Disallow: /search

Disallow: /p/search.html

Allow: /

Сохраняем

Все. Умный Яндекс поймет, что от него требуется.

Не уходя с этой страницы пропишем заодно и Персонализированные теги robots для заголовков.

Я сделала это следующим образом:

Robot txt для blogger
Robot txt для blogger

А то я голову сломала, как выкинуть архив!

Сохраняем

И последнее: дадим поисковым системам описание своего блога, чтобы быстрее могли его найти на просторах инета:

Постарайтесь уложиться в 150 знаков, только все самое значимое.

Вот и все. Осталось только дождаться следующего визита робота, чтобы блоги чудесным образом  стали видимыми для Всевидящего Ока Яндекса.

Но уже сейчас, проверка результатов  внесенных исправлений вфайл robot.txt показала, что страницы, бывшие ранее недоступными, стали доступны для сканирования.

Буду рада, если мои мытарства и потеря n-ой части прибыли были не напрасны, и я смогла предостеречь Вас от ненужных  переживаний и потерь!

Удачи!

Статьи по теме:

Как создать файл sitemap на BlogSpot?

Как зарегистрировать сайт В Yandex?

Как подтвердить право собственности на блог?

Комментарии: 63

By Ольга Сескутова | 04.06.2012 at 18:33

Найти можно, времени только нет. Пришлось еще сайт один сайт создавать, т.к. на тот, второй, кот. выпал из индекса у меня готовился новый проект по инфобизнесу, и тот сайт мне был позарез нужен:((((
Теперь придется потратить массу времени и сил на его раскрутку, ну, и время, конечно, потеряла.
Ссылки на этот блог я не закупаю, он развивается естественным путем, а после того, как выпал в осадок, сразу трафик резко упал. жалко, конечно, но не смертельно, умнее буду:)))

[Ответить]

By Людвиг | 04.06.2012 at 17:37

Оля, ты нашла того, кто тырил статьи? Или это нереально? Надо наказывать таких умников.

[Ответить]

By Ольга Сескутова | 30.06.2012 at 06:23

Рада была помочь!

[Ответить]

By Serg63 | 30.06.2012 at 06:21

Спасибо за пост — очень пригодился!

[Ответить]

By Татьяна | 28.07.2012 at 21:58

Спасибо за статью! Очень всё просто и понятно и главное очень кстати! 🙂

[Ответить]

By Ольга Сескутова | 29.07.2012 at 06:02

Спасибо и Вам, что не остались равнодушны:))

[Ответить]

By Ольга Сескутова | 01.09.2012 at 19:57

Всегда пожалуйста, Руслан:)))

[Ответить]

By Руслан | 01.09.2012 at 19:53

Спасибо

[Ответить]

By Ольга Сескутова | 10.09.2012 at 15:52

Если хотите, чтобы все страницы блога были открыты для индексации, в опции «Использовать персонализированные теги robots для заголовков?» в графе «Архив и страницы поиска» поставьте галочку в чек бокс «all» и снимите их с чек боксов noidex, nofollov, noarchive.
Адресное обращение к Яндексу не имеет к этому отношения.

[Ответить]

By Solveig | 10.09.2012 at 15:37

Спасибо за четкую подсказку. Если не сложно, уточните пожалуйста для нуба: если я хочу, чтобы все абсолютно страницы (включая начинающиеся search/label) были открыты, то Robots.txt должен выглядеть следующим образом:

User-agent: Mediapartners-Google
Allow:

User-agent: *
Allow:

Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated

User-agent: Yandex
Allow:

Или я опять что то не поняла?

[Ответить]

By Ольга Сескутова | 31.01.2013 at 18:39

Рада, что пригодилась статья:) Заходите еще.
Удачи!

[Ответить]

By VjokerA | 31.01.2013 at 18:17

спасибо, а то не знал даже что с ним делать))

[Ответить]

By liana | 07.02.2013 at 19:01

Здравствуйте, Ольга, из комментариев я поняла, что кто то безвозмездно позаимствовал ваши статьи, у меня произошла такая же история. Я вдруг обнаружила на чужом сайте мою статью. И самое интересное, антиплагиат выдает принадлежность этой статьи другому сайту.
Может подскажите как с этим бороться?

[Ответить]

By Ольга Сескутова | 10.02.2013 at 11:30

Liana, то, что антиплагиат выдает принадлежность Вашей статьи другому сайту, в общем-то, закономерно в том случае, если у того сайта показатели выше, чем у Вашего, и бот посчитал, что хорошая статья может принадлежать ресурсу с солидными показателями.
Вам необходимо написать админу того сайта требование или убрать статью, или поставить на нее ссылку. В большинстве случаев такие требования выполняются. В противном случае свяжитесь с его хостером и объясните ситуацию, приложив к письму доказательства Вашего авторства. Рычаги воздействия есть, но попробуйте начать с этого. Можно поставить скрипт «защита от копирования», но это мало кого останавливает. Воровство контента, к сожалению, становится нормой, но обычно более серьезные меры принимаются в случае воровства сайта (не дай Бог!), так что -удачи Вам в борьбе! Напишите, удалось ли Вам договориться мирным путем!

[Ответить]

By Ольга Сескутова | 10.03.2013 at 15:16

Извините, Ольга, может вопрос не в тему. Я тут платный домен прикрепляю к блогу на блоггере. Нужно ли robot.txt менять?

[Ответить]

By Ольга Сескутова | 10.03.2013 at 15:40

Нет, Екатерина, менять ничего не надо/ Все остается в прежнем виде. Удачи!

[Ответить]

By Ольга Сескутова | 24.03.2013 at 15:53

Вставляю Ваш код как описано, а при сохранении выдает что не соответствует правилам форматирования.

[Ответить]

By Ольга Сескутова | 24.03.2013 at 16:19

Пробуйте еще. Иногда бывает, что при копировании теряется слэш или звездочка, или еще какой-то знак, который может показаться неважным, но на самом деле, без него ничего не срастется. Как видно из комментариев, у других читателей получилось, значит, код верный. Да я и сама его не раз проверяла. Ищите ошибку. Удачи!

[Ответить]

By Ольга Сескутова | 24.03.2013 at 16:33

Я уже раз 5 пробовал. Сначала в блокнот, в блокноте вот это http://имя вашего сайта/ меняю на свое и выдает ошибку.

[Ответить]

By Ольга Сескутова | 24.03.2013 at 18:01

Пришлите мне скриншот своей записи вместе с адресом блога.

[Ответить]

By Ольга Сескутова | 24.03.2013 at 18:03

У Вас Sitemap оформлен?

[Ответить]

By Ольга Сескутова | 09.04.2013 at 18:06

Здравствуйте! На своем сайте все сделал как у Вас, но в поисковике Google выдает все подряд и поиск показывает как-то не так — название сайта, потом страницу, а потом не описание страницы,а описание блога. Нет краткого описания страницы, хотя их прописываю. Помогите разобратся.

[Ответить]

By Ольга Сескутова | 17.04.2013 at 18:48

Пришлите адрес своего блога.

[Ответить]

By Ольга Сескутова | 22.04.2013 at 10:09

Посмотрела Ваш блог. Интересный, запоминающийся дизайн. Вы проделали большую работу, но Вам предстоит еще потрудиться над ключевыми словами и семантическим ядром. Блог новый и, как я уже неоднократно писала, раскручивать его надо, используя НЧ запросы, к тому же, названия статей не отвечают требованиям seo. Но самое главное — у Вас крайне неудобная навигация, и карта блога, хоть и красивая, но ПО, скорее всего, просто не могут ее просканировать.

[Ответить]

By Милена | 10.07.2013 at 09:33

Добрый день, большое спасибо за статью. Всё очень понятно, и я надеюсь, что у меня всё правильно получилось. Добро пожаловать в гости http://milena-journal.blogspot.com/

[Ответить]

By Севар | 20.11.2013 at 21:14

Нет слов, хочется просто сказать спасибо за ценную информацию. Долгое время билась и не понимала, почему в моем блоге низкая посещаемость. Исправила, посмотрим на результаты 🙂

[Ответить]

Ольга Reply:

Буду рада, если Вы с нами ими поделитесь:)
Но для увеличения посещаемости желательно предпринять и другие меры.
Почитайте соответствующие статьи и составьте для себя план мероприятий.
Вот тогда результат, наверняка, не заставит себя ждать.
Удачи!

[Ответить]

By Марина | 23.12.2013 at 02:02

Отличная статья, написанная простым языком так, что поймет даже совсем неопытный «юзер»))

[Ответить]

Ольга Reply:

Благодарю, Марина:)

Буду рада, если статья Вам помогла:)

[Ответить]

By Дмитрий | 05.08.2014 at 19:04

Спасибо. Посмотрим, что получилось в итоге. А как можно еще проверить результат после проделанной работы?

[Ответить]

Ольга Сескутова Reply:

Обязательно все свои действия сверяйте с Яндекс вебмастер. Не забудьте, кстати, сначала верифицировать в Яндексе свой блог. Тогда Вы всегда будете в курсе: сколько страниц у Вас в индексе, какие страницы и почему не попали в индекс, какие ошибки обнаружил бот при сканировании сайта. То же самое можно сказать и об инструментах для веб-мастеров в Гугл.

[Ответить]

By Игорь | 29.10.2014 at 17:39

Спасибо за статью, сегодня поправил как указано выше, будем ждать. Заходите в гости http://oatmeallife.blogspot.ru/

[Ответить]

Ольга Сескутова Reply:

У Вас интересный сайт. Видно, что Вы над ним поработали. Если контент уникальный, ту у него прекрасное будущее.
Жаль, что на бесплатном хостинге — практически нет вариантов для его монетизации.
А в целом-оставляет приятно впечатление.
Удачи!

[Ответить]

By Вика | 07.11.2014 at 23:12

Ольга, доброго времени!

(у меня blogspot)А робот от Гоши сам приходит, или следует что-то прописывать?

[Ответить]

Ольга Сескутова Reply:

Да, заходит без приглашения 🙂
Но прописать путь для него надо. Как — рассказано в этом посте.
Удачи 🙂

[Ответить]

Вика Reply:

Поискала ещё нашла ответ, на это, что User-agent: * как раз за это отвечает, потом блог же является их системой. Это только Yandex`у, как маразматику (извините), всё показывать нужно :). Большое Вам Спасибо =)!

[Ответить]

Ольга Сескутова Reply:

Удачи 🙂

By Татьяна | 17.06.2015 at 17:44

Ох, сделала все, ка вы сказали. А вдруг, все устарело в 15 году?..
Вот мой сайт, вдруг захотите зайти: http://chelobaka.blogspot.ru/.

[Ответить]

Ольга Сескутова Reply:

Татьяна, не волнуйтесь 🙂 Принципы создания robot.txt остались прежними. Побывала на Вашем блоге. Блог интересный, пишите легко, профессионально, тема востребована. Конечно, допущены ошибки при его создании, и некоторые вещи я бы посоветовала исправить(изменить, убрать, добавить). Но, если нет в планах активно его монетизировать, то можно и оставить все, как есть. Однако, блоггеры, в основном, пишут не для мамы-папы-и-любимой-собаки, а для людей, для своих единомышленников, друзей по интересам. поэтому блог необходимо раскручивать, чтобы Ваш интересный контент нашел своего читателя. Мне пока непонятно, как Вы контролируете поток посетителей? без статистики невозможно двигаться вперед. Советую обязательно поставить счетчик от Liveinternet, чтобы быть в курсе происходящего на сайте. Это поможет лучше организовать работу. Удачи!

[Ответить]

By Сергей | 27.06.2015 at 06:56

Все рекомендации выполнил. А как увидеть результат, проверить что сделано все правильно. Спасибо.

[Ответить]

Ольга Сескутова Reply:

Визуально это никак не отразится на блоге. Понять, что настройки верны, можно будет позже по тому, как индексируются статьи и по посещаемости. Но, если Вы сделали все, как написано в этом посте, будьте уверены, что все настройки сделаны верно.

[Ответить]

By Сергей | 27.06.2015 at 13:28

Как сделать Карту блога такую как у Вас? Спасибо

[Ответить]

Ольга Сескутова Reply:

Школа блоггера расположена на WP, и карта блога реализована через плагин. Но у Вас блог находится на BlogSpot, там карта блога строится иначе. У меня раньше была статья о том, как ее делать, но после переезда с Блоггера на Вордпресс часть статей затерялась, в том числе и статья о том, как делать карту блога для Блогспот. Но в инете много информации на эту тему, Вам не составит труда найти. Ваш блог сейчас недоступен, перенаправление не осуществляется. Вы об этом знаете? Вам надо заново пройти всю процедуру перевода на персональный домен. Но не проще ли открыть на WP?

[Ответить]

By Сергей | 03.07.2015 at 20:55

Подскажите пожалуйста по вопросу о переносе блога на новый домен. Блог перенес, регистратор уверяет что сайт работает, но поисковики не видят сайт. Что надо исправить? Спасибо. http://избакрым.рф/

[Ответить]

Ольга Сескутова Reply:

Нет, сайт по-прежнему не работает. Ошиблись где-то при переносе, что-то неправильно прописали. Мне трудно судить, надо смотреть «изнутри», я только вижу ошибку перенаправления.

[Ответить]

Виталий Лопатин Reply:

Сергей, такое впечатление, что сайта на Blogspot-е больше нет. Вы сам сайт не переносили на другой хостинг, только домен поменяли?

[Ответить]

Виталий Лопатин Reply:

И какой изначально был домен, до изменения?

[Ответить]

Сергей Reply:

http://sevsiv.blogspot.com перенес на http://избакрым.рф/

http://24whois.ru/?data=%E8%E7%E1%E0%EA%F0%FB%EC.%F0%F4&t=nslookup&dns_type=a

[Ответить]

Виталий Лопатин Reply:

У регистратора, насколько я вижу, все правильно прописано. Можете сделать снимок страницы с настройками блога на Blogspot (где прописывается персональный домен) и выложить его куда-нибудь (можно воспользоваться, например, joxi.ru)? Возможно, Вы не прописали нужные настройки для Вашего сайта, чтобы он открывался по адресу избакрым.рф.

By Сергей | 04.07.2015 at 20:08

я только вижу ошибку перенаправления. И как это можно исправить? Спасибо.

[Ответить]

Сергей Reply:

Основное
Название Недвижимость Севастополя Изменить

Описание Недвижимость Севастополя Изменить

Конфиденциальность Отображается в Blogger. Сканируется поисковыми системами. Изменить

Публикация
Адрес блога • sevsiv.blogspot.com
Изменить
+ Использовать персональный домен — Свяжите URL собственного зарегистрированного домена со своим блогом.
Разрешения
Авторы блога admin sevsiv273@gmail.com
Администратор
+ Добавить авторов

Читатели блога Общедоступная Изменить

[Ответить]

By Сергей | 05.07.2015 at 16:03

Публикация
Адрес блога • sevsiv.blogspot.com
Изменить
+ Использовать персональный домен — Свяжите URL собственного зарегистрированного домена со своим блогом.

[Ответить]

Виталий Лопатин Reply:

Сергей, я отредактировал Ваш комментарий, оставив самое важное. Насколько я смог понять из этого текста, домен избакрым.рф не прописан на этой странице настроек. Т.е. Google даже не знает, что Ваш сайт должен открываться по новому адресу.
Подробнее, как перенести Blogspot-блог на персональный домен, можно узнать тут: http://shkolabloggera.ru/kak-perenesti-blog-s-blogspot-na-personalnyiy-domen/

[Ответить]

By Андрей | 13.02.2016 at 13:38

Умничка, огромное спасибо за помощь!!! а то я двое суток мучился с robots, всё ошибку выдавал)))) А твой скопировал и всё))))
ОГРОМНЫХ ТЕБЕ УСПЕХОВ В ИНТЕРНЕТ БИЗНЭССЕ!!!!!!

[Ответить]

Ольга Сескутова Reply:

Спасибо, Андрей!
И тебе удачи и успехов в блоговедении 🙂

[Ответить]

By inna_keils | 20.04.2016 at 11:02

Добрый день.
Спасибо за отличную статью она мне очень помогла!
Но у меня осталась пара вопросов… при добавлении своего блога от blogger.com на Яндекс, робот главным зеркалом сделал сайт blogger.ru хотя я его не указывала, а указывала только blogger.com. Мне хочется чтобы Яндекс выдавал мои страницы по поиску blogger.com (мне интересна аудитория не только из России и Украины, а и другие страны).

Покопалась в гугле пыталась найти ответ на свой вопрос и выяснила что в файле robots.txt нужно прописать HOST: и название того сайта, который нужно сделать главным, но при добавлении этого тега в файл пишет ошибку и не дает сохранить изменения. Надеюсь понятно объяснила, я не программист и не имею представление о кодах и т.д., может с вашей помощью смогу в этом разобраться. Подскажите пожалуйста что нужно сделать чтобы Яндекс был ко мне более благожелательный)))) и чтобы добавил в поиск все мои 270 страниц, а не только 80!

и еще вопрос насчет насчет Adsense… все необходимые манипуляции сделала, но мне пришел отказ думаю как раз таки из-за Яндекса… Яндекс говорит что от меня идут какие-то автоматические запросы, что это за запросы и как с ними бороться?

Заранее спасибо, ОЧЕНЬ надеюсь на ответ

[Ответить]

By блоггер | 09.05.2016 at 22:23

Здравствуйте)
очень полезная статья, спасибо. В гугле все хорошо отображается, но вот яндекс противится. Что делать?

[Ответить]

By Ольга Сескутова | 10.05.2016 at 09:32

Что Вы имеете в виду под словом «противится»? Статья не индексируется? Если так, то следует иметь в виду, что продвижения для Яндекса и для Гугла несколько отличаются, а индексация Яндекса часто отстает от Гугла. Блогспот все-таки родная платформа для Гугла, и он «по-родственному» старается побыстрее продвинуть статьи с этой бесплатной платформы. В Школе блоггера есть посты о том, что нравится Яндексу. Прочтите и постарайтесь оптимизировать свои статьи в соответствии с требованиями этого поисковика.

[Ответить]

By Алексей | 14.07.2016 at 00:05

oooOOO все получилось.
спасибо вам огромное!!!!!!.

[Ответить]

By Антон | 03.10.2016 at 09:30

То, что нужно! Спасибо!!!

[Ответить]

By Станислав | 13.10.2016 at 23:26

Спасибо!

[Ответить]

By Александр | 16.07.2017 at 00:31

Здравствуйте! Не подскажете почему робот яндекса не видит файл? Пишет » Сервер отвечает редиректом на запрос /robots.txt «

[Ответить]

By Ольга Сескутова | 16.07.2017 at 09:37

Устанавливали SSL сертификат? В файл robots.txt добавьте строчку
Host:https://froots.ru/, а в панели вебмастера в изменении адреса добавьте галочку на https, и уже будете смотреть все данные по новому адресу. После склейки ошибки с редиректами уйдут.

[Ответить]

Оставьте Ваш комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *