X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Файл robots.txt, Проблема с файлом robots.txt
FIvYur
FIvYur
Topic Starter сообщение 9.2.2015, 11:27; Ответить: FIvYur
Сообщение #1


Друзья, нужен совет. На блоге длительное время вот такой файл robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: catblogger.ru
Sitemap: _http://*****************/sitemap.xml.gz
Sitemap: _http://*****************/sitemap.xml

И было нормально. Но вот сегодня:

09.02.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.

Подскажите кто знает. Что не так? Что делать?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 9.2.2015, 11:44; Ответить: Risk
Сообщение #2


Sitemap: _http://*****************/sitemap.xml.gz
Sitemap: _http://*****************/sitemap.xml
что за_ ? и зачем в формате .gz? может от этого?
и зачем закрываешь домен, если показал домен все равно
Цитата(FIvYur @ 9.2.2015, 11:27) *
Host: catblogger.ru

а так зайди https://webmaster.yandex.ru/site/robots.xml?
и жмакай кнопку "проверить"
ну и читай ошибки там будет написано все


Сообщение отредактировал Risk - 9.2.2015, 11:46
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FIvYur
FIvYur
Topic Starter сообщение 9.2.2015, 11:55; Ответить: FIvYur
Сообщение #3


Risk, проверил.
Показывает вот:

Используемые секции
16-32
User-agent: Yandex
Disallow: /cgi-bin
...
Sitemap: _http://catblogger.ru/sitemap.xml



Сообщение отредактировал FIvYur - 9.2.2015, 11:56


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 9.2.2015, 14:40; Ответить: Risk
Сообщение #4


ns
Цитата(FIvYur @ 9.2.2015, 11:55) *
Sitemap: _http://catblogger.ru/sitemap.xml

в роботсе тоже _ префикс стоит такой?
если да то убери, а если нет, то скорее всего сбой системы и все станет прежним
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Infacto
Infacto
сообщение 9.2.2015, 14:53; Ответить: Infacto
Сообщение #5


Да тут сбой яндекса. У меня сайт год был в индексе с 300 страницами, позже рубануло до 100, зашел в ЯВМ а там такая же беда как и у вас, хотя ничего не менялось.

После делал 4 новых сайта, роботс везде одинаковый. 3 нормально начали индексироваться, а вот последний не как не хочет и в ЯВМ :
Цитата
02.02.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt.

После удалил вообще роботс, пишет уже что скоро будет индексироваться.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 9.2.2015, 14:55; Ответить: rom_4
Сообщение #6


FIvYur, я вообще не понял зачем для яндекса User-agent прописал. У вас все одинаково. Сделайте такой User-agent и все будет ок:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: catblogger.ru

Sitemap: _http://*****************/sitemap.xml


Между Host и Sitemap: пробел


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
0alex1
0alex1
сообщение 9.2.2015, 15:59; Ответить: 0alex1
Сообщение #7


http://wmr1000.ru/wordpress/kak-sozdat-pra...ress-primer.htm
Здесь достаточно подробно описано с примерами, может поможет решить вопрос.


--------------------
Взять Кредит Webmoney тут
Лучшие биржи ссылок wmr1000 - Заработок в соц. сетях там
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dubolazik
dubolazik
сообщение 21.2.2015, 19:05; Ответить: dubolazik
Сообщение #8


Мы вот в этой теме достаточно долго обсуждали какой должен быть правильный файл robots.txt. Есть разные версии :D

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 79047 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7641 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2204 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8346 1.3.2017, 3:20
автор: regem
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыВопрос про файл .htacess...(Bitrix)
0 Исо 1610 6.8.2016, 10:34
автор: Исо


 



RSS Текстовая версия Сейчас: 20.4.2024, 1:13
Дизайн