X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Файл robots.txt, Проблема с файлом robots.txt
FIvYur
FIvYur
Topic Starter сообщение 9.2.2015, 11:27; Ответить: FIvYur
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 60
Регистрация: 4.5.2011
Из: Беларусь
Поблагодарили: 4 раза
Репутация:   2  


Друзья, нужен совет. На блоге длительное время вот такой файл robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: catblogger.ru
Sitemap: _http://*****************/sitemap.xml.gz
Sitemap: _http://*****************/sitemap.xml

И было нормально. Но вот сегодня:

09.02.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.

Подскажите кто знает. Что не так? Что делать?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 9.2.2015, 11:44; Ответить: Risk
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 802
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


Sitemap: _http://*****************/sitemap.xml.gz
Sitemap: _http://*****************/sitemap.xml
что за_ ? и зачем в формате .gz? может от этого?
и зачем закрываешь домен, если показал домен все равно
Цитата(FIvYur @ 9.2.2015, 11:27) *
Host: catblogger.ru

а так зайди https://webmaster.yandex.ru/site/robots.xml?
и жмакай кнопку "проверить"
ну и читай ошибки там будет написано все


Сообщение отредактировал Risk - 9.2.2015, 11:46
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FIvYur
FIvYur
Topic Starter сообщение 9.2.2015, 11:55; Ответить: FIvYur
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 60
Регистрация: 4.5.2011
Из: Беларусь
Поблагодарили: 4 раза
Репутация:   2  


Risk, проверил.
Показывает вот:

Используемые секции
16-32
User-agent: Yandex
Disallow: /cgi-bin
...
Sitemap: _http://catblogger.ru/sitemap.xml



Сообщение отредактировал FIvYur - 9.2.2015, 11:56


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 9.2.2015, 14:40; Ответить: Risk
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 802
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


ns
Цитата(FIvYur @ 9.2.2015, 11:55) *
Sitemap: _http://catblogger.ru/sitemap.xml

в роботсе тоже _ префикс стоит такой?
если да то убери, а если нет, то скорее всего сбой системы и все станет прежним
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Infacto
Infacto
сообщение 9.2.2015, 14:53; Ответить: Infacto
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 937
Регистрация: 19.9.2011
Из: www
Поблагодарили: 369 раз
Репутация:   79  


Да тут сбой яндекса. У меня сайт год был в индексе с 300 страницами, позже рубануло до 100, зашел в ЯВМ а там такая же беда как и у вас, хотя ничего не менялось.

После делал 4 новых сайта, роботс везде одинаковый. 3 нормально начали индексироваться, а вот последний не как не хочет и в ЯВМ :
Цитата
02.02.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt.

После удалил вообще роботс, пишет уже что скоро будет индексироваться.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 9.2.2015, 14:55; Ответить: rom_4
Сообщение #6


трафа много не бывает
******

Группа: Active User
Сообщений: 1448
Регистрация: 9.7.2010
Из: Россия
Поблагодарили: 551 раз
Репутация:   62  


FIvYur, я вообще не понял зачем для яндекса User-agent прописал. У вас все одинаково. Сделайте такой User-agent и все будет ок:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: catblogger.ru

Sitemap: _http://*****************/sitemap.xml


Между Host и Sitemap: пробел


--------------------
Зарабатываю тут, тут и тут


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
0alex1
0alex1
сообщение 9.2.2015, 15:59; Ответить: 0alex1
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1249
Регистрация: 8.7.2010
Поблагодарили: 412 раз
Репутация:   60  


http://wmr1000.ru/wordpress/kak-sozdat-pra...ress-primer.htm
Здесь достаточно подробно описано с примерами, может поможет решить вопрос.


--------------------
Взять Кредит Webmoney тут
Лучшие биржи ссылок wmr1000 - Хороший хостинг там
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dubolazik
dubolazik
сообщение 21.2.2015, 19:05; Ответить: dubolazik
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 50
Регистрация: 25.4.2013
Из: Харьков, Украина
Поблагодарили: 10 раз
Репутация:   3  


Мы вот в этой теме достаточно долго обсуждали какой должен быть правильный файл robots.txt. Есть разные версии :D


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47418 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 466 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1182 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 618 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 695 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 11.12.2017, 19:46
Дизайн