X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Файл robots.txt, Проблема с файлом robots.txt
FIvYur
FIvYur
Topic Starter сообщение 9.2.2015, 11:27; Ответить: FIvYur
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 60
Регистрация: 4.5.2011
Из: Беларусь
Поблагодарили: 4 раза
Репутация:   2  


Друзья, нужен совет. На блоге длительное время вот такой файл robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: catblogger.ru
Sitemap: _http://*****************/sitemap.xml.gz
Sitemap: _http://*****************/sitemap.xml

И было нормально. Но вот сегодня:

09.02.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.

Подскажите кто знает. Что не так? Что делать?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 9.2.2015, 11:44; Ответить: Risk
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 804
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


Sitemap: _http://*****************/sitemap.xml.gz
Sitemap: _http://*****************/sitemap.xml
что за_ ? и зачем в формате .gz? может от этого?
и зачем закрываешь домен, если показал домен все равно
Цитата(FIvYur @ 9.2.2015, 11:27) *
Host: catblogger.ru

а так зайди https://webmaster.yandex.ru/site/robots.xml?
и жмакай кнопку "проверить"
ну и читай ошибки там будет написано все


Сообщение отредактировал Risk - 9.2.2015, 11:46
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FIvYur
FIvYur
Topic Starter сообщение 9.2.2015, 11:55; Ответить: FIvYur
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 60
Регистрация: 4.5.2011
Из: Беларусь
Поблагодарили: 4 раза
Репутация:   2  


Risk, проверил.
Показывает вот:

Используемые секции
16-32
User-agent: Yandex
Disallow: /cgi-bin
...
Sitemap: _http://catblogger.ru/sitemap.xml



Сообщение отредактировал FIvYur - 9.2.2015, 11:56


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Risk
Risk
сообщение 9.2.2015, 14:40; Ответить: Risk
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 804
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


ns
Цитата(FIvYur @ 9.2.2015, 11:55) *
Sitemap: _http://catblogger.ru/sitemap.xml

в роботсе тоже _ префикс стоит такой?
если да то убери, а если нет, то скорее всего сбой системы и все станет прежним
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Infacto
Infacto
сообщение 9.2.2015, 14:53; Ответить: Infacto
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 997
Регистрация: 19.9.2011
Из: www
Поблагодарили: 398 раз
Репутация:   86  


Да тут сбой яндекса. У меня сайт год был в индексе с 300 страницами, позже рубануло до 100, зашел в ЯВМ а там такая же беда как и у вас, хотя ничего не менялось.

После делал 4 новых сайта, роботс везде одинаковый. 3 нормально начали индексироваться, а вот последний не как не хочет и в ЯВМ :
Цитата
02.02.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt.

После удалил вообще роботс, пишет уже что скоро будет индексироваться.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 9.2.2015, 14:55; Ответить: rom_4
Сообщение #6


трафа много не бывает
******

Группа: Active User
Сообщений: 1466
Регистрация: 9.7.2010
Из: Россия
Поблагодарили: 562 раза
Репутация:   62  


FIvYur, я вообще не понял зачем для яндекса User-agent прописал. У вас все одинаково. Сделайте такой User-agent и все будет ок:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: catblogger.ru

Sitemap: _http://*****************/sitemap.xml


Между Host и Sitemap: пробел


--------------------
Зарабатываю тут, тут и тут


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
0alex1
0alex1
сообщение 9.2.2015, 15:59; Ответить: 0alex1
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1280
Регистрация: 8.7.2010
Поблагодарили: 418 раз
Репутация:   62  


http://wmr1000.ru/wordpress/kak-sozdat-pra...ress-primer.htm
Здесь достаточно подробно описано с примерами, может поможет решить вопрос.


--------------------
Взять Кредит Webmoney тут
Лучшие биржи ссылок wmr1000 - Заработок в соц. сетях там
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dubolazik
dubolazik
сообщение 21.2.2015, 19:05; Ответить: dubolazik
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 50
Регистрация: 25.4.2013
Из: Харьков, Украина
Поблагодарили: 10 раз
Репутация:   3  


Мы вот в этой теме достаточно долго обсуждали какой должен быть правильный файл robots.txt. Есть разные версии :D

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49835 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Правильный robots.txt для datalife engine какой он?
4 cerrus 833 24.3.2018, 18:17
автор: bobur
Открытая тема (нет новых ответов) Повредился файл кошелька с криптовалютой
4 Webranger 1011 1.3.2018, 19:43
автор: Webranger
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 752 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 761 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 26.5.2018, 8:49
Дизайн