X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt после апа от 19.07, на всех сайтах проблемы с главной
infovend
infovend
Topic Starter сообщение 19.7.2011, 10:50; Ответить: infovend
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


Итак коллеги.

До сегодняшнего апа все было путем, хоть и имеем в плюсе по индексу так и по бэкам, но неясности остались

в вебмастере на парочке сайтов вывалилось

1. Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим .
2. Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt .

на первом сайте Allow: /
стояло после Disallow некоторых каталогов но перед host

на втором сайте вообще в роботс ничего небыло прописано кроме host - и это при том что по сей день все нормально было.
Есть сильное подозрение что связано это с проблемами мегафона и в срочном порядке яшкинцы проверили алгоритмы парсинга этого файла
и внесли корректировки.
Может кто-то тоже напоролся?


В догонку:

В вебмастере делаю проверить robots.txt, а он грузит совершенно какой-то бред. В моем файле иные строки.
Вот что грузит по второму сайту:
User-agent: *
Disallow: /

#test


а должен:

User-agent: *
Allow: /*sitemap
Allow: /
Host: ********.ru
Sitemap: http://********ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100


По первому сайту грешу на последовательность директив.

Сообщение отредактировал infovend - 19.7.2011, 10:56


--------------------
вендинг - бизнес с торговыми автоматами
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ice10
ice10
сообщение 19.7.2011, 13:07; Ответить: ice10
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 276
Регистрация: 13.1.2010
Из: a17c74
Поблагодарили: 89 раз
Репутация:   7  


Пишите Платонам, другого посоветовать не могу, Яндекс тоже ошибается


--------------------
ушел в себя
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 14:01; Ответить: infovend
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


еще бы кто подсказал куда писать? smile.gif
никогда не писал. А так сайты по сути пустышки. роботс на первом сделан в соответствии гуру форумчан smf.
гугль нормально все кажет и переверивает.
я подожду еще апа. думаю косяк. в поисковой выдаче главная есть и даже в топах.

просто возник вопрос что есть - Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим .
Вот я этого понять не могу. Главная страница не является каноническим. главная в этом случае морда форума.


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 19.7.2011, 14:09; Ответить: install
Сообщение #4


Яндекс ЛОХ
*******


Группа: Active User
Сообщений: 3530
Регистрация: 28.5.2009
Из: Нижневартовска
Поблагодарили: 1376 раз
Репутация:   201  


У меня и до апа 19.07 вобще индексирует профили пользователей, хотя в роботсе они запрещены.
При добавлении профиля в адурилку пишет что адрес запрещен к индексации в роботсе.
Бред полный.

Еще одно доказательство, что Яндекс полный неадыкват и все у них работает через Ж.

ТС, попробуйте написать в ТП, в панельке вебмастера есть справа пункт.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.7.2011, 14:13; Ответить: liveman
Сообщение #5


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(infovend @ 19.7.2011, 14:01) *
еще бы кто подсказал куда писать? smile.gif

http://feedback.yandex.ru/?from=webmaster

По поводу Вашего роботса:



Развернуть/Свернуть



User-agent: *
Allow: /*sitemap
Allow: /
Host: ********.ru
Sitemap: http://********ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100






правильнее будет так:

User-agent: Yandex
Allow: /
Host: ********.ru
User-agent: Slurp
Crawl-delay: 100
User-agent: *
Allow: /
Sitemap: http://********ru/sitemap.xml


Директива "Host" предназначена только для Яши и "Allow: /*sitemap" не нужен, шагом ниже ("Allow: /") Вы указываете, что индексировать все

Сообщение отредактировал liveman - 19.7.2011, 14:19
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 14:28; Ответить: infovend
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


Спасибо, да я знаю. это просто микро сайтик визитка из 10 страничек. причем не мой просто разместил у себя своего коллеги. Особой ценности не представялет
уже так и сделал как увидел.
просто странно что за год ничего подобного не было. по фидбэку спасиб.


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
skyangel
skyangel
сообщение 19.7.2011, 15:54; Ответить: skyangel
Сообщение #7


Участник
***

Группа: User
Сообщений: 198
Регистрация: 25.5.2010
Из: Запорожье, Украина
Поблагодарили: 36 раз
Репутация:   10  


Если выдает вместо одного robots.txt другой robots.txt то проблема не в яндексе а в сервере (хостинге), недавно была похожая проблема сервер выдавал файлы (в том числе и роботс) других сайтов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 16:21; Ответить: infovend
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


у меня свой сервак. smile.gif я сам себе хост, да и сразу проверил. выдает что надо. гугль же нормально засасывает и ничего, не подавился, до неадвнего апа все было путем, а вот после сегодняшнего вдруг стало так smile.gif

Но вопрос открыт, что имел ввиду яша под вот этим сообщением "Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим ." ?

Сообщение отредактировал infovend - 19.7.2011, 16:21


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.7.2011, 16:32; Ответить: liveman
Сообщение #9


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(infovend @ 19.7.2011, 16:21) *
Но вопрос открыт, что имел ввиду яша под вот этим сообщением "Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим ." ?


Раз - http://help.yandex.ru/webmaster/?id=995304

Два - http://help.yandex.ru/webmaster/?id=1111858

Проверяйте дубли страниц на закрытие в роботсе и атрибут rel="canonical" в ссылках


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 19.7.2011, 16:45; Ответить: anchous
Сообщение #10


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 7997
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4520 раз
Репутация:   418  


ну вообще директива аллоу ошибочна уже хз знает какое количество времени..
её вообще не надо употреблять, а просто ставить
Disallow:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47488 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 510 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1191 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Российские компании не переводят криптовалюту в рубли после ICO из-за незаконности таких операций
0 MissContent 431 11.9.2017, 15:45
автор: MissContent
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty


 



RSS Текстовая версия Сейчас: 15.12.2017, 13:02
Дизайн