X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt после апа от 19.07, на всех сайтах проблемы с главной
infovend
infovend
Topic Starter сообщение 19.7.2011, 10:50; Ответить: infovend
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


Итак коллеги.

До сегодняшнего апа все было путем, хоть и имеем в плюсе по индексу так и по бэкам, но неясности остались

в вебмастере на парочке сайтов вывалилось

1. Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим .
2. Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt .

на первом сайте Allow: /
стояло после Disallow некоторых каталогов но перед host

на втором сайте вообще в роботс ничего небыло прописано кроме host - и это при том что по сей день все нормально было.
Есть сильное подозрение что связано это с проблемами мегафона и в срочном порядке яшкинцы проверили алгоритмы парсинга этого файла
и внесли корректировки.
Может кто-то тоже напоролся?


В догонку:

В вебмастере делаю проверить robots.txt, а он грузит совершенно какой-то бред. В моем файле иные строки.
Вот что грузит по второму сайту:
User-agent: *
Disallow: /

#test


а должен:

User-agent: *
Allow: /*sitemap
Allow: /
Host: ********.ru
Sitemap: http://********ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100


По первому сайту грешу на последовательность директив.

Сообщение отредактировал infovend - 19.7.2011, 10:56


--------------------
вендинг - бизнес с торговыми автоматами
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ice10
ice10
сообщение 19.7.2011, 13:07; Ответить: ice10
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 276
Регистрация: 13.1.2010
Из: a17c74
Поблагодарили: 89 раз
Репутация:   7  


Пишите Платонам, другого посоветовать не могу, Яндекс тоже ошибается


--------------------
ушел в себя
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 14:01; Ответить: infovend
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


еще бы кто подсказал куда писать? smile.gif
никогда не писал. А так сайты по сути пустышки. роботс на первом сделан в соответствии гуру форумчан smf.
гугль нормально все кажет и переверивает.
я подожду еще апа. думаю косяк. в поисковой выдаче главная есть и даже в топах.

просто возник вопрос что есть - Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим .
Вот я этого понять не могу. Главная страница не является каноническим. главная в этом случае морда форума.


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 19.7.2011, 14:09; Ответить: install
Сообщение #4


Яндекс ЛОХ
*******


Группа: Active User
Сообщений: 3530
Регистрация: 28.5.2009
Из: Нижневартовска
Поблагодарили: 1377 раз
Репутация:   201  


У меня и до апа 19.07 вобще индексирует профили пользователей, хотя в роботсе они запрещены.
При добавлении профиля в адурилку пишет что адрес запрещен к индексации в роботсе.
Бред полный.

Еще одно доказательство, что Яндекс полный неадыкват и все у них работает через Ж.

ТС, попробуйте написать в ТП, в панельке вебмастера есть справа пункт.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.7.2011, 14:13; Ответить: liveman
Сообщение #5


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(infovend @ 19.7.2011, 14:01) *
еще бы кто подсказал куда писать? smile.gif

http://feedback.yandex.ru/?from=webmaster

По поводу Вашего роботса:



Развернуть/Свернуть



User-agent: *
Allow: /*sitemap
Allow: /
Host: ********.ru
Sitemap: http://********ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100






правильнее будет так:

User-agent: Yandex
Allow: /
Host: ********.ru
User-agent: Slurp
Crawl-delay: 100
User-agent: *
Allow: /
Sitemap: http://********ru/sitemap.xml


Директива "Host" предназначена только для Яши и "Allow: /*sitemap" не нужен, шагом ниже ("Allow: /") Вы указываете, что индексировать все

Сообщение отредактировал liveman - 19.7.2011, 14:19
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 14:28; Ответить: infovend
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


Спасибо, да я знаю. это просто микро сайтик визитка из 10 страничек. причем не мой просто разместил у себя своего коллеги. Особой ценности не представялет
уже так и сделал как увидел.
просто странно что за год ничего подобного не было. по фидбэку спасиб.


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
skyangel
skyangel
сообщение 19.7.2011, 15:54; Ответить: skyangel
Сообщение #7


Участник
***

Группа: User
Сообщений: 198
Регистрация: 25.5.2010
Из: Запорожье, Украина
Поблагодарили: 36 раз
Репутация:   10  


Если выдает вместо одного robots.txt другой robots.txt то проблема не в яндексе а в сервере (хостинге), недавно была похожая проблема сервер выдавал файлы (в том числе и роботс) других сайтов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 16:21; Ответить: infovend
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 85
Регистрация: 2.10.2009
Поблагодарили: 5 раз
Репутация:   2  


у меня свой сервак. smile.gif я сам себе хост, да и сразу проверил. выдает что надо. гугль же нормально засасывает и ничего, не подавился, до неадвнего апа все было путем, а вот после сегодняшнего вдруг стало так smile.gif

Но вопрос открыт, что имел ввиду яша под вот этим сообщением "Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим ." ?

Сообщение отредактировал infovend - 19.7.2011, 16:21


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.7.2011, 16:32; Ответить: liveman
Сообщение #9


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(infovend @ 19.7.2011, 16:21) *
Но вопрос открыт, что имел ввиду яша под вот этим сообщением "Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим ." ?


Раз - http://help.yandex.ru/webmaster/?id=995304

Два - http://help.yandex.ru/webmaster/?id=1111858

Проверяйте дубли страниц на закрытие в роботсе и атрибут rel="canonical" в ссылках


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 19.7.2011, 16:45; Ответить: anchous
Сообщение #10


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 8173
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4630 раз
Репутация:   426  


ну вообще директива аллоу ошибочна уже хз знает какое количество времени..
её вообще не надо употреблять, а просто ставить
Disallow:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ваши первые действия после создания сайта
представьте что вы создали новый сайт
7 HavingingWorld 370 Вчера, 1:25
автор: indexphp
Открытая тема (нет новых ответов) Что делать сразу после запуска нового сайта: рекомендации + интересный кейс
alexeytrudov.com - персональный блог SEO-аналитика
4 Luden 1873 8.5.2018, 20:55
автор: ElviraP
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49790 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Падение трафа из Яндекса после АПа 30-31.01
на многих сайтах, какие мысли...?
16 4ester7 3807 4.4.2018, 12:01
автор: olesyadesign2015
Открытая тема (нет новых ответов) Правильный robots.txt для datalife engine какой он?
4 cerrus 824 24.3.2018, 18:17
автор: bobur


 



RSS Текстовая версия Сейчас: 22.5.2018, 10:37
Дизайн