X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt после апа от 19.07, на всех сайтах проблемы с главной
infovend
infovend
Topic Starter сообщение 19.7.2011, 10:50; Ответить: infovend
Сообщение #1


Итак коллеги.

До сегодняшнего апа все было путем, хоть и имеем в плюсе по индексу так и по бэкам, но неясности остались

в вебмастере на парочке сайтов вывалилось

1. Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим .
2. Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt .

на первом сайте Allow: /
стояло после Disallow некоторых каталогов но перед host

на втором сайте вообще в роботс ничего небыло прописано кроме host - и это при том что по сей день все нормально было.
Есть сильное подозрение что связано это с проблемами мегафона и в срочном порядке яшкинцы проверили алгоритмы парсинга этого файла
и внесли корректировки.
Может кто-то тоже напоролся?


В догонку:

В вебмастере делаю проверить robots.txt, а он грузит совершенно какой-то бред. В моем файле иные строки.
Вот что грузит по второму сайту:
User-agent: *
Disallow: /

#test


а должен:

User-agent: *
Allow: /*sitemap
Allow: /
Host: ********.ru
Sitemap: http://********ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100


По первому сайту грешу на последовательность директив.

Сообщение отредактировал infovend - 19.7.2011, 10:56


--------------------
вендинг - бизнес с торговыми автоматами
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ice10
ice10
сообщение 19.7.2011, 13:07; Ответить: ice10
Сообщение #2


Пишите Платонам, другого посоветовать не могу, Яндекс тоже ошибается


--------------------
ушел в себя
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 14:01; Ответить: infovend
Сообщение #3


еще бы кто подсказал куда писать? smile.gif
никогда не писал. А так сайты по сути пустышки. роботс на первом сделан в соответствии гуру форумчан smf.
гугль нормально все кажет и переверивает.
я подожду еще апа. думаю косяк. в поисковой выдаче главная есть и даже в топах.

просто возник вопрос что есть - Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим .
Вот я этого понять не могу. Главная страница не является каноническим. главная в этом случае морда форума.


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 19.7.2011, 14:09; Ответить: install
Сообщение #4


У меня и до апа 19.07 вобще индексирует профили пользователей, хотя в роботсе они запрещены.
При добавлении профиля в адурилку пишет что адрес запрещен к индексации в роботсе.
Бред полный.

Еще одно доказательство, что Яндекс полный неадыкват и все у них работает через Ж.

ТС, попробуйте написать в ТП, в панельке вебмастера есть справа пункт.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.7.2011, 14:13; Ответить: liveman
Сообщение #5


(infovend @ 19.7.2011, 14:01) *
еще бы кто подсказал куда писать? smile.gif

http://feedback.yandex.ru/?from=webmaster

По поводу Вашего роботса:



Развернуть/Свернуть



User-agent: *
Allow: /*sitemap
Allow: /
Host: ********.ru
Sitemap: http://********ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100






правильнее будет так:

User-agent: Yandex
Allow: /
Host: ********.ru
User-agent: Slurp
Crawl-delay: 100
User-agent: *
Allow: /
Sitemap: http://********ru/sitemap.xml


Директива "Host" предназначена только для Яши и "Allow: /*sitemap" не нужен, шагом ниже ("Allow: /") Вы указываете, что индексировать все

Сообщение отредактировал liveman - 19.7.2011, 14:19
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 14:28; Ответить: infovend
Сообщение #6


Спасибо, да я знаю. это просто микро сайтик визитка из 10 страничек. причем не мой просто разместил у себя своего коллеги. Особой ценности не представялет
уже так и сделал как увидел.
просто странно что за год ничего подобного не было. по фидбэку спасиб.


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
skyangel
skyangel
сообщение 19.7.2011, 15:54; Ответить: skyangel
Сообщение #7


Если выдает вместо одного robots.txt другой robots.txt то проблема не в яндексе а в сервере (хостинге), недавно была похожая проблема сервер выдавал файлы (в том числе и роботс) других сайтов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
infovend
infovend
Topic Starter сообщение 19.7.2011, 16:21; Ответить: infovend
Сообщение #8


у меня свой сервак. smile.gif я сам себе хост, да и сразу проверил. выдает что надо. гугль же нормально засасывает и ничего, не подавился, до неадвнего апа все было путем, а вот после сегодняшнего вдруг стало так smile.gif

Но вопрос открыт, что имел ввиду яша под вот этим сообщением "Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим ." ?

Сообщение отредактировал infovend - 19.7.2011, 16:21


--------------------
вендинг - бизнес с торговыми автоматами
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 19.7.2011, 16:32; Ответить: liveman
Сообщение #9


(infovend @ 19.7.2011, 16:21) *
Но вопрос открыт, что имел ввиду яша под вот этим сообщением "Внимание! Главная страница сайта исключена из индекса: Документ не является каноническим ." ?


Раз - http://help.yandex.ru/webmaster/?id=995304

Два - http://help.yandex.ru/webmaster/?id=1111858

Проверяйте дубли страниц на закрытие в роботсе и атрибут rel="canonical" в ссылках


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 19.7.2011, 16:45; Ответить: anchous
Сообщение #10


ну вообще директива аллоу ошибочна уже хз знает какое количество времени..
её вообще не надо употреблять, а просто ставить
Disallow:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужен кодер, чтобы пофиксить ошибку Wordpress после переноса сайта
0 Alex-777 866 7.4.2024, 18:05
автор: Alex-777
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыСостояние после ампутации - нужна помощь
благотворительный топик
49 vitvirtual 5876 1.4.2024, 5:23
автор: vitvirtual
Горячая тема (нет новых ответов) Исчезающие фрилансеры после предоплаты. Зачем? Какой смысл?
36 metvekot 9583 31.3.2024, 1:01
автор: Liudmila
Открытая тема (нет новых ответов) После обновления all in one seo pack пропал keywords?
16 pozitron123 3537 24.2.2021, 15:13
автор: kozak199110
Открытая тема (нет новых ответов) После переноса сайт на DLE перестал корректно работать
Ищу того, кто может помочь заново все верно настроить
6 mr_LasVegas 2000 20.7.2020, 20:52
автор: asd4


 



RSS Текстовая версия Сейчас: 20.4.2024, 6:12
Дизайн