X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Почему google индексирует страницы вида, http://сайт/пост/feed
MeTrA
MeTrA
Topic Starter сообщение 30.7.2012, 0:11; Ответить: MeTrA
Сообщение #1


Участник
***

Группа: User
Сообщений: 240
Регистрация: 14.12.2008
Поблагодарили: 71 раз
Репутация:   11  


Почему google индексирует страницы вида http://сайт/пост/feed, хотя в роботс прописаны правила

Disallow: */feed/
Disallow: */feed
Disallow: */?feed=

Кроме этого, индексирует http://сайт/category/название/page/2, хотя есть правило
Disallow: */page/*

Из-за чего это может быть?

Сообщение отредактировал MeTrA - 30.7.2012, 0:12


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
funkydance
funkydance
сообщение 30.7.2012, 0:40; Ответить: funkydance
Сообщение #2


Старожил
******


Группа: Banned
Сообщений: 1143
Регистрация: 9.10.2011
Поблагодарили: 282 раза
Репутация:   40  


А эти правила для Гугл Бота прописаны?

Если стоит User-agent: Google или * то на ваш вопрос ответит только гугл
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kauak
kauak
сообщение 30.7.2012, 0:48; Ответить: kauak
Сообщение #3


Участник
***

Группа: User
Сообщений: 247
Регистрация: 30.10.2011
Из: Украина
Поблагодарили: 46 раз
Репутация:   17  


Несколько выдержек из справки для вебмастеров от Google:

Файл robots.txt ограничивает доступ роботов, сканирующих Интернет для поисковых систем, к вашему сайту. Перед обращением к страницам сайта эти роботы автоматически ищут файл robots.txt, который запрещает им доступ к определенным страницам.

Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется.

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе.

Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег.


Подробнее тут: http://alaev.info/blog/post/3013

Сообщение отредактировал kauak - 30.7.2012, 0:48


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MeTrA
MeTrA
Topic Starter сообщение 31.7.2012, 15:39; Ответить: MeTrA
Сообщение #4


Участник
***

Группа: User
Сообщений: 240
Регистрация: 14.12.2008
Поблагодарили: 71 раз
Репутация:   11  


(funkydance @ 30.7.2012, 2:40) *
Если стоит User-agent: Google или * то на ваш вопрос ответит только гугл

Да для google это прописано в роботс.
Нашел в шаблоне темы, закоментированные строчки RSS ленты комментариев, вида http://сайт/пост/feed, может он их индексировал. Но повторюсь они были закоментированы.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
contentforsites
contentforsites
сообщение 1.8.2012, 11:48; Ответить: contentforsites
Сообщение #5


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 1.8.2012
Поблагодарили: 3 раза
Репутация:   0  


Потому, что robots.txt не всегда помогает sad.gif. У самого как-то был подобный случай, только с Яндексом, когда он по каким-то причинам начал индексировать запрещённый в роботсе контент. Когда удалось пробиться в поддержку, ответили, что глюк. Потом страницы пропали.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Услуги контекстной рекламы: Яндекс Директ и Google Adwords
создание и оптимизация рекламных кампаний
3 mvchansas 557 Вчера, 11:19
автор: mvchansas
Открытая тема (нет новых ответов) Настройка, оптимизация и введение Google AdWords и Яндекс.Директ
mkcontext.com
12 mkcontext 2626 24.5.2018, 19:33
автор: mkcontext
Горячая тема (нет новых ответов) Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+
83 m1ntoll 23472 24.5.2018, 10:25
автор: m1ntoll
Открытая тема (нет новых ответов) Почему разнообразие на сайте вредит проекту?
24 Kiloan_Frost 1566 24.5.2018, 0:48
автор: Kiloan_Frost
Горячая тема (нет новых ответов) Крупные новостные (СМИ) площадки, Яндекс Новости, Google News, анонсы, хорошая посещаемость.
45 NastyaLanPR 16805 23.5.2018, 11:49
автор: NastyaLanPR


 



RSS Текстовая версия Сейчас: 26.5.2018, 9:12
Дизайн