X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Кнопка Google +1 игнорирует файл robots.txt
anali70
anali70
Topic Starter сообщение 15.8.2011, 10:57; Ответить: anali70
Сообщение #1


Частый гость
**

Группа: Banned
Сообщений: 60
Регистрация: 9.8.2011
Поблагодарили: 13 раз
Репутация:   -4  


На западном форуме для вебмастеров Google Webmaster Help один из пользователей поднял вопрос о взаимодействии кнопки Google +1 и файла robots.txt.

Он поинтересовался, следует ли кнопка директивам для робота Google. Если роботу запрещено обходить какой-то контент, а при этом пользователь Google нажал на +1, одобряя контент данной страницы, индексируется ли этот контент поисковиком?

Вопрос не праздный, особенно в свете прошедшей недавно в рунете череды случаев утечки персональной информации пользователей в поисковые системы. Напомним, основной удар пришелся на Яндекс как самую популярную систему рунета. Яндекс также признал, что утечки могли происходить в ряде случаев с участием счетчика Я.Метрика, который действовал подобно кнопке +1, обсуждаемой сейчас в западном сообществе вебмастеров. Метрика узнавала о страницах, на которые обычным путем роботы попасть не могут, благодаря тому, что на них заходили пользователи (например, генерируемые со сложным урлом страницы в интернет-магазинах, на которые пользователь переходит только со своего email). Затем Метрика передавала информацию о страницах основному индексу, а поскольку эти страницы не были специально запрещены для индексации в файле robots.txt, дальше они оказывались уже в общедоступной выдаче.

По поводу кнопки Google+1 представитель компании Дженни Мерфи ответила, что кнопка +1 взаимодействует с robots.txt и другими директивами для роботов интересным образом.

«Поскольку кнопка +1 может применяться не только для открытых страниц, мы можем посетить страницу в момент клика по кнопке, чтобы определить, является ли она публичной. Эта проверка игнорирует директивы для роботов. Однако это не влияет на поведение поисковых роботов Google и на то, как они взаимодействуют с файлом robots.txt»,


- пояснила Мерфи.
На словах все это выглядит очень логично: все что запрещено в robots.txt, останется недоступно для общего индекса. Однако, как мы убедились на примере рунета, далеко не всегда конфиденциальные страницы оказываются скрыты от индексации (вебмастера тоже люди и тоже ошибаются), а растущее количество различных счетчиков и кнопок, которые получают информацию о посещенных пользователем страницах, на сайтах постоянно увеличивается.


Поблагодарили: (1)
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TIgor
TIgor
сообщение 16.8.2011, 1:27; Ответить: TIgor
Сообщение #2


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 15.8.2011
Поблагодарили: 3 раза
Репутация:   1  


(anali70 @ 15.8.2011, 9:57) *
На западном форуме для вебмастеров Google Webmaster Help один из пользователей поднял вопрос о взаимодействии кнопки Google +1 и файла robots.txt.


Гугл и без кнопки игнорирует robots.txt

Вот например есть строчка
Disallow: */feed/
Проверяем любую ссылку в webmaster tools. Пишет никак нельзя, начяльника, запрещено в роботс.тхт.
Кастуем выдачу. Вуаля сотни запрещенных страниц в выдаче.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Webliberty
Webliberty
сообщение 12.9.2011, 11:39; Ответить: Webliberty
Сообщение #3


Новичок
*

Группа: User
Сообщений: 45
Регистрация: 12.12.2010
Из: Вологда
Поблагодарили: 14 раз
Репутация:   2  


(TIgor @ 16.8.2011, 1:27) *
Гугл и без кнопки игнорирует robots.txt

Вот например есть строчка
Disallow: */feed/
Проверяем любую ссылку в webmaster tools. Пишет никак нельзя, начяльника, запрещено в роботс.тхт.
Кастуем выдачу. Вуаля сотни запрещенных страниц в выдаче.

вот уж точно, несколько раз я спрашивал на справочном форуме гугла почему так происходит, ответ один: роботс не является обязательным к применению и носит рекомендательный характер.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Рэшад
Рэшад
сообщение 12.9.2011, 11:42; Ответить: Рэшад
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 734
Регистрация: 28.9.2009
Из: Бендеры
Поблагодарили: 255 раз
Репутация:   51  


для удаления ненужных страниц, обязательное условие которых, закрытие в robots.txt осуществляется через вебмастер инструменты раздел "Сканирование сайта", вкладка "Удаление URL", другой альтернативы пока нету


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Seomozov
Seomozov
сообщение 12.9.2011, 13:48; Ответить: Seomozov
Сообщение #5


Новичок
*

Группа: User
Сообщений: 17
Регистрация: 5.9.2011
Из: Минск
Поблагодарили: 2 раза
Репутация:   1  


anali70, спасибо за интересную инфу wink.gif


--------------------
Google only >:-]
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Как заставить Google любить тебя?
Хочу роста трафа из Гугла : ))
72 Aslan88 16149 Вчера, 21:02
автор: alexandrrr
Горячая тема (нет новых ответов) Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+
52 m1ntoll 16652 9.12.2017, 10:20
автор: m1ntoll
Открытая тема (нет новых ответов) Google запустил инструмент для переноса кампаний из Директа в AdWords
6 jack 1432 8.12.2017, 12:05
автор: Pavel85
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлы10 факторов не влияющих на ранжирование в Google
21 DrMax 2718 8.12.2017, 10:42
автор: genjnat
Открытая тема (нет новых ответов) Надежные аккаунты Google AdWords без НДС.
AdWords без НДС которые не банят.
1 DerianFox 754 8.12.2017, 6:36
автор: DerianFox


 



RSS Текстовая версия Сейчас: 12.12.2017, 2:52
Дизайн