X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

> Кнопка Google +1 игнорирует файл robots.txt
anali70
anali70
Topic Starter сообщение 15.8.2011, 10:57; Ответить: anali70
Сообщение #1


На западном форуме для вебмастеров Google Webmaster Help один из пользователей поднял вопрос о взаимодействии кнопки Google +1 и файла robots.txt.

Он поинтересовался, следует ли кнопка директивам для робота Google. Если роботу запрещено обходить какой-то контент, а при этом пользователь Google нажал на +1, одобряя контент данной страницы, индексируется ли этот контент поисковиком?

Вопрос не праздный, особенно в свете прошедшей недавно в рунете череды случаев утечки персональной информации пользователей в поисковые системы. Напомним, основной удар пришелся на Яндекс как самую популярную систему рунета. Яндекс также признал, что утечки могли происходить в ряде случаев с участием счетчика Я.Метрика, который действовал подобно кнопке +1, обсуждаемой сейчас в западном сообществе вебмастеров. Метрика узнавала о страницах, на которые обычным путем роботы попасть не могут, благодаря тому, что на них заходили пользователи (например, генерируемые со сложным урлом страницы в интернет-магазинах, на которые пользователь переходит только со своего email). Затем Метрика передавала информацию о страницах основному индексу, а поскольку эти страницы не были специально запрещены для индексации в файле robots.txt, дальше они оказывались уже в общедоступной выдаче.

По поводу кнопки Google+1 представитель компании Дженни Мерфи ответила, что кнопка +1 взаимодействует с robots.txt и другими директивами для роботов интересным образом.

«Поскольку кнопка +1 может применяться не только для открытых страниц, мы можем посетить страницу в момент клика по кнопке, чтобы определить, является ли она публичной. Эта проверка игнорирует директивы для роботов. Однако это не влияет на поведение поисковых роботов Google и на то, как они взаимодействуют с файлом robots.txt»,


- пояснила Мерфи.
На словах все это выглядит очень логично: все что запрещено в robots.txt, останется недоступно для общего индекса. Однако, как мы убедились на примере рунета, далеко не всегда конфиденциальные страницы оказываются скрыты от индексации (вебмастера тоже люди и тоже ошибаются), а растущее количество различных счетчиков и кнопок, которые получают информацию о посещенных пользователем страницах, на сайтах постоянно увеличивается.


Поблагодарили: (1)
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
 
Открыть тему
Ответов (1 - 4)
TIgor
TIgor
сообщение 16.8.2011, 1:27; Ответить: TIgor
Сообщение #2


(anali70 @ 15.8.2011, 9:57) *
На западном форуме для вебмастеров Google Webmaster Help один из пользователей поднял вопрос о взаимодействии кнопки Google +1 и файла robots.txt.


Гугл и без кнопки игнорирует robots.txt

Вот например есть строчка
Disallow: */feed/
Проверяем любую ссылку в webmaster tools. Пишет никак нельзя, начяльника, запрещено в роботс.тхт.
Кастуем выдачу. Вуаля сотни запрещенных страниц в выдаче.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Webliberty
Webliberty
сообщение 12.9.2011, 11:39; Ответить: Webliberty
Сообщение #3


(TIgor @ 16.8.2011, 1:27) *
Гугл и без кнопки игнорирует robots.txt

Вот например есть строчка
Disallow: */feed/
Проверяем любую ссылку в webmaster tools. Пишет никак нельзя, начяльника, запрещено в роботс.тхт.
Кастуем выдачу. Вуаля сотни запрещенных страниц в выдаче.

вот уж точно, несколько раз я спрашивал на справочном форуме гугла почему так происходит, ответ один: роботс не является обязательным к применению и носит рекомендательный характер.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Рэшад
Рэшад
сообщение 12.9.2011, 11:42; Ответить: Рэшад
Сообщение #4


для удаления ненужных страниц, обязательное условие которых, закрытие в robots.txt осуществляется через вебмастер инструменты раздел "Сканирование сайта", вкладка "Удаление URL", другой альтернативы пока нету


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Seomozov
Seomozov
сообщение 12.9.2011, 13:48; Ответить: Seomozov
Сообщение #5


anali70, спасибо за интересную инфу wink.gif

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Google only >:-]
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐
12 Chekon 3821 24.3.2024, 13:56
автор: Chekon
Горячая тема (нет новых ответов) Google запускает новый браузер элементами искусственного интеллекта
38 arendator 13312 21.3.2024, 18:10
автор: Rebex
Открытая тема (нет новых ответов) Сайт не индексируется в Google без добавления ссылок в адурилку
4 Nekit 994 20.3.2024, 21:44
автор: MorKer
Открытая тема (нет новых ответов) Если статья не в индексе Google - она уникальна или нет?
2 uahomka 800 20.3.2024, 11:17
автор: Vmir
Открытая тема (нет новых ответов) Google adwords показывает дробное количество конверсий
0 Megaspryt 712 16.3.2024, 23:19
автор: Megaspryt


 



RSS Текстовая версия Сейчас: 29.3.2024, 17:30
Дизайн