X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Гугл игнорирует файл robots.txt, Как бороться?
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:17; Ответить: shurche
Сообщение #1


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


Здравствуйте уважаемые оптимизаторы. Кто сталкивался с ситуацией, когда Гугл индексирует комментарии и фиды (движок Вордпресс), закрытые в robots.txt и отправляет их в сопли? Бар и сервисы показывают 600 проиндексированных страниц, из которых 150 статей, а все остальное комментарии и фиды (в соплях). Как с этим бороться, кроме ручного удаления через Гуглвебмастер? По Яндексу таких проблем нет. Может в robots.txt создать запись отдельно под Гуглбот? Как правильно в robots.txt закрыть страницу с комментариями вида: сайт.com/remont/pol/suxaya-styazhka-pola.html?replytocom=371 (после слеша ясно, а вот вида .html не совсем понятно)
Спасибо за советы.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 15.1.2012, 1:20; Ответить: Fallup
Сообщение #2


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


Проверь кодировку файла robots


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:27; Ответить: shurche
Сообщение #3


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


(Fallup @ 15.1.2012, 0:20) *
Проверь кодировку файла robots


Обычный txt файл. Яндекс то все понимает. Или сам txt файл нужно сохранить в UTF8 и перезалить на хостинг? (По ходу по умолчанию в ANSI он создается)?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 15.1.2012, 1:27; Ответить: anchous
Сообщение #4


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 7996
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4515 раз
Репутация:   418  


угу.. есть такая тема на сайте с 5к страниц по гуглю и 1400 в основной выдаче..
более того изначально их было 3200, когда понял что он наиндексил много того чего не надо было, прописал в роботсе что не надо индексить пейджи и прочее, после чего гугль сказал "так точно" и увеличил сопли еще на 1300 страниц.

причем запустил 5 новых проектов- на 3х все нормально, на 2х при том же роботе тоже сопли..

для WP пользую связку:
Robots Meta
Google XML Sitemaps

после установки и настройки, гугль месяца полтора ковыряется в носу- в моем случае рандомно нагонял страниц от 500 до 5к, после чего все устаканилось на 1500..
но траф пошел дето со второй недели после внесения изменений.

Сообщение отредактировал anchous - 15.1.2012, 1:30


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 15.1.2012, 1:35; Ответить: hybrid
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:39; Ответить: shurche
Сообщение #6


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


(anchous @ 15.1.2012, 0:27) *
для WP пользую связку:
Robots Meta
Google XML Sitemaps


Прикол в том, что Robots Meta и Google XML Sitemaps настроены, и при расширенной выдаче (или как это там называется?) Бар показывает, что страница не проиндексирована, но при этом она в соплях. Может я чето не доганяю, но почему тогда индексация показывается баром 600/9% (хотя реально на сайте 160 страниц)


(hybrid @ 15.1.2012, 0:35) *
Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера.

Я уже запарился удалять censored.gif

Больше всего меня напрягает то, что на блоге, на котором вообще не настроен robots.txt (User-agent: *Disallow: ) идеальные показатели.

Сообщение отредактировал shurche - 15.1.2012, 1:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Andrjuwka007
Andrjuwka007
сообщение 17.1.2012, 2:18; Ответить: Andrjuwka007
Сообщение #7


Участник
***

Группа: User
Сообщений: 107
Регистрация: 10.9.2011
Поблагодарили: 10 раз
Репутация:   3  


Прошу не в тему, но хотелось бы знать где именно в гугл smile.gif можно посмотреть колличество проиндексированных страниц и где удалять их можно?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Scotty
Scotty
сообщение 17.1.2012, 2:24; Ответить: Scotty
Сообщение #8


Старожил
******

Группа: Active User
Сообщений: 1340
Регистрация: 17.4.2008
Из: Украина
Поблагодарили: 351 раз
Репутация:   86  


Неоднократно встречался с подобной выходкой.
Гугл впереди всех)
Даже сейчас есть форум с 100к индекса Я и около 600к индекса Г. Полезных и открытых в роботс страниц около 80к.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 19.1.2012, 1:53; Ответить: shurche
Сообщение #9


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


(Andrjuwka007 @ 17.1.2012, 1:18) *
Прошу не в тему, но хотелось бы знать где именно в гугл smile.gif можно посмотреть колличество проиндексированных страниц и где удалять их можно?


Смотрите выше, люди же уже написали: через Параметры URL закрыть или удалить вручную через доступ сканера А проверить через RDS Bar или любой сервис.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nonsys
Nonsys
сообщение 24.1.2012, 4:38; Ответить: Nonsys
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 437
Регистрация: 18.1.2012
Из: Украина
Поблагодарили: 279 раз
Репутация:   92  


Иногда гугл просто игнорирует, и ничего не поделаешь
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Увеличение посещаемости сайта (яндекс, гугл, соц сети) - реальные люди
16 SANR 1063 Сегодня, 13:03
автор: kukla
Открытая тема (нет новых ответов) Настройка и ведение ваших кампаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
2 AvramLincoln 476 11.12.2017, 13:18
автор: AvramLincoln
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47450 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 480 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПочему гугл не любит кулинарный сайт?
22 aleggator 2785 10.11.2017, 14:09
автор: Emtec


 



RSS Текстовая версия Сейчас: 13.12.2017, 15:07
Дизайн