X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Гугл игнорирует файл robots.txt, Как бороться?
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:17; Ответить: shurche
Сообщение #1


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


Здравствуйте уважаемые оптимизаторы. Кто сталкивался с ситуацией, когда Гугл индексирует комментарии и фиды (движок Вордпресс), закрытые в robots.txt и отправляет их в сопли? Бар и сервисы показывают 600 проиндексированных страниц, из которых 150 статей, а все остальное комментарии и фиды (в соплях). Как с этим бороться, кроме ручного удаления через Гуглвебмастер? По Яндексу таких проблем нет. Может в robots.txt создать запись отдельно под Гуглбот? Как правильно в robots.txt закрыть страницу с комментариями вида: сайт.com/remont/pol/suxaya-styazhka-pola.html?replytocom=371 (после слеша ясно, а вот вида .html не совсем понятно)
Спасибо за советы.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 15.1.2012, 1:20; Ответить: Fallup
Сообщение #2


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


Проверь кодировку файла robots


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:27; Ответить: shurche
Сообщение #3


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


(Fallup @ 15.1.2012, 0:20) *
Проверь кодировку файла robots


Обычный txt файл. Яндекс то все понимает. Или сам txt файл нужно сохранить в UTF8 и перезалить на хостинг? (По ходу по умолчанию в ANSI он создается)?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 15.1.2012, 1:27; Ответить: anchous
Сообщение #4


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 8176
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4632 раза
Репутация:   426  


угу.. есть такая тема на сайте с 5к страниц по гуглю и 1400 в основной выдаче..
более того изначально их было 3200, когда понял что он наиндексил много того чего не надо было, прописал в роботсе что не надо индексить пейджи и прочее, после чего гугль сказал "так точно" и увеличил сопли еще на 1300 страниц.

причем запустил 5 новых проектов- на 3х все нормально, на 2х при том же роботе тоже сопли..

для WP пользую связку:
Robots Meta
Google XML Sitemaps

после установки и настройки, гугль месяца полтора ковыряется в носу- в моем случае рандомно нагонял страниц от 500 до 5к, после чего все устаканилось на 1500..
но траф пошел дето со второй недели после внесения изменений.

Сообщение отредактировал anchous - 15.1.2012, 1:30


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 15.1.2012, 1:35; Ответить: hybrid
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:39; Ответить: shurche
Сообщение #6


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


(anchous @ 15.1.2012, 0:27) *
для WP пользую связку:
Robots Meta
Google XML Sitemaps


Прикол в том, что Robots Meta и Google XML Sitemaps настроены, и при расширенной выдаче (или как это там называется?) Бар показывает, что страница не проиндексирована, но при этом она в соплях. Может я чето не доганяю, но почему тогда индексация показывается баром 600/9% (хотя реально на сайте 160 страниц)


(hybrid @ 15.1.2012, 0:35) *
Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера.

Я уже запарился удалять censored.gif

Больше всего меня напрягает то, что на блоге, на котором вообще не настроен robots.txt (User-agent: *Disallow: ) идеальные показатели.

Сообщение отредактировал shurche - 15.1.2012, 1:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Andrjuwka007
Andrjuwka007
сообщение 17.1.2012, 2:18; Ответить: Andrjuwka007
Сообщение #7


Участник
***

Группа: User
Сообщений: 107
Регистрация: 10.9.2011
Поблагодарили: 10 раз
Репутация:   3  


Прошу не в тему, но хотелось бы знать где именно в гугл smile.gif можно посмотреть колличество проиндексированных страниц и где удалять их можно?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Scotty
Scotty
сообщение 17.1.2012, 2:24; Ответить: Scotty
Сообщение #8


Старожил
******

Группа: Active User
Сообщений: 1340
Регистрация: 17.4.2008
Из: Украина
Поблагодарили: 351 раз
Репутация:   86  


Неоднократно встречался с подобной выходкой.
Гугл впереди всех)
Даже сейчас есть форум с 100к индекса Я и около 600к индекса Г. Полезных и открытых в роботс страниц около 80к.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 19.1.2012, 1:53; Ответить: shurche
Сообщение #9


Участник
***

Группа: User
Сообщений: 204
Регистрация: 12.5.2011
Из: Украина, Запорожье
Поблагодарили: 11 раз
Репутация:   0  


(Andrjuwka007 @ 17.1.2012, 1:18) *
Прошу не в тему, но хотелось бы знать где именно в гугл smile.gif можно посмотреть колличество проиндексированных страниц и где удалять их можно?


Смотрите выше, люди же уже написали: через Параметры URL закрыть или удалить вручную через доступ сканера А проверить через RDS Bar или любой сервис.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nonsys
Nonsys
сообщение 24.1.2012, 4:38; Ответить: Nonsys
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 460
Регистрация: 18.1.2012
Из: Украина
Поблагодарили: 280 раз
Репутация:   93  


Иногда гугл просто игнорирует, и ничего не поделаешь

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Настройка и ведение ваших компаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
8 AvramLincoln 1228 22.5.2018, 17:56
автор: AvramLincoln
Открытая тема (нет новых ответов) Инстаграм без гугл-аккаунта
смартфон, к слову, тоже
0 alxpn 386 18.5.2018, 19:53
автор: alxpn
Открытая тема (нет новых ответов) Увеличение посещаемости сайта (яндекс, гугл, соц сети) - реальные люди
26 SANR 9455 17.5.2018, 19:31
автор: avega
Открытая тема (нет новых ответов) Промо код Гугл Эдвордс 2000 рублей
Может кому то будет нужен
11 alllffa 3078 3.5.2018, 9:24
автор: novicius
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49828 28.4.2018, 1:36
автор: Akira


 



RSS Текстовая версия Сейчас: 25.5.2018, 18:58
Дизайн