X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Гугл игнорирует файл robots.txt, Как бороться?
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:17; Ответить: shurche
Сообщение #1


Здравствуйте уважаемые оптимизаторы. Кто сталкивался с ситуацией, когда Гугл индексирует комментарии и фиды (движок Вордпресс), закрытые в robots.txt и отправляет их в сопли? Бар и сервисы показывают 600 проиндексированных страниц, из которых 150 статей, а все остальное комментарии и фиды (в соплях). Как с этим бороться, кроме ручного удаления через Гуглвебмастер? По Яндексу таких проблем нет. Может в robots.txt создать запись отдельно под Гуглбот? Как правильно в robots.txt закрыть страницу с комментариями вида: сайт.com/remont/pol/suxaya-styazhka-pola.html?replytocom=371 (после слеша ясно, а вот вида .html не совсем понятно)
Спасибо за советы.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 15.1.2012, 1:20; Ответить: Fallup
Сообщение #2


Проверь кодировку файла robots


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:27; Ответить: shurche
Сообщение #3


(Fallup @ 15.1.2012, 0:20) *
Проверь кодировку файла robots


Обычный txt файл. Яндекс то все понимает. Или сам txt файл нужно сохранить в UTF8 и перезалить на хостинг? (По ходу по умолчанию в ANSI он создается)?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 15.1.2012, 1:27; Ответить: anchous
Сообщение #4


угу.. есть такая тема на сайте с 5к страниц по гуглю и 1400 в основной выдаче..
более того изначально их было 3200, когда понял что он наиндексил много того чего не надо было, прописал в роботсе что не надо индексить пейджи и прочее, после чего гугль сказал "так точно" и увеличил сопли еще на 1300 страниц.

причем запустил 5 новых проектов- на 3х все нормально, на 2х при том же роботе тоже сопли..

для WP пользую связку:
Robots Meta
Google XML Sitemaps

после установки и настройки, гугль месяца полтора ковыряется в носу- в моем случае рандомно нагонял страниц от 500 до 5к, после чего все устаканилось на 1500..
но траф пошел дето со второй недели после внесения изменений.

Сообщение отредактировал anchous - 15.1.2012, 1:30


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 15.1.2012, 1:35; Ответить: hybrid
Сообщение #5


Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 15.1.2012, 1:39; Ответить: shurche
Сообщение #6


(anchous @ 15.1.2012, 0:27) *
для WP пользую связку:
Robots Meta
Google XML Sitemaps


Прикол в том, что Robots Meta и Google XML Sitemaps настроены, и при расширенной выдаче (или как это там называется?) Бар показывает, что страница не проиндексирована, но при этом она в соплях. Может я чето не доганяю, но почему тогда индексация показывается баром 600/9% (хотя реально на сайте 160 страниц)


(hybrid @ 15.1.2012, 0:35) *
Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера.

Я уже запарился удалять censored.gif

Больше всего меня напрягает то, что на блоге, на котором вообще не настроен robots.txt (User-agent: *Disallow: ) идеальные показатели.

Сообщение отредактировал shurche - 15.1.2012, 1:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Andrjuwka007
Andrjuwka007
сообщение 17.1.2012, 2:18; Ответить: Andrjuwka007
Сообщение #7


Прошу не в тему, но хотелось бы знать где именно в гугл smile.gif можно посмотреть колличество проиндексированных страниц и где удалять их можно?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Scotty
Scotty
сообщение 17.1.2012, 2:24; Ответить: Scotty
Сообщение #8


Неоднократно встречался с подобной выходкой.
Гугл впереди всех)
Даже сейчас есть форум с 100к индекса Я и около 600к индекса Г. Полезных и открытых в роботс страниц около 80к.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shurche
shurche
Topic Starter сообщение 19.1.2012, 1:53; Ответить: shurche
Сообщение #9


(Andrjuwka007 @ 17.1.2012, 1:18) *
Прошу не в тему, но хотелось бы знать где именно в гугл smile.gif можно посмотреть колличество проиндексированных страниц и где удалять их можно?


Смотрите выше, люди же уже написали: через Параметры URL закрыть или удалить вручную через доступ сканера А проверить через RDS Bar или любой сервис.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nonsys
Nonsys
сообщение 24.1.2012, 4:38; Ответить: Nonsys
Сообщение #10


Иногда гугл просто игнорирует, и ничего не поделаешь

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыРабота с Гугл Адсенс
13 santo 2985 17.9.2021, 12:55
автор: nikitenkoolenka
Горячая тема (нет новых ответов) Гугл нарушает права человека!
66 Wolfhound 15945 17.7.2021, 19:06
автор: RadioBardak
Открытая тема (нет новых ответов) Картинка в гугл рекламе
4 fatal2st 1704 3.7.2021, 1:19
автор: Coffee
Открытая тема (нет новых ответов) Первичный краулинг ahrefs и robots.txt
503 ошибка
9 anykey13 2092 17.6.2021, 9:24
автор: anykey13
Открытая тема (нет новых ответов) Agent Accounts Google, TikTok, Bing, Facebook, VK, Yandex.Direct with balances(Агентские аккаунты Гугл,Фейсбук,ВКонтакте,Директ)
Не платите НДС 20% + Постоплата (Возврат до 50% бюджета)
0 ipnesterov 860 21.4.2020, 15:54
автор: ipnesterov


 



RSS Текстовая версия Сейчас: 19.9.2021, 6:01
Дизайн