X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Google не вопсринимает robots.txt, Время через которое страница будет удалена
Konstantin_by
Konstantin_by
Topic Starter сообщение 8.6.2012, 12:38; Ответить: Konstantin_by
Сообщение #1


Участник
***

Группа: User
Сообщений: 169
Регистрация: 1.9.2008
Из: Минск
Поблагодарили: 27 раз
Репутация:   5  


Недавно в индексе Google обнаружил несчетное количество дублей страниц собственного сайта.
Виноваты неправильные списки материалов с разной сортировкой. Все эти страницы попали в supplemental (всего 23000, из них в основном 1900)
Добавил в robots.txt исключения на данные страницы и проверил их в "Анализ файла robots.txt Google" на запрет. Несмотря на это страницы не спешат удаляться из индекса. Складывается впечатление, что Google из supplemental очень неспешно удаляет страницы, несмотря на robots.txt
Сколько необходимо подождать для удаления поисковиком этих страниц?
Насколько плохо для сайта наличие большого количества дублей страниц?
Вариант с ручным удалением URL подходит только частично так как придется удалить порядка 20 000 страниц, а это 2 дня работы минимум.

Возможен вариант с полным удалением сайта из индекса Google и потом возвращением. Кто нибудь пробовал такой вариант?

Сообщение отредактировал Konstantin_by - 8.6.2012, 12:51
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M25
M25
сообщение 8.6.2012, 13:39; Ответить: M25
Сообщение #2


Поражены твоей неудачей.
*****

Группа: Active User
Сообщений: 952
Регистрация: 23.11.2009
Из: Украина
Поблагодарили: 264 раза
Репутация:   44  


не обращайте внимания на них, от соплей полностью никак не избавиться

(Konstantin_by @ 8.6.2012, 11:38) *
Возможен вариант с полным удалением сайта из индекса Google

долго и бессмысленно

(Konstantin_by @ 8.6.2012, 11:38) *
Вариант с ручным удалением URL подходит только частично так как придется удалить порядка 20 000 страниц, а это 2 дня работы минимум.

я по-белому завидую Вашему количеству свободного времени


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mobilnikplus
mobilnikplus
сообщение 8.6.2012, 13:41; Ответить: mobilnikplus
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 780
Регистрация: 21.9.2010
Из: Украина
Поблагодарили: 143 раза
Репутация:   10  


(Konstantin_by @ 8.6.2012, 11:38) *
Вариант с ручным удалением URL подходит только частично

Я удаляю несуществующие страницы на протяжении нескольких месяцев, и все равно Гугл их где-то находит. Вручную удалил несколько сотен страниц. 20 тыс. руками? Даже не представляю. smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Konstantin_by
Konstantin_by
Topic Starter сообщение 8.6.2012, 15:39; Ответить: Konstantin_by
Сообщение #4


Участник
***

Группа: User
Сообщений: 169
Регистрация: 1.9.2008
Из: Минск
Поблагодарили: 27 раз
Репутация:   5  


(M25 @ 8.6.2012, 12:39) *
не обращайте внимания на них, от соплей полностью никак не избавиться


долго и бессмысленно


я по-белому завидую Вашему количеству свободного времени


Получается, если на сайте есть большое количество дублированных страниц списков, Google внесет их в сопли и сайту за это ничего не грозит, а если грозит тогда удаляйте ребятки сами?

Я вот беспокоюсь, что падение трафика с Google связано с этим. Уже много информации прочитал и прихожу к выводу, что фактор песимизации скорей внутренний, нежели внешний. На сайт появляются все больше хороших ссылок с трастовых ресурсов(естественных). Последний месяц сайт появился в dmoz, пишутся уникальные статьи по теме, публикуются новости компаний, а в серпе Google изменений нет. Как упал в конец поиска так, там и висит уже 2 месяца... Ранее трафик с Google перекрывал собой все остальные вместе взятые. Наличие фильтра очевидно, так как ранее для появления любой страницы по теме ресурса в топ15, ничего не требовалось - это происходило автоматически, сейчас же фундамент с которого начинать движение в топ находится на 100 позиции по многим страницам.
Еще одна из неудач, когда пришел пингвин на сайте был редизайн и по этой причине появились не закрытые ссылки на списки страницы дублирующие содержания сайта по 10000 раз. Сейчас эти списки на сайте есть, но закрыты в robots.txt

Сообщение отредактировал Konstantin_by - 8.6.2012, 15:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 8.6.2012, 15:52; Ответить: serg5777
Сообщение #5


Стоп NATO
*******


Группа: Active User
Сообщений: 4321
Регистрация: 5.4.2009
Из: Ростов-на-Дону
Поблагодарили: 1333 раза
Репутация:   193  


Не знаю заметил кто-то или нет, но Гугл стал медленнее индексировать новые сайты.

И постоянно ходит в обход роботс.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 8.6.2012, 16:30; Ответить: genjnat
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 2277
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Гугл уже давно не считает robots.txt обязательным к исполнению. Тем не мение, дубли в индлекс пускать нельзя. Используйте для этого метатеги, а еще лучше редирект.
Удалять страницы в ГВМ можно не только постранично, но и каталогами.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 8.6.2012, 16:39; Ответить: anchous
Сообщение #7


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 8000
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4521 раз
Репутация:   418  


(genjnat @ 8.6.2012, 16:30) *
Используйте для этого метатеги, а еще лучше редирект.


закрыл метатегами 4/5 сайта еще в ноябре.
дважды писал запрос на переиндексацию, причем постоянно получал ругань от адсенса, что его робот не может получить доступ к большей части сайта.
но страницы, по прошествии уже 7 месяцев по прежнему в индексе, что естественно не особо здорово сказывается на посещалке

Сообщение отредактировал anchous - 8.6.2012, 16:41


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sead
Sead
сообщение 17.6.2012, 22:27; Ответить: Sead
Сообщение #8


Новичок
*

Группа: User
Сообщений: 19
Регистрация: 16.11.2011
Поблагодарили: 1 раз
Репутация:   0  


(serg5777 @ 8.6.2012, 14:52) *
Не знаю заметил кто-то или нет, но Гугл стал медленнее индексировать новые сайты.

И постоянно ходит в обход роботс.

Совершенно верно. Хреново индексирует (больше суток). Закрытые страницы в роботс появляются в соплях.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Продажа аккаунтов - Gmail.com I Google+
аккаунты, Gmail Google+, не дорого
26 KYBERGURU73 9366 15.12.2017, 19:58
автор: KYBERGURU73
Открытая тема (нет новых ответов) Google назвал главные темы и тренды 2017 года
1 MissContent 339 14.12.2017, 15:59
автор: wertu
Открытая тема (нет новых ответов) 10 бесплатных сервисов Google для бизнеса, о которых мало кто слышал
18 jack 5971 14.12.2017, 12:29
автор: Akeeloq
Открытая тема (нет новых ответов) Google запустил инструмент для переноса кампаний из Директа в AdWords
7 jack 1640 14.12.2017, 0:19
автор: Ley
Горячая тема (нет новых ответов) Как заставить Google любить тебя?
Хочу роста трафа из Гугла : ))
73 Aslan88 16376 12.12.2017, 14:48
автор: coremission


 



RSS Текстовая версия Сейчас: 17.12.2017, 2:53
Дизайн