X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Google не вопсринимает robots.txt, Время через которое страница будет удалена
Konstantin_by
Konstantin_by
Topic Starter сообщение 8.6.2012, 12:38; Ответить: Konstantin_by
Сообщение #1


Недавно в индексе Google обнаружил несчетное количество дублей страниц собственного сайта.
Виноваты неправильные списки материалов с разной сортировкой. Все эти страницы попали в supplemental (всего 23000, из них в основном 1900)
Добавил в robots.txt исключения на данные страницы и проверил их в "Анализ файла robots.txt Google" на запрет. Несмотря на это страницы не спешат удаляться из индекса. Складывается впечатление, что Google из supplemental очень неспешно удаляет страницы, несмотря на robots.txt
Сколько необходимо подождать для удаления поисковиком этих страниц?
Насколько плохо для сайта наличие большого количества дублей страниц?
Вариант с ручным удалением URL подходит только частично так как придется удалить порядка 20 000 страниц, а это 2 дня работы минимум.

Возможен вариант с полным удалением сайта из индекса Google и потом возвращением. Кто нибудь пробовал такой вариант?

Сообщение отредактировал Konstantin_by - 8.6.2012, 12:51
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M25
M25
сообщение 8.6.2012, 13:39; Ответить: M25
Сообщение #2


не обращайте внимания на них, от соплей полностью никак не избавиться

(Konstantin_by @ 8.6.2012, 11:38) *
Возможен вариант с полным удалением сайта из индекса Google

долго и бессмысленно

(Konstantin_by @ 8.6.2012, 11:38) *
Вариант с ручным удалением URL подходит только частично так как придется удалить порядка 20 000 страниц, а это 2 дня работы минимум.

я по-белому завидую Вашему количеству свободного времени


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mobilnikplus
mobilnikplus
сообщение 8.6.2012, 13:41; Ответить: mobilnikplus
Сообщение #3


(Konstantin_by @ 8.6.2012, 11:38) *
Вариант с ручным удалением URL подходит только частично

Я удаляю несуществующие страницы на протяжении нескольких месяцев, и все равно Гугл их где-то находит. Вручную удалил несколько сотен страниц. 20 тыс. руками? Даже не представляю. smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Konstantin_by
Konstantin_by
Topic Starter сообщение 8.6.2012, 15:39; Ответить: Konstantin_by
Сообщение #4


(M25 @ 8.6.2012, 12:39) *
не обращайте внимания на них, от соплей полностью никак не избавиться


долго и бессмысленно


я по-белому завидую Вашему количеству свободного времени


Получается, если на сайте есть большое количество дублированных страниц списков, Google внесет их в сопли и сайту за это ничего не грозит, а если грозит тогда удаляйте ребятки сами?

Я вот беспокоюсь, что падение трафика с Google связано с этим. Уже много информации прочитал и прихожу к выводу, что фактор песимизации скорей внутренний, нежели внешний. На сайт появляются все больше хороших ссылок с трастовых ресурсов(естественных). Последний месяц сайт появился в dmoz, пишутся уникальные статьи по теме, публикуются новости компаний, а в серпе Google изменений нет. Как упал в конец поиска так, там и висит уже 2 месяца... Ранее трафик с Google перекрывал собой все остальные вместе взятые. Наличие фильтра очевидно, так как ранее для появления любой страницы по теме ресурса в топ15, ничего не требовалось - это происходило автоматически, сейчас же фундамент с которого начинать движение в топ находится на 100 позиции по многим страницам.
Еще одна из неудач, когда пришел пингвин на сайте был редизайн и по этой причине появились не закрытые ссылки на списки страницы дублирующие содержания сайта по 10000 раз. Сейчас эти списки на сайте есть, но закрыты в robots.txt

Сообщение отредактировал Konstantin_by - 8.6.2012, 15:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 8.6.2012, 15:52; Ответить: serg5777
Сообщение #5


Не знаю заметил кто-то или нет, но Гугл стал медленнее индексировать новые сайты.

И постоянно ходит в обход роботс.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 8.6.2012, 16:30; Ответить: genjnat
Сообщение #6


Гугл уже давно не считает robots.txt обязательным к исполнению. Тем не мение, дубли в индлекс пускать нельзя. Используйте для этого метатеги, а еще лучше редирект.
Удалять страницы в ГВМ можно не только постранично, но и каталогами.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 8.6.2012, 16:39; Ответить: anchous
Сообщение #7


(genjnat @ 8.6.2012, 16:30) *
Используйте для этого метатеги, а еще лучше редирект.


закрыл метатегами 4/5 сайта еще в ноябре.
дважды писал запрос на переиндексацию, причем постоянно получал ругань от адсенса, что его робот не может получить доступ к большей части сайта.
но страницы, по прошествии уже 7 месяцев по прежнему в индексе, что естественно не особо здорово сказывается на посещалке

Сообщение отредактировал anchous - 8.6.2012, 16:41


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sead
Sead
сообщение 17.6.2012, 22:27; Ответить: Sead
Сообщение #8


(serg5777 @ 8.6.2012, 14:52) *
Не знаю заметил кто-то или нет, но Гугл стал медленнее индексировать новые сайты.

И постоянно ходит в обход роботс.

Совершенно верно. Хреново индексирует (больше суток). Закрытые страницы в роботс появляются в соплях.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐
14 Chekon 4259 10.4.2024, 11:07
автор: Chekon
Открытая тема (нет новых ответов) Если статья не в индексе Google - она уникальна или нет?
5 uahomka 1410 3.4.2024, 23:56
автор: Liudmila
Горячая тема (нет новых ответов) Google запускает новый браузер элементами искусственного интеллекта
38 arendator 13460 21.3.2024, 18:10
автор: Rebex
Открытая тема (нет новых ответов) Сайт не индексируется в Google без добавления ссылок в адурилку
4 Nekit 1076 20.3.2024, 21:44
автор: MorKer
Открытая тема (нет новых ответов) Google adwords показывает дробное количество конверсий
0 Megaspryt 746 16.3.2024, 23:19
автор: Megaspryt


 



RSS Текстовая версия Сейчас: 16.4.2024, 13:16
Дизайн