X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Google не вопсринимает robots.txt, Время через которое страница будет удалена
Konstantin_by
Konstantin_by
Topic Starter сообщение 8.6.2012, 12:38; Ответить: Konstantin_by
Сообщение #1


Участник
***

Группа: User
Сообщений: 169
Регистрация: 1.9.2008
Из: Минск
Поблагодарили: 27 раз
Репутация:   5  


Недавно в индексе Google обнаружил несчетное количество дублей страниц собственного сайта.
Виноваты неправильные списки материалов с разной сортировкой. Все эти страницы попали в supplemental (всего 23000, из них в основном 1900)
Добавил в robots.txt исключения на данные страницы и проверил их в "Анализ файла robots.txt Google" на запрет. Несмотря на это страницы не спешат удаляться из индекса. Складывается впечатление, что Google из supplemental очень неспешно удаляет страницы, несмотря на robots.txt
Сколько необходимо подождать для удаления поисковиком этих страниц?
Насколько плохо для сайта наличие большого количества дублей страниц?
Вариант с ручным удалением URL подходит только частично так как придется удалить порядка 20 000 страниц, а это 2 дня работы минимум.

Возможен вариант с полным удалением сайта из индекса Google и потом возвращением. Кто нибудь пробовал такой вариант?

Сообщение отредактировал Konstantin_by - 8.6.2012, 12:51
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M25
M25
сообщение 8.6.2012, 13:39; Ответить: M25
Сообщение #2


Поражены твоей неудачей.
*****

Группа: Active User
Сообщений: 952
Регистрация: 23.11.2009
Из: Украина
Поблагодарили: 264 раза
Репутация:   44  


не обращайте внимания на них, от соплей полностью никак не избавиться

(Konstantin_by @ 8.6.2012, 11:38) *
Возможен вариант с полным удалением сайта из индекса Google

долго и бессмысленно

(Konstantin_by @ 8.6.2012, 11:38) *
Вариант с ручным удалением URL подходит только частично так как придется удалить порядка 20 000 страниц, а это 2 дня работы минимум.

я по-белому завидую Вашему количеству свободного времени


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mobilnikplus
mobilnikplus
сообщение 8.6.2012, 13:41; Ответить: mobilnikplus
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 798
Регистрация: 21.9.2010
Из: Украина
Поблагодарили: 145 раз
Репутация:   11  


(Konstantin_by @ 8.6.2012, 11:38) *
Вариант с ручным удалением URL подходит только частично

Я удаляю несуществующие страницы на протяжении нескольких месяцев, и все равно Гугл их где-то находит. Вручную удалил несколько сотен страниц. 20 тыс. руками? Даже не представляю. smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Konstantin_by
Konstantin_by
Topic Starter сообщение 8.6.2012, 15:39; Ответить: Konstantin_by
Сообщение #4


Участник
***

Группа: User
Сообщений: 169
Регистрация: 1.9.2008
Из: Минск
Поблагодарили: 27 раз
Репутация:   5  


(M25 @ 8.6.2012, 12:39) *
не обращайте внимания на них, от соплей полностью никак не избавиться


долго и бессмысленно


я по-белому завидую Вашему количеству свободного времени


Получается, если на сайте есть большое количество дублированных страниц списков, Google внесет их в сопли и сайту за это ничего не грозит, а если грозит тогда удаляйте ребятки сами?

Я вот беспокоюсь, что падение трафика с Google связано с этим. Уже много информации прочитал и прихожу к выводу, что фактор песимизации скорей внутренний, нежели внешний. На сайт появляются все больше хороших ссылок с трастовых ресурсов(естественных). Последний месяц сайт появился в dmoz, пишутся уникальные статьи по теме, публикуются новости компаний, а в серпе Google изменений нет. Как упал в конец поиска так, там и висит уже 2 месяца... Ранее трафик с Google перекрывал собой все остальные вместе взятые. Наличие фильтра очевидно, так как ранее для появления любой страницы по теме ресурса в топ15, ничего не требовалось - это происходило автоматически, сейчас же фундамент с которого начинать движение в топ находится на 100 позиции по многим страницам.
Еще одна из неудач, когда пришел пингвин на сайте был редизайн и по этой причине появились не закрытые ссылки на списки страницы дублирующие содержания сайта по 10000 раз. Сейчас эти списки на сайте есть, но закрыты в robots.txt

Сообщение отредактировал Konstantin_by - 8.6.2012, 15:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serg5777
serg5777
сообщение 8.6.2012, 15:52; Ответить: serg5777
Сообщение #5


Стоп NATO
*******


Группа: Active User
Сообщений: 4350
Регистрация: 5.4.2009
Из: Ростов-на-Дону
Поблагодарили: 1341 раз
Репутация:   193  


Не знаю заметил кто-то или нет, но Гугл стал медленнее индексировать новые сайты.

И постоянно ходит в обход роботс.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 8.6.2012, 16:30; Ответить: genjnat
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 2330
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1037 раз
Репутация:   115  


Гугл уже давно не считает robots.txt обязательным к исполнению. Тем не мение, дубли в индлекс пускать нельзя. Используйте для этого метатеги, а еще лучше редирект.
Удалять страницы в ГВМ можно не только постранично, но и каталогами.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 8.6.2012, 16:39; Ответить: anchous
Сообщение #7


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 8173
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4630 раз
Репутация:   426  


(genjnat @ 8.6.2012, 16:30) *
Используйте для этого метатеги, а еще лучше редирект.


закрыл метатегами 4/5 сайта еще в ноябре.
дважды писал запрос на переиндексацию, причем постоянно получал ругань от адсенса, что его робот не может получить доступ к большей части сайта.
но страницы, по прошествии уже 7 месяцев по прежнему в индексе, что естественно не особо здорово сказывается на посещалке

Сообщение отредактировал anchous - 8.6.2012, 16:41


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sead
Sead
сообщение 17.6.2012, 22:27; Ответить: Sead
Сообщение #8


Новичок
*

Группа: User
Сообщений: 19
Регистрация: 16.11.2011
Поблагодарили: 1 раз
Репутация:   0  


(serg5777 @ 8.6.2012, 14:52) *
Не знаю заметил кто-то или нет, но Гугл стал медленнее индексировать новые сайты.

И постоянно ходит в обход роботс.

Совершенно верно. Хреново индексирует (больше суток). Закрытые страницы в роботс появляются в соплях.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Как заставить Google любить тебя?
Хочу роста трафа из Гугла : ))
100 Aslan88 24574 Сегодня, 2:38
автор: EconDude
Горячая тема (нет новых ответов) 10 бесплатных сервисов Google для бизнеса, о которых мало кто слышал
37 jack 11292 Сегодня, 2:36
автор: EconDude
Открытая тема (нет новых ответов) Учёные нашли способ незаметно красть деньги через Siri и Google Assistant
1 seostock 971 16.5.2018, 15:37
автор: Luchik
Открытая тема (нет новых ответов) База приложений/игр Google Play Store и App Store
Список приложений/игр для android iOS (iPhone, iPad, iPod touch).
2 Seomanchik 1085 16.5.2018, 15:06
автор: Seomanchik
Горячая тема (нет новых ответов) Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+
82 m1ntoll 23283 16.5.2018, 12:13
автор: m1ntoll


 



RSS Текстовая версия Сейчас: 22.5.2018, 16:18
Дизайн