X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Посоветуйте, стоит ли закрыть дубликаты на сайте
ErgoProxy
ErgoProxy
Topic Starter сообщение 28.2.2012, 2:32; Ответить: ErgoProxy
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


Сайт http://www.anime-news.org.ua/ существует уже более 3 лет, новостей на сайте на данный момент 2745 штук, страниц в индексе ПС Yandex на данный момент 2972 штук, страниц в индексе ПС Google 3550 штук. Дубликаты страниц на сайте никогда не закрывал и сейчас не закрыты. Стоит ли закрыть их? Не приведёт ли к негативным последствиям такое резкое снижение количество страниц разрешённых к индексации?

Если закрывать дубликаты, то тогда планирую закрыть все абсолютно страницы кроме: главной страницы, первых страниц категорий и страницы новостей. То есть к индексации будут открыты только страницы, которые есть в наличие в sitemap.xml. Закрывать страницы планирую вот таким тегом:

<meta name="robots" content="noindex,follow" />


И если я пойду на такой шаг то, что это даст, поднимется ли, например, сайт в позициях по запросам? Или какой положительный эффект может проявиться при такой манипуляции над сайтом?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
forsale
forsale
сообщение 28.2.2012, 2:51; Ответить: forsale
Сообщение #2


Новичок
*

Группа: User
Сообщений: 31
Регистрация: 27.2.2012
Поблагодарили: 3 раза
Репутация:   0  


Ну поидее может улучшиться индексация - если есть какието контентные страницы, которые невошли в индекс, то возможно ПС их охотнее скушают. Кстати Гуглу пофиг, закрываете Вы страницы от индексации или нет, всеравно сжирает, а вот Яша быстро все лишнее повыкидывает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kn900
kn900
сообщение 28.2.2012, 6:09; Ответить: kn900
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 484
Регистрация: 6.11.2009
Поблагодарили: 70 раз
Репутация:   5  


Стоит закрыть, поисковые - особенно Яндекс воспримут положительно.


--------------------
Здесь может быть ваша реклама.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DeniZ
DeniZ
сообщение 28.2.2012, 10:37; Ответить: DeniZ
Сообщение #4


Участник
***

Группа: User
Сообщений: 161
Регистрация: 27.4.2010
Из: VLG
Поблагодарили: 32 раза
Репутация:   3  


Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?


--------------------
.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zidein
Zidein
сообщение 28.2.2012, 10:50; Ответить: Zidein
Сообщение #5


Участник
***

Группа: User
Сообщений: 217
Регистрация: 7.2.2012
Из: Новосибирск
Поблагодарили: 43 раза
Репутация:   9  


По-моему при вашем варианте, робот не должен ни индексировать документ, ни анализировать стоящие на нем ссылки.
<meta name="robots" content="noindex,follow" />


Для справки, теги как понимает их Яндекс:
<meta name="robots" content="all"/> — разрешено индексировать текст и ссылки на странице, аналогично <meta name="robots" content="index, follow"/>
<meta name="robots" content="noindex"/> — не индексировать текст страницы,
<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице и не индексировать их,
<meta name="robots" content="none"/> — запрещено индексировать и текст, и ссылки на странице, аналогично <meta name="robots" content="noindex, nofollow"/>
<meta name="robots" cont


И по-моему это приведет, к полному выпадения сайта из индекса.

(DeniZ @ 28.2.2012, 12:37) *
Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?


Либо Роботс не правильный, либо руки кривые.
У меня он хавает, только то, что ему разрешено.
Проверял даже, закрывал папку с картинками, они выпали с индекса, открыл, вернулись.
Он внимательно роботс читает. wink.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ErgoProxy
ErgoProxy
Topic Starter сообщение 29.2.2012, 2:27; Ответить: ErgoProxy
Сообщение #6


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


Zidein
На страницах, запрещённые к индексации, размещать тег:
<meta name="robots" content="noindex,follow" />

На страницах, разрешённых к индексации, размещать тег:
<meta name="robots" content="all" />

Так нельзя делать что ли? Или что вы имели в виду?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 29.2.2012, 2:36; Ответить: anchous
Сообщение #7


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 7994
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4514 раз
Репутация:   418  


(Zidein @ 28.2.2012, 10:50) *
Либо Роботс не правильный, либо руки кривые.


главное это удачно обосрать собеседника, правда? wink.gif
если вы прочтете справку гугля, то увидите что они сами говорят о том, что роботы могут индексить закрытое в роботсе, например из других источников, и единственно верный способ закрытия от индексации - это пользоваться метатегами, что надо понимать, как если чо, то не обессудьте.
а эмпирически- гугль частенько еще и принимает к сведению описание в роботсе и добивает этим индекс, если не видел эти страницы до того как хитроумный вебмастер решил их от греха закрыть от индексации.

Сообщение отредактировал anchous - 29.2.2012, 2:41


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mаx
Mаx
сообщение 29.2.2012, 3:23; Ответить: Mаx
Сообщение #8


Участник
***

Группа: User
Сообщений: 105
Регистрация: 19.9.2010
Поблагодарили: 27 раз
Репутация:   -7  


Единственно правильный и эффективный способ избавиться от дублей страниц этот способ, ТС настоятельно рекомендую:

В корне сайта (там где и index.php) находится файл .htaccess, ниже RewriteEngine On прописываем этот скрипт:
#Редиректы 301
RewriteCond %{HTTP_HOST} ^www.sitename.ru$ [NC]
RewriteRule ^(.*)$ http://sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

Это вариант для переадресации с www.sitename.ru на сайт sitename.ru

А если нужна переадресация с sitename.ru на сайт www.sitename.ru, то прописываем этот скрипт:
#Редиректы 301
RewriteCond %{HTTP_HOST} ^sitename.ru
RewriteRule (.*) http://www.sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]


Внимание: не забудьте доменнное имя в скрипте sitename.ru, сменить на своё и отредактировать так же файл robots.txt ... сайт будет доступен только с www или без www, в зависимости от того как вы поставили в настройках!!!

Это избавит сайт от многих проблем, уж поверьте проверено на собственном опыте. Удачи.

PS: так же не мешало бы поставить хак запрета индексации несуществующих страниц и свою страницу ошибок 404

Результат: дублей не будет вообще как ВИД и следовательно ни чего не нужно закрывать и не наживать себе лишнего гемора.

Сообщение отредактировал Mаx - 29.2.2012, 3:01
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 29.2.2012, 3:48; Ответить: hybrid
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


ErgoProxy, я бы закрыл, оставив в индексе лишь страницы новостей и главную. Даже, если на страницы дублей идет трафик. Рано или поздно ПС могут что-то изменить в своих алгоритмах, и лучше быть на шаг впереди.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
santis
santis
сообщение 29.2.2012, 4:24; Ответить: santis
Сообщение #10


Топовый постер
*******


Группа: Active User
Сообщений: 3487
Регистрация: 29.11.2010
Из: Краснодар
Поблагодарили: 1510 раз
Репутация:   164  


Ергопрокси - hybrid, прав на 100%.
И советую вас все таки закрыть.
Имею горький опыт с дублями контента, причем не один, у брата тоже случилось подобное из-за того что он забил на это дело.
В принципи, с дублями сайт нормально существует, получает посетителей и так далее, но в один прекрасный день, приходит злой Яша, не знаю может быть ПМС, и берет твой сайт и выгоняет его из ТОП-10-20. Как далеко и сколько? Сначало из 25 запросов вылетало выборочно 1-2 и не далеко, где то до 30-35 места, конкуренция в тематике хорошая и думал я, ну может гайки подкрутили. Но в один прекрасный момент вылетели практически все минуса были огромные, кто на 200 позиций кто на 100.
Написал в Яндекс, ответили довольно быстро и показали где страница дублируется в каждом разделе. Убрали дублирование материалов ( была ошибка в коде) все вернулось на свои места за пару АПов.

У брата по меньше проблема, но частично такая же.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) 17 вещей на вашем сайте, которые ненавидят
Один из постулатов маркетинга — не раздражать людей
24 PostBrigada 3426 Сегодня, 13:13
автор: Catherine_Molli
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПрибыль с видео на сайте и в соц сетях
Как получить доп доход с нативного контента
14 maxim_krasovskiy 2782 Сегодня, 12:05
автор: maxim_krasovskiy
Горячая тема (нет новых ответов) Стоит ли раскручивать личную страничку ?
61 MakDonald 7621 Сегодня, 9:45
автор: Mikki
Открытая тема (нет новых ответов) Посоветуйте тему WP! Новостной сайт
Нужна тема WP желательно рус и с ТП
11 aidos 698 Вчера, 23:31
автор: Caterpillar
Открытая тема (нет новых ответов) ALFAcoins.com - Приём криптовалюты на вашем сайте
17 ALFAcoins 3665 Вчера, 23:07
автор: ALFAcoins


 



RSS Текстовая версия Сейчас: 12.12.2017, 16:50
Дизайн