X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Посоветуйте, стоит ли закрыть дубликаты на сайте
ErgoProxy
ErgoProxy
Topic Starter сообщение 28.2.2012, 2:32; Ответить: ErgoProxy
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


Сайт http://www.anime-news.org.ua/ существует уже более 3 лет, новостей на сайте на данный момент 2745 штук, страниц в индексе ПС Yandex на данный момент 2972 штук, страниц в индексе ПС Google 3550 штук. Дубликаты страниц на сайте никогда не закрывал и сейчас не закрыты. Стоит ли закрыть их? Не приведёт ли к негативным последствиям такое резкое снижение количество страниц разрешённых к индексации?

Если закрывать дубликаты, то тогда планирую закрыть все абсолютно страницы кроме: главной страницы, первых страниц категорий и страницы новостей. То есть к индексации будут открыты только страницы, которые есть в наличие в sitemap.xml. Закрывать страницы планирую вот таким тегом:

<meta name="robots" content="noindex,follow" />


И если я пойду на такой шаг то, что это даст, поднимется ли, например, сайт в позициях по запросам? Или какой положительный эффект может проявиться при такой манипуляции над сайтом?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
forsale
forsale
сообщение 28.2.2012, 2:51; Ответить: forsale
Сообщение #2


Новичок
*

Группа: User
Сообщений: 31
Регистрация: 27.2.2012
Поблагодарили: 3 раза
Репутация:   0  


Ну поидее может улучшиться индексация - если есть какието контентные страницы, которые невошли в индекс, то возможно ПС их охотнее скушают. Кстати Гуглу пофиг, закрываете Вы страницы от индексации или нет, всеравно сжирает, а вот Яша быстро все лишнее повыкидывает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kn900
kn900
сообщение 28.2.2012, 6:09; Ответить: kn900
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 484
Регистрация: 6.11.2009
Поблагодарили: 70 раз
Репутация:   5  


Стоит закрыть, поисковые - особенно Яндекс воспримут положительно.


--------------------
Здесь может быть ваша реклама.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DeniZ
DeniZ
сообщение 28.2.2012, 10:37; Ответить: DeniZ
Сообщение #4


Участник
***

Группа: User
Сообщений: 161
Регистрация: 27.4.2010
Из: VLG
Поблагодарили: 32 раза
Репутация:   3  


Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?


--------------------
.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zidein
Zidein
сообщение 28.2.2012, 10:50; Ответить: Zidein
Сообщение #5


Участник
***

Группа: User
Сообщений: 217
Регистрация: 7.2.2012
Из: Новосибирск
Поблагодарили: 43 раза
Репутация:   9  


По-моему при вашем варианте, робот не должен ни индексировать документ, ни анализировать стоящие на нем ссылки.
<meta name="robots" content="noindex,follow" />


Для справки, теги как понимает их Яндекс:
<meta name="robots" content="all"/> — разрешено индексировать текст и ссылки на странице, аналогично <meta name="robots" content="index, follow"/>
<meta name="robots" content="noindex"/> — не индексировать текст страницы,
<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице и не индексировать их,
<meta name="robots" content="none"/> — запрещено индексировать и текст, и ссылки на странице, аналогично <meta name="robots" content="noindex, nofollow"/>
<meta name="robots" cont


И по-моему это приведет, к полному выпадения сайта из индекса.

(DeniZ @ 28.2.2012, 12:37) *
Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?


Либо Роботс не правильный, либо руки кривые.
У меня он хавает, только то, что ему разрешено.
Проверял даже, закрывал папку с картинками, они выпали с индекса, открыл, вернулись.
Он внимательно роботс читает. wink.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ErgoProxy
ErgoProxy
Topic Starter сообщение 29.2.2012, 2:27; Ответить: ErgoProxy
Сообщение #6


Участник
***

Группа: User
Сообщений: 118
Регистрация: 2.7.2011
Из: Украина г. Черкассы
Поблагодарили: 10 раз
Репутация:   8  


Zidein
На страницах, запрещённые к индексации, размещать тег:
<meta name="robots" content="noindex,follow" />

На страницах, разрешённых к индексации, размещать тег:
<meta name="robots" content="all" />

Так нельзя делать что ли? Или что вы имели в виду?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 29.2.2012, 2:36; Ответить: anchous
Сообщение #7


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 8173
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4630 раз
Репутация:   426  


(Zidein @ 28.2.2012, 10:50) *
Либо Роботс не правильный, либо руки кривые.


главное это удачно обосрать собеседника, правда? wink.gif
если вы прочтете справку гугля, то увидите что они сами говорят о том, что роботы могут индексить закрытое в роботсе, например из других источников, и единственно верный способ закрытия от индексации - это пользоваться метатегами, что надо понимать, как если чо, то не обессудьте.
а эмпирически- гугль частенько еще и принимает к сведению описание в роботсе и добивает этим индекс, если не видел эти страницы до того как хитроумный вебмастер решил их от греха закрыть от индексации.

Сообщение отредактировал anchous - 29.2.2012, 2:41


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mаx
Mаx
сообщение 29.2.2012, 3:23; Ответить: Mаx
Сообщение #8


Участник
***

Группа: User
Сообщений: 105
Регистрация: 19.9.2010
Поблагодарили: 27 раз
Репутация:   -7  


Единственно правильный и эффективный способ избавиться от дублей страниц этот способ, ТС настоятельно рекомендую:

В корне сайта (там где и index.php) находится файл .htaccess, ниже RewriteEngine On прописываем этот скрипт:
#Редиректы 301
RewriteCond %{HTTP_HOST} ^www.sitename.ru$ [NC]
RewriteRule ^(.*)$ http://sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

Это вариант для переадресации с www.sitename.ru на сайт sitename.ru

А если нужна переадресация с sitename.ru на сайт www.sitename.ru, то прописываем этот скрипт:
#Редиректы 301
RewriteCond %{HTTP_HOST} ^sitename.ru
RewriteRule (.*) http://www.sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]


Внимание: не забудьте доменнное имя в скрипте sitename.ru, сменить на своё и отредактировать так же файл robots.txt ... сайт будет доступен только с www или без www, в зависимости от того как вы поставили в настройках!!!

Это избавит сайт от многих проблем, уж поверьте проверено на собственном опыте. Удачи.

PS: так же не мешало бы поставить хак запрета индексации несуществующих страниц и свою страницу ошибок 404

Результат: дублей не будет вообще как ВИД и следовательно ни чего не нужно закрывать и не наживать себе лишнего гемора.

Сообщение отредактировал Mаx - 29.2.2012, 3:01
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 29.2.2012, 3:48; Ответить: hybrid
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


ErgoProxy, я бы закрыл, оставив в индексе лишь страницы новостей и главную. Даже, если на страницы дублей идет трафик. Рано или поздно ПС могут что-то изменить в своих алгоритмах, и лучше быть на шаг впереди.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
santis
santis
сообщение 29.2.2012, 4:24; Ответить: santis
Сообщение #10


Топовый постер
*******


Группа: Active User
Сообщений: 3571
Регистрация: 29.11.2010
Из: Краснодар
Поблагодарили: 1564 раза
Репутация:   169  


Ергопрокси - hybrid, прав на 100%.
И советую вас все таки закрыть.
Имею горький опыт с дублями контента, причем не один, у брата тоже случилось подобное из-за того что он забил на это дело.
В принципи, с дублями сайт нормально существует, получает посетителей и так далее, но в один прекрасный день, приходит злой Яша, не знаю может быть ПМС, и берет твой сайт и выгоняет его из ТОП-10-20. Как далеко и сколько? Сначало из 25 запросов вылетало выборочно 1-2 и не далеко, где то до 30-35 места, конкуренция в тематике хорошая и думал я, ну может гайки подкрутили. Но в один прекрасный момент вылетели практически все минуса были огромные, кто на 200 позиций кто на 100.
Написал в Яндекс, ответили довольно быстро и показали где страница дублируется в каждом разделе. Убрали дублирование материалов ( была ошибка в коде) все вернулось на свои места за пару АПов.

У брата по меньше проблема, но частично такая же.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Почему разнообразие на сайте вредит проекту?
23 Kiloan_Frost 1341 Сегодня, 2:34
автор: EconDude
Открытая тема (нет новых ответов) Посоветуйте хостинг в России, хороший и быстрый.
4 Goremika 698 Вчера, 14:25
автор: WebHost1
Открытая тема (нет новых ответов) Узнай все, о своем и чужом сайте
Выгрузка: Ahrefs+Semrush+Majestic+Spywords
7 matrixzp 1279 Вчера, 2:03
автор: matrixzp
Горячая тема (нет новых ответов) Ню фото на сайте фотографа
Раздел или отдельный сайт
29 Valerypantera 1480 20.5.2018, 17:02
автор: genjnat
Горячая тема (нет новых ответов) Стоит ли раскручивать личную страничку ?
79 MakDonald 11527 19.5.2018, 12:46
автор: Emtec


 



RSS Текстовая версия Сейчас: 22.5.2018, 14:34
Дизайн