X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Посоветуйте, стоит ли закрыть дубликаты на сайте
ErgoProxy
ErgoProxy
Topic Starter сообщение 28.2.2012, 2:32; Ответить: ErgoProxy
Сообщение #1


Сайт http://www.anime-news.org.ua/ существует уже более 3 лет, новостей на сайте на данный момент 2745 штук, страниц в индексе ПС Yandex на данный момент 2972 штук, страниц в индексе ПС Google 3550 штук. Дубликаты страниц на сайте никогда не закрывал и сейчас не закрыты. Стоит ли закрыть их? Не приведёт ли к негативным последствиям такое резкое снижение количество страниц разрешённых к индексации?

Если закрывать дубликаты, то тогда планирую закрыть все абсолютно страницы кроме: главной страницы, первых страниц категорий и страницы новостей. То есть к индексации будут открыты только страницы, которые есть в наличие в sitemap.xml. Закрывать страницы планирую вот таким тегом:

<meta name="robots" content="noindex,follow" />


И если я пойду на такой шаг то, что это даст, поднимется ли, например, сайт в позициях по запросам? Или какой положительный эффект может проявиться при такой манипуляции над сайтом?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
forsale
forsale
сообщение 28.2.2012, 2:51; Ответить: forsale
Сообщение #2


Ну поидее может улучшиться индексация - если есть какието контентные страницы, которые невошли в индекс, то возможно ПС их охотнее скушают. Кстати Гуглу пофиг, закрываете Вы страницы от индексации или нет, всеравно сжирает, а вот Яша быстро все лишнее повыкидывает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kn900
kn900
сообщение 28.2.2012, 6:09; Ответить: kn900
Сообщение #3


Стоит закрыть, поисковые - особенно Яндекс воспримут положительно.


--------------------
Здесь может быть ваша реклама.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DeniZ
DeniZ
сообщение 28.2.2012, 10:37; Ответить: DeniZ
Сообщение #4


Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?


--------------------
.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zidein
Zidein
сообщение 28.2.2012, 10:50; Ответить: Zidein
Сообщение #5


По-моему при вашем варианте, робот не должен ни индексировать документ, ни анализировать стоящие на нем ссылки.
<meta name="robots" content="noindex,follow" />


Для справки, теги как понимает их Яндекс:
<meta name="robots" content="all"/> — разрешено индексировать текст и ссылки на странице, аналогично <meta name="robots" content="index, follow"/>
<meta name="robots" content="noindex"/> — не индексировать текст страницы,
<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице и не индексировать их,
<meta name="robots" content="none"/> — запрещено индексировать и текст, и ссылки на странице, аналогично <meta name="robots" content="noindex, nofollow"/>
<meta name="robots" cont


И по-моему это приведет, к полному выпадения сайта из индекса.

(DeniZ @ 28.2.2012, 12:37) *
Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?


Либо Роботс не правильный, либо руки кривые.
У меня он хавает, только то, что ему разрешено.
Проверял даже, закрывал папку с картинками, они выпали с индекса, открыл, вернулись.
Он внимательно роботс читает. wink.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ErgoProxy
ErgoProxy
Topic Starter сообщение 29.2.2012, 2:27; Ответить: ErgoProxy
Сообщение #6


Zidein
На страницах, запрещённые к индексации, размещать тег:
<meta name="robots" content="noindex,follow" />

На страницах, разрешённых к индексации, размещать тег:
<meta name="robots" content="all" />

Так нельзя делать что ли? Или что вы имели в виду?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 29.2.2012, 2:36; Ответить: anchous
Сообщение #7


(Zidein @ 28.2.2012, 10:50) *
Либо Роботс не правильный, либо руки кривые.


главное это удачно обосрать собеседника, правда? wink.gif
если вы прочтете справку гугля, то увидите что они сами говорят о том, что роботы могут индексить закрытое в роботсе, например из других источников, и единственно верный способ закрытия от индексации - это пользоваться метатегами, что надо понимать, как если чо, то не обессудьте.
а эмпирически- гугль частенько еще и принимает к сведению описание в роботсе и добивает этим индекс, если не видел эти страницы до того как хитроумный вебмастер решил их от греха закрыть от индексации.

Сообщение отредактировал anchous - 29.2.2012, 2:41


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mаx
Mаx
сообщение 29.2.2012, 3:23; Ответить: Mаx
Сообщение #8


Единственно правильный и эффективный способ избавиться от дублей страниц этот способ, ТС настоятельно рекомендую:

В корне сайта (там где и index.php) находится файл .htaccess, ниже RewriteEngine On прописываем этот скрипт:
#Редиректы 301
RewriteCond %{HTTP_HOST} ^www.sitename.ru$ [NC]
RewriteRule ^(.*)$ http://sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

Это вариант для переадресации с www.sitename.ru на сайт sitename.ru

А если нужна переадресация с sitename.ru на сайт www.sitename.ru, то прописываем этот скрипт:
#Редиректы 301
RewriteCond %{HTTP_HOST} ^sitename.ru
RewriteRule (.*) http://www.sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]


Внимание: не забудьте доменнное имя в скрипте sitename.ru, сменить на своё и отредактировать так же файл robots.txt ... сайт будет доступен только с www или без www, в зависимости от того как вы поставили в настройках!!!

Это избавит сайт от многих проблем, уж поверьте проверено на собственном опыте. Удачи.

PS: так же не мешало бы поставить хак запрета индексации несуществующих страниц и свою страницу ошибок 404

Результат: дублей не будет вообще как ВИД и следовательно ни чего не нужно закрывать и не наживать себе лишнего гемора.

Сообщение отредактировал Mаx - 29.2.2012, 3:01
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 29.2.2012, 3:48; Ответить: hybrid
Сообщение #9


ErgoProxy, я бы закрыл, оставив в индексе лишь страницы новостей и главную. Даже, если на страницы дублей идет трафик. Рано или поздно ПС могут что-то изменить в своих алгоритмах, и лучше быть на шаг впереди.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
santis
santis
сообщение 29.2.2012, 4:24; Ответить: santis
Сообщение #10


Ергопрокси - hybrid, прав на 100%.
И советую вас все таки закрыть.
Имею горький опыт с дублями контента, причем не один, у брата тоже случилось подобное из-за того что он забил на это дело.
В принципи, с дублями сайт нормально существует, получает посетителей и так далее, но в один прекрасный день, приходит злой Яша, не знаю может быть ПМС, и берет твой сайт и выгоняет его из ТОП-10-20. Как далеко и сколько? Сначало из 25 запросов вылетало выборочно 1-2 и не далеко, где то до 30-35 места, конкуренция в тематике хорошая и думал я, ну может гайки подкрутили. Но в один прекрасный момент вылетели практически все минуса были огромные, кто на 200 позиций кто на 100.
Написал в Яндекс, ответили довольно быстро и показали где страница дублируется в каждом разделе. Убрали дублирование материалов ( была ошибка в коде) все вернулось на свои места за пару АПов.

У брата по меньше проблема, но частично такая же.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Причины падения трафика на сайте
5 Aleks41 740 5.12.2021, 21:06
автор: WGN
Открытая тема (нет новых ответов) Посоветуйте скрипт интернет-магазина
(партнерская программа - критична!)
9 Aloof 4627 2.12.2021, 15:03
автор: Ilonek
Открытая тема (нет новых ответов) Контакты на сайте. Оставлять или нет?
6 metvekot 2249 1.12.2021, 20:47
автор: Freedo
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыYtuber.su - онлайн магазин, купить ютубер (ytuber) баллы в 3 раза дешевле, чем на сайте ytuber.ru!
76 dimon171983 27047 30.11.2021, 13:11
автор: dimon171983
Открытая тема (нет новых ответов) Почему нет поискового трафика на сайте?
19 Avistar 2859 22.11.2021, 9:40
автор: Avistar


 



RSS Текстовая версия Сейчас: 8.12.2021, 5:45
Дизайн