[X] Помощник

[ErgoProxy Topic Starter]

Сайт http://www.anime-news.org.ua/ существует уже более 3 лет, новостей на сайте на данный момент 2745 штук, страниц в индексе ПС Yandex на данный момент 2972 штук, страниц в индексе ПС Google 3550 штук. Дубликаты страниц на сайте никогда не закрывал и сейчас не закрыты. Стоит ли закрыть их? Не приведёт ли к негативным последствиям такое резкое снижение количество страниц разрешённых к индексации?

Если закрывать дубликаты, то тогда планирую закрыть все абсолютно страницы кроме: главной страницы, первых страниц категорий и страницы новостей. То есть к индексации будут открыты только страницы, которые есть в наличие в sitemap.xml. Закрывать страницы планирую вот таким тегом:

<meta name="robots" content="noindex,follow" />

И если я пойду на такой шаг то, что это даст, поднимется ли, например, сайт в позициях по запросам? Или какой положительный эффект может проявиться при такой манипуляции над сайтом?

[forsale]

Ну поидее может улучшиться индексация - если есть какието контентные страницы, которые невошли в индекс, то возможно ПС их охотнее скушают. Кстати Гуглу пофиг, закрываете Вы страницы от индексации или нет, всеравно сжирает, а вот Яша быстро все лишнее повыкидывает.

[kn900]

Стоит закрыть, поисковые - особенно Яндекс воспримут положительно.

[DeniZ]

Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?

[Zidein]

По-моему при вашем варианте, робот не должен ни индексировать документ, ни анализировать стоящие на нем ссылки.

<meta name="robots" content="noindex,follow" />

Для справки, теги как понимает их Яндекс:

<meta name="robots" content="all"/> — разрешено индексировать текст и ссылки на странице, аналогично <meta name="robots" content="index, follow"/>
<meta name="robots" content="noindex"/> — не индексировать текст страницы,
<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице и не индексировать их,
<meta name="robots" content="none"/> — запрещено индексировать и текст, и ссылки на странице, аналогично <meta name="robots" content="noindex, nofollow"/>
<meta name="robots" cont

И по-моему это приведет, к полному выпадения сайта из индекса.

Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы.
Посоветуйте, как с этим бороться?

Либо Роботс не правильный, либо руки кривые.
У меня он хавает, только то, что ему разрешено.
Проверял даже, закрывал папку с картинками, они выпали с индекса, открыл, вернулись.
Он внимательно роботс читает.

[ErgoProxy Topic Starter]

Zidein
На страницах, запрещённые к индексации, размещать тег:

<meta name="robots" content="noindex,follow" />

На страницах, разрешённых к индексации, размещать тег:

<meta name="robots" content="all" />

Так нельзя делать что ли? Или что вы имели в виду?

[anchous]

Либо Роботс не правильный, либо руки кривые.

главное это удачно обосрать собеседника, правда?
если вы прочтете справку гугля, то увидите что они сами говорят о том, что роботы могут индексить закрытое в роботсе, например из других источников, и единственно верный способ закрытия от индексации - это пользоваться метатегами, что надо понимать, как если чо, то не обессудьте.
а эмпирически- гугль частенько еще и принимает к сведению описание в роботсе и добивает этим индекс, если не видел эти страницы до того как хитроумный вебмастер решил их от греха закрыть от индексации.

Сообщение отредактировал anchous - 29.2.2012, 2:41

[Mаx]

Единственно правильный и эффективный способ избавиться от дублей страниц этот способ, ТС настоятельно рекомендую:

В корне сайта (там где и index.php) находится файл .htaccess, ниже RewriteEngine On прописываем этот скрипт:

#Редиректы 301
RewriteCond %{HTTP_HOST} ^www.sitename.ru$ [NC]
RewriteRule ^(.*)$ http://sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

Это вариант для переадресации с www.sitename.ru на сайт sitename.ru

А если нужна переадресация с sitename.ru на сайт www.sitename.ru, то прописываем этот скрипт:

#Редиректы 301
RewriteCond %{HTTP_HOST} ^sitename.ru
RewriteRule (.*) http://www.sitename.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

Внимание: не забудьте доменнное имя в скрипте sitename.ru, сменить на своё и отредактировать так же файл robots.txt ... сайт будет доступен только с www или без www, в зависимости от того как вы поставили в настройках!!!

Это избавит сайт от многих проблем, уж поверьте проверено на собственном опыте. Удачи.

PS: так же не мешало бы поставить хак запрета индексации несуществующих страниц и свою страницу ошибок 404

Результат: дублей не будет вообще как ВИД и следовательно ни чего не нужно закрывать и не наживать себе лишнего гемора.

Сообщение отредактировал Mаx - 29.2.2012, 3:01

[hybrid]

ErgoProxy, я бы закрыл, оставив в индексе лишь страницы новостей и главную. Даже, если на страницы дублей идет трафик. Рано или поздно ПС могут что-то изменить в своих алгоритмах, и лучше быть на шаг впереди.

[santis]

Ергопрокси - hybrid, прав на 100%.
И советую вас все таки закрыть.
Имею горький опыт с дублями контента, причем не один, у брата тоже случилось подобное из-за того что он забил на это дело.
В принципи, с дублями сайт нормально существует, получает посетителей и так далее, но в один прекрасный день, приходит злой Яша, не знаю может быть ПМС, и берет твой сайт и выгоняет его из ТОП-10-20. Как далеко и сколько? Сначало из 25 запросов вылетало выборочно 1-2 и не далеко, где то до 30-35 места, конкуренция в тематике хорошая и думал я, ну может гайки подкрутили. Но в один прекрасный момент вылетели практически все минуса были огромные, кто на 200 позиций кто на 100.
Написал в Яндекс, ответили довольно быстро и показали где страница дублируется в каждом разделе. Убрали дублирование материалов ( была ошибка в коде) все вернулось на свои места за пару АПов.

У брата по меньше проблема, но частично такая же.