Помощник
|
Посоветуйте, стоит ли закрыть дубликаты на сайте |
ErgoProxy
|
Сообщение
#1
|
||
|
|
||
|
|||
forsale |
28.2.2012, 2:51;
Ответить: forsale
Сообщение
#2
|
|
Ну поидее может улучшиться индексация - если есть какието контентные страницы, которые невошли в индекс, то возможно ПС их охотнее скушают. Кстати Гуглу пофиг, закрываете Вы страницы от индексации или нет, всеравно сжирает, а вот Яша быстро все лишнее повыкидывает.
|
|
|
kn900 |
28.2.2012, 6:09;
Ответить: kn900
Сообщение
#3
|
|
Стоит закрыть, поисковые - особенно Яндекс воспримут положительно.
-------------------- |
|
|
DeniZ |
28.2.2012, 10:37;
Ответить: DeniZ
Сообщение
#4
|
|
Воспользуюсь темой ТСа для своего вопроса.
Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы. Посоветуйте, как с этим бороться? -------------------- |
|
|
Zidein |
28.2.2012, 10:50;
Ответить: Zidein
Сообщение
#5
|
|
По-моему при вашем варианте, робот не должен ни индексировать документ, ни анализировать стоящие на нем ссылки.
<meta name="robots" content="noindex,follow" /> Для справки, теги как понимает их Яндекс: <meta name="robots" content="all"/> — разрешено индексировать текст и ссылки на странице, аналогично <meta name="robots" content="index, follow"/> <meta name="robots" content="noindex"/> — не индексировать текст страницы, <meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице и не индексировать их, <meta name="robots" content="none"/> — запрещено индексировать и текст, и ссылки на странице, аналогично <meta name="robots" content="noindex, nofollow"/> <meta name="robots" cont И по-моему это приведет, к полному выпадения сайта из индекса. Воспользуюсь темой ТСа для своего вопроса. Не секрет, что Гугл, частенько, "забивает" на robots.txt и поглощает массу страниц, которые не надо было бы. Посоветуйте, как с этим бороться? Либо Роботс не правильный, либо руки кривые. У меня он хавает, только то, что ему разрешено. Проверял даже, закрывал папку с картинками, они выпали с индекса, открыл, вернулись. Он внимательно роботс читает. |
|
|
ErgoProxy
|
Сообщение
#6
|
|
Zidein
На страницах, запрещённые к индексации, размещать тег: <meta name="robots" content="noindex,follow" /> На страницах, разрешённых к индексации, размещать тег: <meta name="robots" content="all" /> Так нельзя делать что ли? Или что вы имели в виду? |
|
|
anchous |
29.2.2012, 2:36;
Ответить: anchous
Сообщение
#7
|
|
Либо Роботс не правильный, либо руки кривые. главное это удачно обосрать собеседника, правда? если вы прочтете справку гугля, то увидите что они сами говорят о том, что роботы могут индексить закрытое в роботсе, например из других источников, и единственно верный способ закрытия от индексации - это пользоваться метатегами, что надо понимать, как если чо, то не обессудьте. а эмпирически- гугль частенько еще и принимает к сведению описание в роботсе и добивает этим индекс, если не видел эти страницы до того как хитроумный вебмастер решил их от греха закрыть от индексации. Сообщение отредактировал anchous - 29.2.2012, 2:41 -------------------- |
|
|
Mаx |
29.2.2012, 3:23;
Ответить: Mаx
Сообщение
#8
|
|
Единственно правильный и эффективный способ избавиться от дублей страниц этот способ, ТС настоятельно рекомендую:
В корне сайта (там где и index.php) находится файл .htaccess, ниже RewriteEngine On прописываем этот скрипт: #Редиректы 301 RewriteCond %{HTTP_HOST} ^www.sitename.ru$ [NC] RewriteRule ^(.*)$ http://sitename.ru/$1 [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/ RewriteRule ^index\.html$ / [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ / [R=301,L] Это вариант для переадресации с www.sitename.ru на сайт sitename.ru А если нужна переадресация с sitename.ru на сайт www.sitename.ru, то прописываем этот скрипт: #Редиректы 301 RewriteCond %{HTTP_HOST} ^sitename.ru RewriteRule (.*) http://www.sitename.ru/$1 [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/ RewriteRule ^index\.html$ / [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ / [R=301,L] Внимание: не забудьте доменнное имя в скрипте sitename.ru, сменить на своё и отредактировать так же файл robots.txt ... сайт будет доступен только с www или без www, в зависимости от того как вы поставили в настройках!!! Это избавит сайт от многих проблем, уж поверьте проверено на собственном опыте. Удачи. PS: так же не мешало бы поставить хак запрета индексации несуществующих страниц и свою страницу ошибок 404 Результат: дублей не будет вообще как ВИД и следовательно ни чего не нужно закрывать и не наживать себе лишнего гемора. Сообщение отредактировал Mаx - 29.2.2012, 3:01 |
|
|
hybrid |
29.2.2012, 3:48;
Ответить: hybrid
Сообщение
#9
|
|
ErgoProxy, я бы закрыл, оставив в индексе лишь страницы новостей и главную. Даже, если на страницы дублей идет трафик. Рано или поздно ПС могут что-то изменить в своих алгоритмах, и лучше быть на шаг впереди.
|
|
|
santis |
29.2.2012, 4:24;
Ответить: santis
Сообщение
#10
|
|
Ергопрокси - hybrid, прав на 100%.
И советую вас все таки закрыть. Имею горький опыт с дублями контента, причем не один, у брата тоже случилось подобное из-за того что он забил на это дело. В принципи, с дублями сайт нормально существует, получает посетителей и так далее, но в один прекрасный день, приходит злой Яша, не знаю может быть ПМС, и берет твой сайт и выгоняет его из ТОП-10-20. Как далеко и сколько? Сначало из 25 запросов вылетало выборочно 1-2 и не далеко, где то до 30-35 места, конкуренция в тематике хорошая и думал я, ну может гайки подкрутили. Но в один прекрасный момент вылетели практически все минуса были огромные, кто на 200 позиций кто на 100. Написал в Яндекс, ответили довольно быстро и показали где страница дублируется в каждом разделе. Убрали дублирование материалов ( была ошибка в коде) все вернулось на свои места за пару АПов. У брата по меньше проблема, но частично такая же. -------------------- |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Посоветуйте массажер для спины и шеи | 11 | Boymaster | 934 | Вчера, 18:24 автор: Arsenwenger |
|
Странный трафик на сайте длительное время | 34 | TABAK | 9158 | 24.4.2024, 23:38 автор: Arsenwenger |
|
CryptoCloud — прием USDT, BTC, ETH, LTC на любом сайте | 37 | CryptoCLoud | 10832 | 24.4.2024, 15:37 автор: CryptoCLoud |
|
Боты могут делать пушподписки на моём сайте? | 3 | Megaspryt | 993 | 24.4.2024, 5:18 автор: Skyworker |
|
Быстрый и качественный обмен на сайте Baksman.org Обмен Bitcoin, BTC-e, PM, Qiwi, Yandex money, Карты банк |
53 | Baksman | 33843 | 23.4.2024, 11:29 автор: Baksman |
Текстовая версия | Сейчас: 26.4.2024, 2:30 |