X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Что следует запрещать к индексации в WP!
referer
referer
Topic Starter сообщение 17.1.2011, 19:41; Ответить: referer
Сообщение #1


Завсегдатай
*****


Группа: Active User
Сообщений: 684
Регистрация: 20.11.2010
Из: Украина, Николаев
Поблагодарили: 78 раз
Репутация:   25  


Собственно вопрос. Что необходимо запрещать к индексации в WordPress. Кидаю свою версию для разных вариантов навигации (ЧПУ) по сайту)

User-agent: *
Allow: /wp-content/uploads/ (разрешаем)

запрещаем
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /tag/
Disallow: /?s=
Disallow: /?m=
Disallow: /date/
Disallow: /page/
Disallow: /?paged=
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Поправьте что оставить а что дополнить плиззз
Также хочу уточнить что варианты
Disallow: /page/
Disallow: /?paged=
Одинаковы, но привел пример для разных вариаций ЧПУ в WP.
То же самое касательно остальных надстроек роботса...

И ещё одно! Если я скрою от индексации страницы 1,2...19842 и т.п. т.е. /page/ и подобные... (т.к. это считается дублированный контент) яндекс и гугль найдут страницы постов? 0_0 ведь в рубриках, архивах также внизу страниц всё сводится к /paged/ т.е. индексация 3-го уровня страниц полностью зависит от индексации этих самых /paged/. Либо Яндекс, гугль и другие всё поймут заглянув в sitemap.xml ? Я так понимаю вообще всё следует запретить к индексации кроме страниц, которые генерятся в sitemaps =) вернО? А там только категории генерятся и страницы с полной новостью + главная сайта и ВСЁ!

Сообщение отредактировал referer - 17.1.2011, 19:43


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kronos
kronos
сообщение 17.1.2011, 20:39; Ответить: kronos
Сообщение #2


Белый веб-мастер
*******


Группа: Active User
Сообщений: 4703
Регистрация: 10.2.2009
Из: Харьков
Поблагодарили: 2629 раз
Репутация:   327  


(referer @ 17.1.2011, 17:41) *
яндекс и гугль найдут страницы постов

Найдет. Он не включает эти страницы в индекс, но все же ходит по ним.

Стоит исключать все, что не приносит трафик (и в будущем приносить не планирует)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
referer
referer
Topic Starter сообщение 18.1.2011, 0:05; Ответить: referer
Сообщение #3


Завсегдатай
*****


Группа: Active User
Сообщений: 684
Регистрация: 20.11.2010
Из: Украина, Николаев
Поблагодарили: 78 раз
Репутация:   25  


Ок. Спасибо! paged/ в принципе трафик приносят.... но они ведь являются как бы клонами контента самих постов 0_0 это что-то схожее с тегами получается... следовательно и это следует скрывать, верно?

Просто у многих всё по-разному скрывается от индексации... и даже комментарии. Комментарии также необходимо закрывать от индексации?

Объясните кто-нибудь нужно ли СТРАНИЦЫ (/page/) скрывать, КАТЕГОРИИ (/category/) и АРХИВЫ (/date/)!?!?!?!? Это всё способно ведь на яндексе негативно сказаться? Дублированный контент как ни как??? Я облазил все блоги у всех всё по-разному... и одновременно ВСЁ это никто не запрещает к индексу но я всё же хочу всё это от индекса скрыть, но боюсь как бы зря не было!

http://ru.forums.wordpress.org/topic/robot...es=3#post-36293 вот тут поставил более точно вопрос! Помогите с его решением плиззз((( а то мнения расходятся!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКто и что читает?
Любимые и не только, книги.
251 Levels 31014 Сегодня, 16:47
автор: Catherine_Molli
Открытая тема (нет новых ответов) Карим Баратов признался, что имел отношение ко взлому компании Yahoo
4 MissContent 601 Сегодня, 16:38
автор: wertu
Горячая тема (нет новых ответов) Что лучше, фриланс, удаленка, или работа в офисе солидной компании?
93 Levizar 7508 Сегодня, 16:27
автор: Catherine_Molli
Открытая тема (нет новых ответов) Что вы можете сказать про мегакассу?
16 DimaMyrzich 3544 7.12.2017, 16:13
автор: vds4you
Горячая тема (нет новых ответов) что лучше? Группа или страничка личная?
103 vipms 16924 6.12.2017, 3:14
автор: jingo


 



RSS Текстовая версия Сейчас: 11.12.2017, 19:20
Дизайн