Помощник
 |
|
|
|
|
Сообщение сайта
|
 Помогите настроить robots.txt для сайта узкой тематики |
skrivelyov
|
Сообщение
#1
|
||
|
Частый гость  Группа: User Сообщений: 90 Регистрация: 5.12.2013 Поблагодарили: 3 раза Репутация:  0 
 |
|
||
 |
|
||
|
n0rv
|
 5.6.2014, 16:27;
Ответить: n0rv
Сообщение
#2
|
 Бывалый Группа: User Сообщений: 485 Регистрация: 8.1.2011 Из: Калуга Поблагодарили: 163 раза Репутация: 27
|
Цитата(skrivelyov @ 5.6.2014, 15:04)  оставить все как есть или же все-таки настроить robots.txt? Конечно же настроить. Скрывайте весь шлак, пагинацию, метки, категории (если не оптимизированы под запросы). Можете уже готовый роботс скачать, у вас ЧПУ стандартное, так что можете смело гуглить "правильный robots.txt для wordpress", там и описание найдете к нему. -------------------- |
|
|
|
|
skrivelyov
|
Сообщение
#3
|
|
Частый гость Группа: User Сообщений: 90 Регистрация: 5.12.2013 Поблагодарили: 3 раза Репутация: 0
|
n0rv, Благодарю, сейчас попробую
-------------------- |
|
|
|
Sergey1983
|
13.6.2014, 7:46;
Ответить: Sergey1983
Сообщение
#4
|
|
Новичок Группа: User Сообщений: 16 Регистрация: 11.6.2014 Поблагодарили: 2 раза Репутация: 0
|
Цитата из-за этого возникло много одинаковых страниц по разным запросам для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" |
|
|
|
|
DOleg
|
 13.6.2014, 11:30;
Ответить: DOleg
Сообщение
#5
|
|
Частый гость Группа: User Сообщений: 61 Регистрация: 25.5.2014 Поблагодарили: 26 раз Репутация: 2
|
Цитата(Sergey1983 @ 13.6.2014, 5:46) для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" В первую очередь robots.txt, далее canonical, и далее META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW". Сообщение отредактировал DOleg - 13.6.2014, 11:31 |
|
|
|
|
ducurel
|
13.6.2014, 15:24;
Ответить: ducurel
Сообщение
#6
|
|
Новичок Группа: Viewer Сообщений: 11 Регистрация: 3.10.2012 Поблагодарили: 0 раз Репутация: -2
|
User-Agent: Yandex
Allow: */uploads Disallow: /cgi-bin Disallow: /wp-login.php Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /feed/ Disallow: */feed Disallow: */*/feed/*/ Disallow: */*/feed Disallow: *?replytocom Disallow: */trackback Disallow: /cache Disallow: /*? Disallow: /*?* Disallow: /*.php Host: nasha-vselennaya.ru User-agent: * Allow: */uploads Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /feed/ Disallow: */feed Disallow: */*/feed/*/ Disallow: */*/feed Disallow: *?replytocom Disallow: /cache Disallow: /*? Disallow: /*?* Disallow: /?s= Disallow: /*.php Sitemap: http://nasha-vselennaya.ru/sitemap.xml |
|
|
|
|
Denis_Semenets
|
28.7.2014, 8:48;
Ответить: Denis_Semenets
Сообщение
#7
|
|
Новичок Группа: Viewer Сообщений: 2 Регистрация: 24.7.2014 Поблагодарили: 0 раз Репутация: 0
|
Может не совсем в тему, но у меня такая проблема.
Блог на ВП. Какая-то фигня с шаблоном. В functions.php вроде бы все настроено CODE function my_meta_noindex () { if ( is_paged() ) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";} А когда просматриваешь результат на странице показывает CODE <meta name="robots" content="index,follow" /> Что за ситуация, не подскажете? Опережая вопросы, это происходит на всех страницах. Дубли там, не дубли. Все в индекс. |
|
|
|
|
DOleg
|
28.7.2014, 15:11;
Ответить: DOleg
Сообщение
#8
|
|
|
Частый гость Группа: User Сообщений: 61 Регистрация: 25.5.2014 Поблагодарили: 26 раз Репутация: 2
|
Цитата(Denis_Semenets @ 28.7.2014, 6:48) Что за ситуация, не подскажете? Подскажу. is_paged() - Проверяет отображается ли страница пагинации (страница типа /page/2, /page/3) Т.е. на странице 2, 3, ..., должно быть "noindex,nofollow", на первой или единственной "index,follow".
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Instagram - ТОП 3 сервиса для раскрутки магазина, бизнеса, блога, личного аккаунта Раскрутить Инстаграм магазин, бизнес, блог, личный аккаунт |
12 | Tanluck | 2002 | Сегодня, 14:26 автор: WGN |
|
301 редирект для поддоменов хелп |
8 | GlazAlmaz | 1169 | Сегодня, 11:15 автор: miketomlin |
 |
Ускорение вашего сайта и сервера. Системный администратор Linux | 33 | EvaSystems | 22356 | Сегодня, 2:25 автор: EvaSystems |
|
Написать универсальный движок для сайтов на PHP | 16 | BuxarNET | 1643 | Сегодня, 0:51 автор: kvsgeek |
|
Скачивание файлов со стороннего сайта | 7 | VostrVL | 456 | Вчера, 19:26 автор: Starpony |
|
Текстовая версия | Сейчас: 18.4.2021, 15:39 |
