Помощник
 |
Сообщение сайта
Здравствуйте, гость ( Вход | Регистрация )
|
 Помогите настроить robots.txt для сайта узкой тематики |
skrivelyov
|
Сообщение
#1
|
||
|
Частый гость  Группа: User Сообщений: 90 Регистрация: 5.12.2013 Поблагодарили: 3 раза Репутация:  0 
 |
|
||
 |
|
||
|
n0rv
|
 5.6.2014, 16:27;
Ответить: n0rv
Сообщение
#2
|
 Бывалый Группа: User Сообщений: 485 Регистрация: 8.1.2011 Из: Калуга Поблагодарили: 163 раза Репутация: 27
|
Цитата(skrivelyov @ 5.6.2014, 15:04)  оставить все как есть или же все-таки настроить robots.txt? Конечно же настроить. Скрывайте весь шлак, пагинацию, метки, категории (если не оптимизированы под запросы). Можете уже готовый роботс скачать, у вас ЧПУ стандартное, так что можете смело гуглить "правильный robots.txt для wordpress", там и описание найдете к нему. -------------------- |
|
|
|
|
skrivelyov
|
Сообщение
#3
|
|
Частый гость Группа: User Сообщений: 90 Регистрация: 5.12.2013 Поблагодарили: 3 раза Репутация: 0
|
n0rv, Благодарю, сейчас попробую
-------------------- |
|
|
|
Sergey1983
|
13.6.2014, 7:46;
Ответить: Sergey1983
Сообщение
#4
|
|
Новичок Группа: User Сообщений: 16 Регистрация: 11.6.2014 Поблагодарили: 2 раза Репутация: 0
|
Цитата из-за этого возникло много одинаковых страниц по разным запросам для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" |
|
|
|
|
DOleg
|
 13.6.2014, 11:30;
Ответить: DOleg
Сообщение
#5
|
|
Частый гость Группа: User Сообщений: 61 Регистрация: 25.5.2014 Поблагодарили: 26 раз Репутация: 2
|
Цитата(Sergey1983 @ 13.6.2014, 5:46) для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW" В первую очередь robots.txt, далее canonical, и далее META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW". Сообщение отредактировал DOleg - 13.6.2014, 11:31 |
|
|
|
|
ducurel
|
13.6.2014, 15:24;
Ответить: ducurel
Сообщение
#6
|
|
Новичок Группа: Viewer Сообщений: 11 Регистрация: 3.10.2012 Поблагодарили: 0 раз Репутация: -2
|
User-Agent: Yandex
Allow: */uploads Disallow: /cgi-bin Disallow: /wp-login.php Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /feed/ Disallow: */feed Disallow: */*/feed/*/ Disallow: */*/feed Disallow: *?replytocom Disallow: */trackback Disallow: /cache Disallow: /*? Disallow: /*?* Disallow: /*.php Host: nasha-vselennaya.ru User-agent: * Allow: */uploads Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /feed/ Disallow: */feed Disallow: */*/feed/*/ Disallow: */*/feed Disallow: *?replytocom Disallow: /cache Disallow: /*? Disallow: /*?* Disallow: /?s= Disallow: /*.php Sitemap: http://nasha-vselennaya.ru/sitemap.xml |
|
|
|
|
Denis_Semenets
|
28.7.2014, 8:48;
Ответить: Denis_Semenets
Сообщение
#7
|
|
Новичок Группа: Viewer Сообщений: 2 Регистрация: 24.7.2014 Поблагодарили: 0 раз Репутация: 0
|
Может не совсем в тему, но у меня такая проблема.
Блог на ВП. Какая-то фигня с шаблоном. В functions.php вроде бы все настроено CODE function my_meta_noindex () { if ( is_paged() ) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";} А когда просматриваешь результат на странице показывает CODE <meta name="robots" content="index,follow" /> Что за ситуация, не подскажете? Опережая вопросы, это происходит на всех страницах. Дубли там, не дубли. Все в индекс. |
|
|
|
|
DOleg
|
28.7.2014, 15:11;
Ответить: DOleg
Сообщение
#8
|
|
|
Частый гость Группа: User Сообщений: 61 Регистрация: 25.5.2014 Поблагодарили: 26 раз Репутация: 2
|
Цитата(Denis_Semenets @ 28.7.2014, 6:48) Что за ситуация, не подскажете? Подскажу. is_paged() - Проверяет отображается ли страница пагинации (страница типа /page/2, /page/3) Т.е. на странице 2, 3, ..., должно быть "noindex,nofollow", на первой или единственной "index,follow".
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Facebook придумал TikTok для рэперов | 0 | VinogradOFF | 32 | Сегодня, 2:31 автор: VinogradOFF |
|
Есть смысл быть частным предпринимателем для статуса? | 17 | Webranger | 422 | Вчера, 23:34 автор: MorKer |
|
CMS для сайтов с переводами песен | 0 | icefog | 79 | Вчера, 17:22 автор: icefog |
|
Платформа для мебельного магазина | 0 | icefog | 48 | Вчера, 17:20 автор: icefog |
|
Посоветуйте Amp плагин для вордпресс чтобы все корректно работало? | 4 | pozitron123 | 438 | Вчера, 12:50 автор: Buster |
|
Текстовая версия | Сейчас: 2.3.2021, 11:36 |
