X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите настроить robots.txt для сайта узкой тематики
skrivelyov
skrivelyov
Topic Starter сообщение 5.6.2014, 15:04; Ответить: skrivelyov
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 90
Регистрация: 5.12.2013
Поблагодарили: 3 раза
Репутация:   0  


Доброго времени суток, уважаемые форумчане.

У меня возник один важный для меня вопрос, касающийся моего сайта. Сайту уже около 3 лет, сделан на WP, вот в чем дело, я не настраивал robots.txt из-за этого возникло много одинаковых страниц по разным запросам.

Что мен сейчас лучше сделать, оставить все как есть или же все-таки настроить robots.txt? Если настраивать, тогда как лучше мне сделать это для моего сайта, с тематекой астрономии, космоса и т.д.

Вот сайт http://nasha-vselennaya.ru/

Заранее спасибо за помощь


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 5.6.2014, 16:27; Ответить: n0rv
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 433
Регистрация: 8.1.2011
Из: Калуга
Поблагодарили: 161 раз
Репутация:   27  


Цитата(skrivelyov @ 5.6.2014, 15:04) *
оставить все как есть или же все-таки настроить robots.txt?

Конечно же настроить. Скрывайте весь шлак, пагинацию, метки, категории (если не оптимизированы под запросы).
Можете уже готовый роботс скачать, у вас ЧПУ стандартное, так что можете смело гуглить "правильный robots.txt для wordpress", там и описание найдете к нему.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
skrivelyov
skrivelyov
Topic Starter сообщение 5.6.2014, 16:30; Ответить: skrivelyov
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 90
Регистрация: 5.12.2013
Поблагодарили: 3 раза
Репутация:   0  


n0rv, Благодарю, сейчас попробую


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sergey1983
Sergey1983
сообщение 13.6.2014, 7:46; Ответить: Sergey1983
Сообщение #4


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 11.6.2014
Поблагодарили: 2 раза
Репутация:   0  


Цитата
из-за этого возникло много одинаковых страниц по разным запросам


для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt

поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DOleg
DOleg
сообщение 13.6.2014, 11:30; Ответить: DOleg
Сообщение #5


Частый гость
**

Группа: User
Сообщений: 61
Регистрация: 25.5.2014
Поблагодарили: 26 раз
Репутация:   2  


Цитата(Sergey1983 @ 13.6.2014, 5:46) *
для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt

поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"

В первую очередь robots.txt, далее canonical, и далее META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW".



Сообщение отредактировал DOleg - 13.6.2014, 11:31
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ducurel
ducurel
сообщение 13.6.2014, 15:24; Ответить: ducurel
Сообщение #6


Новичок
*

Группа: Viewer
Сообщений: 11
Регистрация: 3.10.2012
Поблагодарили: 0 раз
Репутация:   -2  


User-Agent: Yandex
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */*/feed/*/
Disallow: */*/feed
Disallow: *?replytocom
Disallow: */trackback
Disallow: /cache
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host: nasha-vselennaya.ru
User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /feed/
Disallow: */feed
Disallow: */*/feed/*/
Disallow: */*/feed
Disallow: *?replytocom
Disallow: /cache
Disallow: /*?
Disallow: /*?*
Disallow: /?s=
Disallow: /*.php
Sitemap: http://nasha-vselennaya.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Denis_Semenets
Denis_Semenets
сообщение 28.7.2014, 8:48; Ответить: Denis_Semenets
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 2
Регистрация: 24.7.2014
Поблагодарили: 0 раз
Репутация:   0  


Может не совсем в тему, но у меня такая проблема.
Блог на ВП. Какая-то фигня с шаблоном. В functions.php вроде бы все настроено
CODE
function my_meta_noindex () {

if (

is_paged()

) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";}

А когда просматриваешь результат на странице показывает
CODE
<meta name="robots" content="index,follow" />


Что за ситуация, не подскажете?
Опережая вопросы, это происходит на всех страницах. Дубли там, не дубли. Все в индекс.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DOleg
DOleg
сообщение 28.7.2014, 15:11; Ответить: DOleg
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 61
Регистрация: 25.5.2014
Поблагодарили: 26 раз
Репутация:   2  


Цитата(Denis_Semenets @ 28.7.2014, 6:48) *
Что за ситуация, не подскажете?

Подскажу.
is_paged() - Проверяет отображается ли страница пагинации (страница типа /page/2, /page/3)
Т.е. на странице 2, 3, ..., должно быть "noindex,nofollow", на первой или единственной "index,follow".
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Бесплатные советы по улучшению юзабилити сайта
5-10 пунктов на человека, публично в теме
7 Caterpillar 702 Сегодня, 16:58
автор: Caterpillar
Открытая тема (нет новых ответов) [РЕКОМЕНДУЮ] >>>Тестирование Вашего сайта, сервера на устойчивость и уязвимость!
17 barbaddos 2276 Сегодня, 16:57
автор: barbaddos
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыSE Ranking – новый сервис для проверки позиций сайтов в поисковиках
172 seranking 157761 Сегодня, 16:34
автор: One_on_One
Открытая тема (нет новых ответов) Проги для редактирования style.css
14 minutkin 970 Сегодня, 16:01
автор: Nell
Горячая тема (нет новых ответов) Главная страница сайта.Больше текста или фото?
98 PROK777 16561 Сегодня, 15:57
автор: vsemmoney


 



RSS Текстовая версия Сейчас: 11.12.2017, 17:27
Дизайн