X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Помогите настроить robots.txt для сайта узкой тематики
skrivelyov
skrivelyov
Topic Starter сообщение 5.6.2014, 15:04; Ответить: skrivelyov
Сообщение #1


Доброго времени суток, уважаемые форумчане.

У меня возник один важный для меня вопрос, касающийся моего сайта. Сайту уже около 3 лет, сделан на WP, вот в чем дело, я не настраивал robots.txt из-за этого возникло много одинаковых страниц по разным запросам.

Что мен сейчас лучше сделать, оставить все как есть или же все-таки настроить robots.txt? Если настраивать, тогда как лучше мне сделать это для моего сайта, с тематекой астрономии, космоса и т.д.

Вот сайт http://nasha-vselennaya.ru/

Заранее спасибо за помощь


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
n0rv
n0rv
сообщение 5.6.2014, 16:27; Ответить: n0rv
Сообщение #2


Цитата(skrivelyov @ 5.6.2014, 15:04) *
оставить все как есть или же все-таки настроить robots.txt?

Конечно же настроить. Скрывайте весь шлак, пагинацию, метки, категории (если не оптимизированы под запросы).
Можете уже готовый роботс скачать, у вас ЧПУ стандартное, так что можете смело гуглить "правильный robots.txt для wordpress", там и описание найдете к нему.


--------------------
Комплексная оптимизация и продвижение сайтов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
skrivelyov
skrivelyov
Topic Starter сообщение 5.6.2014, 16:30; Ответить: skrivelyov
Сообщение #3


n0rv, Благодарю, сейчас попробую


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sergey1983
Sergey1983
сообщение 13.6.2014, 7:46; Ответить: Sergey1983
Сообщение #4


Цитата
из-за этого возникло много одинаковых страниц по разным запросам


для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt

поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DOleg
DOleg
сообщение 13.6.2014, 11:30; Ответить: DOleg
Сообщение #5


Цитата(Sergey1983 @ 13.6.2014, 5:46) *
для решения этой проблемы нужно использовать в первую очередь другие методы, а не robots.txt

поищите, что такое canonical и в каких ситуациях прописывать на страницах META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"

В первую очередь robots.txt, далее canonical, и далее META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW".



Сообщение отредактировал DOleg - 13.6.2014, 11:31
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ducurel
ducurel
сообщение 13.6.2014, 15:24; Ответить: ducurel
Сообщение #6


User-Agent: Yandex
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */*/feed/*/
Disallow: */*/feed
Disallow: *?replytocom
Disallow: */trackback
Disallow: /cache
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host: nasha-vselennaya.ru
User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /feed/
Disallow: */feed
Disallow: */*/feed/*/
Disallow: */*/feed
Disallow: *?replytocom
Disallow: /cache
Disallow: /*?
Disallow: /*?*
Disallow: /?s=
Disallow: /*.php
Sitemap: http://nasha-vselennaya.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Denis_Semenets
Denis_Semenets
сообщение 28.7.2014, 8:48; Ответить: Denis_Semenets
Сообщение #7


Может не совсем в тему, но у меня такая проблема.
Блог на ВП. Какая-то фигня с шаблоном. В functions.php вроде бы все настроено
CODE
function my_meta_noindex () {

if (

is_paged()

) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";}

А когда просматриваешь результат на странице показывает
CODE
<meta name="robots" content="index,follow" />


Что за ситуация, не подскажете?
Опережая вопросы, это происходит на всех страницах. Дубли там, не дубли. Все в индекс.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DOleg
DOleg
сообщение 28.7.2014, 15:11; Ответить: DOleg
Сообщение #8


Цитата(Denis_Semenets @ 28.7.2014, 6:48) *
Что за ситуация, не подскажете?

Подскажу.
is_paged() - Проверяет отображается ли страница пагинации (страница типа /page/2, /page/3)
Т.е. на странице 2, 3, ..., должно быть "noindex,nofollow", на первой или единственной "index,follow".

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 317 Сегодня, 15:13
автор: LiveExpert
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 293 Сегодня, 15:13
автор: LiveExpert
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAzinomoney.com - гемблинг-партнерка с 65%RS для каждого
Гарантированный заработок на гемблинг-трафике
65 AzinoMoney 29171 Вчера, 19:10
автор: AzinoMoney
Горячая тема (нет новых ответов) Продвижение молодого сайта
30 maxmer 6363 26.3.2024, 21:49
автор: c4p1t4l15t
Открытая тема (нет новых ответов) SEO-текст на главной странице сайта и в категориях
5 boltuk 1352 26.3.2024, 21:43
автор: c4p1t4l15t


 



RSS Текстовая версия Сейчас: 28.3.2024, 21:07
Дизайн