X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Покритикуйте robots.txt
titris
titris
Topic Starter сообщение 6.9.2014, 11:18; Ответить: titris
Сообщение #1


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Просьба к форумчанам вдумчиво покритиковать следующую секцию robots под сайт на WP, относящуюся к Яндексу.

Собственно вопросов у меня 3:

1. Насколько хорошо данная конструкция защищает от дублей страниц?
2. Не запрещено ли что-то нужное, что может быть проиндексировано Яндексом?
3. В связи с вышеизложенным: надо ли что-то добавить\убавить?

User-agent: Yandex

Disallow: */page/

Disallow: /page/

Disallow: /*?*

Disallow: /*?

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: /*/?replytocom=*

Disallow: */comment-page-*

Disallow: */feed

Disallow: */comments

Disallow: /category/*/*

Disallow: /category/

Disallow: /archive/

Disallow: /tag

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Спасибо.

Сообщение отредактировал titris - 6.9.2014, 11:18


--------------------


Поблагодарили: (1)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
allvake
allvake
сообщение 6.9.2014, 13:42; Ответить: allvake
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 594
Регистрация: 16.8.2011
Из: South
Поблагодарили: 272 раза
Репутация:   37  


А зачем закрывать комментарии? Disallow: */comments
комментарии в WP идут #comment- что после решетки и так не индексируется, думаю дубля статьи нет, по крайней мере у меня на сайтах, такого рода проблем не замечал


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sanika
sanika
сообщение 6.9.2014, 18:39; Ответить: sanika
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 378
Регистрация: 5.1.2011
Поблагодарили: 96 раз
Репутация:   9  


Я бы еще кеш закрыл - Disallow: /wp-content/cache
Во всяком случае у себя так сделано. А так - все прекрасно.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 6.9.2014, 18:45; Ответить: titris
Сообщение #4


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Цитата(sanika @ 6.9.2014, 17:39) *
Я бы еще кеш закрыл - Disallow: /wp-content/cache

Такой папочки у меня в wp-content нет.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dota
dota
сообщение 6.9.2014, 18:57; Ответить: dota
Сообщение #5


Топовый постер
*******


Группа: Active User
Сообщений: 4528
Регистрация: 1.10.2010
Из: СССР
Поблагодарили: 2575 раз
Репутация:   576  


Disallow: */page/
Disallow: /page/

У меня вот так Disallow: *page/

Disallow: /*?*
Disallow: /*?

Вот Disallow: /*?*

Disallow: /category/*/*
Disallow: /category/

Просто Disallow: /category/

Комменты не закрывайте они как якори идут.





--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 6.9.2014, 22:14; Ответить: titris
Сообщение #6


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Цитата(dota @ 6.9.2014, 17:57) *
Комменты не закрывайте они как якори идут.

Прошу этот момент пояснить.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sanika
sanika
сообщение 6.9.2014, 22:47; Ответить: sanika
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 378
Регистрация: 5.1.2011
Поблагодарили: 96 раз
Репутация:   9  


Якорь - это то о чем allvake говорил - #comments - т.е. это не дубль а внутристарничная ссылка - якорь

Цитата(titris @ 6.9.2014, 17:45) *
Такой папочки у меня в wp-content нет.


Значит вы не ставили плагина для кеша. Его часто ставят, а закрыть в robots.txt забывают


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dota
dota
сообщение 6.9.2014, 23:44; Ответить: dota
Сообщение #8


Топовый постер
*******


Группа: Active User
Сообщений: 4528
Регистрация: 1.10.2010
Из: СССР
Поблагодарили: 2575 раз
Репутация:   576  


titris, погуглите про якоря. Важная для вас инфа будет.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
titris
titris
Topic Starter сообщение 7.9.2014, 10:17; Ответить: titris
Сообщение #9


Участник
***

Группа: User
Сообщений: 231
Регистрация: 23.7.2012
Поблагодарили: 56 раз
Репутация:   10  


Цитата(dota @ 6.9.2014, 22:44) *
titris, погуглите про якоря

Я совсем "ушел" в термины :) "Якорь" ну никак кроме морского и психологического не воспринимаю. Ну конечно анкоры :)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47443 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 477 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1187 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 695 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 13.12.2017, 3:55
Дизайн