Помощник
 |
|
|
|
|
Сообщение сайта
|
 Как правильно оформить Robots.txt для WP? |
White_Lad
|
 3.12.2010, 10:34;
Ответить: White_Lad
Сообщение
#12
|
 Завсегдатай  Группа: Active User Сообщений: 766 Регистрация: 20.12.2008 Поблагодарили: 144 раза Репутация:  23 
 |
Я тут тоже задавался вопросом по поводу Robots.txt. у меня вот это
Disallow: /?s= Disallow: /*?* Disallow: /*? Весь форум из индекса выкинуло оставил вот такой вариант User-agent: *
Disallow: /author/ Disallow: /wp-admin/ Disallow: /wp-includes Disallow: /category/ Disallow: /category/*/* Disallow: /page/ Disallow: /?feed= Disallow: /xmlrpc.php Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */comments Disallow: */comment-page* Disallow: /*trackback Disallow: /*feed Disallow: /author* Disallow: */feed Disallow: /feed Disallow: */trackback Disallow: /tag/*/page Disallow: /comments/feed/ Disallow: /tag Host: site.ru Sitemap: http://site.ru/sitemap.xml.gz Sitemap: http://ste.ru/sitemap.xml |
 |
|
rrr
|
3.12.2010, 10:43;
Ответить: rrr
Сообщение
#13
|
|
Новичок 
 Группа: User Сообщений: 25 Регистрация: 10.7.2010 Поблагодарили: 23 раза Репутация: 2
|
(rixter @ 3.12.2010, 10:24)  А зачем для яндекса дублировать, так нельзя? можно В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет)
|
|
|
|
|
Systproject
|
3.12.2010, 10:55;
Ответить: Systproject
Сообщение
#14
|
 Сам по себе 
 Группа: Active User Сообщений: 1617 Регистрация: 13.5.2008 Из: НиНо Поблагодарили: 688 раз Репутация: 128
|
(rixter @ 3.12.2010, 9:24) Systproject А зачем для яндекса дублировать, так нельзя? Host для Яндекса прописать. И почему-то не все обрабатывалось Яшей при Вашем варианте (для всех роботов). Поэтому сделал отдельно правила для Яши. (rixter @ 3.12.2010, 9:24) Я бы еще тэги закрыл Тэгов нет на сайте, поэтому закрывать нечего (rixter @ 3.12.2010, 9:24) и карту сайта добавил - Карта сайта есть, но там используется плагин, поэтому не стал его писать в Роботс Сообщение отредактировал Systproject - 3.12.2010, 10:58 -------------------- |
|
|
|
|
Илюха
|
Сообщение
#15
|
|
 Топовый постер Группа: Active User Сообщений: 3894 Регистрация: 11.6.2009 Поблагодарили: 720 раз Репутация: 107
|
Столько вариантов, аж глаза разбегаются. На сайте есть теги кстати, тоже.
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
 SiteAnalyzer - бесплатная программа для аудита и анализа сайта |
79 | Chaser | 74332 | Сегодня, 1:02 автор: Chaser |
 |
Посоветуйте массажер для спины и шеи | 11 | Boymaster | 940 | Вчера, 18:24 автор: Arsenwenger |
|
⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами! | 84 | AdsPower | 24601 | Вчера, 16:35 автор: AdsPower |
|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 55 | arendator | 35112 | Вчера, 2:12 автор: arendator |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 3 | Rebex | 975 | 24.4.2024, 20:50 автор: Rebex |
|
Текстовая версия | Сейчас: 26.4.2024, 7:12 |
