X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Правильный robots.txt в WordPress
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 15:44; Ответить: Dryn9
Сообщение #1


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


Собственно хотелось бы узнать какой правильный robots.txt для Wordpress. Перерыл кучу сайтов, но, как говорится, сколько сайтов, столько и мнений.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 15:54; Ответить: saraus
Сообщение #2


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


Если чпу примерно так:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://сайт.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dota
dota
сообщение 29.10.2011, 15:59; Ответить: dota
Сообщение #3


Топовый постер
*******


Группа: Active User
Сообщений: 4529
Регистрация: 1.10.2010
Из: СССР
Поблагодарили: 2575 раз
Репутация:   576  


....................
Disallow: */feed
Disallow: */comments
Crawl-delay: 5
Host: www.сайт.ru
......................


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:10; Ответить: Dryn9
Сообщение #4


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


а какже запрет индексации архивов и тегов? Ведь это дублированный конент.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:14; Ответить: saraus
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(Dryn9 @ 29.10.2011, 15:10) *
а какже запрет индексации архивов и тегов? Ведь это дублированный конент.


Это можно доверить All in One SEO
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:23; Ответить: Dryn9
Сообщение #6


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


У меня плагин rus to lat надо еще чтобы он не индексировал ссылки вида site.ru/p?sdasdasdasfsdafsdasdwerwerfasfasdfsda
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:26; Ответить: saraus
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(Dryn9 @ 29.10.2011, 15:23) *
У меня плагин rus to lat надо еще чтобы он не индексировал ссылки вида site.ru/p?sdasdasdasfsdafsdasdwerwerfasfasdfsda


Вот с этим хз если честно, я руками прописываю латиницу.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:27; Ответить: Dryn9
Сообщение #8


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


поставил галочку use noindex for archives уже давно, и все равно гугл проиндексировал архив.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:31; Ответить: saraus
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(Dryn9 @ 29.10.2011, 15:27) *
гугл проиндексировал архив


Вы не первый, уже давно пишут, что гугл может иногда (по известным ему одному причинам) индексировать даже те файлы, которые запрещены роботсом. И по идее, роботс это только рекомендации поисковикам, а не чёткие законы и правила.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zhandosbai
zhandosbai
сообщение 1.12.2011, 20:39; Ответить: zhandosbai
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 281
Регистрация: 18.11.2011
Поблагодарили: 38 раз
Репутация:   13  


Рекомендуемый роботс.тхт разработчиками Вордпресс
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.ваш сайт.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

И я с ними полностью согласен.
Так же советую воспользоваться плагином Platinum SEO


--------------------
Кредитная карта Тинькофф Платинум
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
143 contex1 65268 Вчера, 9:07
автор: contex1
Открытая тема (нет новых ответов) Адаптивная вёрстка и натяжка на Wordpress, DLE, Joomla и др. Создание мобильных версий.
Хороший код с оптимизацией по скорости. Сайты и лендинги "под ключ
15 Nell 1184 13.12.2017, 23:36
автор: Nell
Горячая тема (нет новых ответов) Вёрстка, натяжка на WordPress, Joomla, качественно, доступно
53 WhiteIce 23842 12.12.2017, 19:41
автор: WhiteIce
Горячая тема (нет новых ответов) Разработка сайтов Joomla Wordpress Opencart
Разработка, верстка, оптимизация веб сайтов.
48 WoWeb 7415 12.12.2017, 13:37
автор: serg5777
Открытая тема (нет новых ответов) Как включить автоматическое обновление для плагинов WordPress и самого движка?
0 Telnor 413 10.12.2017, 13:27
автор: Telnor


 



RSS Текстовая версия Сейчас: 18.12.2017, 21:04
Дизайн