X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Правильный robots.txt в WordPress
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 15:44; Ответить: Dryn9
Сообщение #1


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


Собственно хотелось бы узнать какой правильный robots.txt для Wordpress. Перерыл кучу сайтов, но, как говорится, сколько сайтов, столько и мнений.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 15:54; Ответить: saraus
Сообщение #2


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


Если чпу примерно так:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://сайт.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dota
dota
сообщение 29.10.2011, 15:59; Ответить: dota
Сообщение #3


Топовый постер
*******


Группа: Active User
Сообщений: 4553
Регистрация: 1.10.2010
Из: СССР
Поблагодарили: 2620 раз
Репутация:   582  


....................
Disallow: */feed
Disallow: */comments
Crawl-delay: 5
Host: www.сайт.ru
......................


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:10; Ответить: Dryn9
Сообщение #4


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


а какже запрет индексации архивов и тегов? Ведь это дублированный конент.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:14; Ответить: saraus
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(Dryn9 @ 29.10.2011, 15:10) *
а какже запрет индексации архивов и тегов? Ведь это дублированный конент.


Это можно доверить All in One SEO
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:23; Ответить: Dryn9
Сообщение #6


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


У меня плагин rus to lat надо еще чтобы он не индексировал ссылки вида site.ru/p?sdasdasdasfsdafsdasdwerwerfasfasdfsda
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:26; Ответить: saraus
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(Dryn9 @ 29.10.2011, 15:23) *
У меня плагин rus to lat надо еще чтобы он не индексировал ссылки вида site.ru/p?sdasdasdasfsdafsdasdwerwerfasfasdfsda


Вот с этим хз если честно, я руками прописываю латиницу.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:27; Ответить: Dryn9
Сообщение #8


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 23.9.2011
Поблагодарили: 4 раза
Репутация:   -1  


поставил галочку use noindex for archives уже давно, и все равно гугл проиндексировал архив.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:31; Ответить: saraus
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(Dryn9 @ 29.10.2011, 15:27) *
гугл проиндексировал архив


Вы не первый, уже давно пишут, что гугл может иногда (по известным ему одному причинам) индексировать даже те файлы, которые запрещены роботсом. И по идее, роботс это только рекомендации поисковикам, а не чёткие законы и правила.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zhandosbai
zhandosbai
сообщение 1.12.2011, 20:39; Ответить: zhandosbai
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 281
Регистрация: 18.11.2011
Поблагодарили: 38 раз
Репутация:   13  


Рекомендуемый роботс.тхт разработчиками Вордпресс
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.ваш сайт.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

И я с ними полностью согласен.
Так же советую воспользоваться плагином Platinum SEO


--------------------
Кредитная карта Тинькофф Платинум
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПрошу помощи знатоков wordpress
10 SOROKVLAD29 1376 Сегодня, 11:11
автор: vladislavaba
Открытая тема (нет новых ответов) Верстка + натяжка на CMS WordPress, OpenCart
2 Chezarius 298 Вчера, 19:38
автор: k_artem
Открытая тема (нет новых ответов) Русские темы для WordPress. Недорого.
0 SOROKVLAD29 328 Вчера, 10:16
автор: SOROKVLAD29
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
156 contex1 70823 22.5.2018, 0:06
автор: AnnaProf
Открытая тема (нет новых ответов) Удаляю вирусы на CMS WordPress. Чищу качественно и быстро, даю гарантию.
10 maxix 1156 21.5.2018, 16:59
автор: maxix


 



RSS Текстовая версия Сейчас: 25.5.2018, 12:01
Дизайн