X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Правильный robots.txt в WordPress
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 15:44; Ответить: Dryn9
Сообщение #1


Собственно хотелось бы узнать какой правильный robots.txt для Wordpress. Перерыл кучу сайтов, но, как говорится, сколько сайтов, столько и мнений.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 15:54; Ответить: saraus
Сообщение #2


Если чпу примерно так:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://сайт.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dota
dota
сообщение 29.10.2011, 15:59; Ответить: dota
Сообщение #3


....................
Disallow: */feed
Disallow: */comments
Crawl-delay: 5
Host: www.сайт.ru
......................


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:10; Ответить: Dryn9
Сообщение #4


а какже запрет индексации архивов и тегов? Ведь это дублированный конент.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:14; Ответить: saraus
Сообщение #5


(Dryn9 @ 29.10.2011, 15:10) *
а какже запрет индексации архивов и тегов? Ведь это дублированный конент.


Это можно доверить All in One SEO
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:23; Ответить: Dryn9
Сообщение #6


У меня плагин rus to lat надо еще чтобы он не индексировал ссылки вида site.ru/p?sdasdasdasfsdafsdasdwerwerfasfasdfsda
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:26; Ответить: saraus
Сообщение #7


(Dryn9 @ 29.10.2011, 15:23) *
У меня плагин rus to lat надо еще чтобы он не индексировал ссылки вида site.ru/p?sdasdasdasfsdafsdasdwerwerfasfasdfsda


Вот с этим хз если честно, я руками прописываю латиницу.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dryn9
Dryn9
Topic Starter сообщение 29.10.2011, 16:27; Ответить: Dryn9
Сообщение #8


поставил галочку use noindex for archives уже давно, и все равно гугл проиндексировал архив.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 29.10.2011, 16:31; Ответить: saraus
Сообщение #9


(Dryn9 @ 29.10.2011, 15:27) *
гугл проиндексировал архив


Вы не первый, уже давно пишут, что гугл может иногда (по известным ему одному причинам) индексировать даже те файлы, которые запрещены роботсом. И по идее, роботс это только рекомендации поисковикам, а не чёткие законы и правила.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zhandosbai
zhandosbai
сообщение 1.12.2011, 20:39; Ответить: zhandosbai
Сообщение #10


Рекомендуемый роботс.тхт разработчиками Вордпресс
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.ваш сайт.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

И я с ними полностью согласен.
Так же советую воспользоваться плагином Platinum SEO


--------------------
Кредитная карта Тинькофф Платинум
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПродам базу сайтов Wordpress в 16 миллионов доменов! Свежая сборка.
17 Boymaster 9830 17.3.2024, 2:53
автор: Boymaster
Открытая тема (нет новых ответов) Перенос сайта на CMS Wordpress
8 freeax 4849 10.3.2024, 14:58
автор: freeax
Открытая тема (нет новых ответов) Как настроить в WordPress для SEO оптимизации
8 rownong27 2431 2.3.2024, 12:59
автор: toplinks
Горячая тема (нет новых ответов) Восстановление сайтов из Вебархива на Wordpress.
39 freeax 32505 14.2.2024, 14:32
автор: freeax
Открытая тема (нет новых ответов) Разработка/доработка сайтов Wordpress, HTML/CSS/JS
Вёрстка, перенос на WP, правки
9 malamut 3338 25.1.2024, 14:36
автор: malamut


 



RSS Текстовая версия Сейчас: 29.3.2024, 19:54
Дизайн