X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Правильный (проверенный) robots.txt для сателлита на WP, Нужен роботс
artem_ka
artem_ka
Topic Starter сообщение 1.2.2011, 18:51; Ответить: artem_ka
Сообщение #1


Собственно сабж в теме. Кто какой роботс считает наиболее подходящим и проверенным (без дублей и т.п)?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 1.2.2011, 18:54; Ответить: knaipa
Сообщение #2


тему мусолили уже много раз

User-Agent: *
Crawl-Delay: 10

User-Agent: *
sitemap: sitemap.xml
sitemap: sitemap.xml.gz

User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
# Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads
User-agent: Googlebot-Image
Disallow:
Allow: /*
# разрешаем индексировать изображения
User-agent: YandexBlog
Disallow:
Allow: /*


--------------------
Забанен за мошенничество


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Veterblack
Veterblack
сообщение 1.2.2011, 19:11; Ответить: Veterblack
Сообщение #3


Михаил Шакин на своем блоге только вчера писал про роботс для WP


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxsmart
Maxsmart
сообщение 2.2.2011, 21:56; Ответить: Maxsmart
Сообщение #4


Если интересно, вот, гарантрую, найдете ответ.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2762 Сегодня, 12:48
автор: diviner99
Горячая тема (нет новых ответов) Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат
54 arendator 34788 Вчера, 15:16
автор: arendator
Горячая тема (нет новых ответов) ⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами!
83 AdsPower 24393 14.4.2024, 22:52
автор: AdsPower
Горячая тема (нет новых ответов) Настройки лент для wpgrabber
Настрою ленты любой сложности плагина WPGrabber для WordPress
42 zkalinin 30540 11.4.2024, 23:33
автор: zkalinin
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСовременный сервис для быстрого и безопасного обмена валют.
14 CryptoTims 4734 11.4.2024, 15:29
автор: CryptoTims


 



RSS Текстовая версия Сейчас: 16.4.2024, 21:02
Дизайн