X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Правильный (проверенный) robots.txt для сателлита на WP, Нужен роботс
artem_ka
artem_ka
Topic Starter сообщение 1.2.2011, 18:51; Ответить: artem_ka
Сообщение #1


Участник
***

Группа: User
Сообщений: 107
Регистрация: 22.8.2010
Поблагодарили: 15 раз
Репутация:   2  


Собственно сабж в теме. Кто какой роботс считает наиболее подходящим и проверенным (без дублей и т.п)?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
knaipa
knaipa
сообщение 1.2.2011, 18:54; Ответить: knaipa
Сообщение #2


мошенник
*****

Группа: Banned
Сообщений: 984
Регистрация: 15.6.2010
Поблагодарили: 280 раз
Репутация:   60  


тему мусолили уже много раз

User-Agent: *
Crawl-Delay: 10

User-Agent: *
sitemap: sitemap.xml
sitemap: sitemap.xml.gz

User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
# Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads
User-agent: Googlebot-Image
Disallow:
Allow: /*
# разрешаем индексировать изображения
User-agent: YandexBlog
Disallow:
Allow: /*


--------------------
Забанен за мошенничество


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Veterblack
Veterblack
сообщение 1.2.2011, 19:11; Ответить: Veterblack
Сообщение #3


Новичок
*

Группа: User
Сообщений: 37
Регистрация: 3.10.2010
Из: Мир большой
Поблагодарили: 13 раз
Репутация:   2  


Михаил Шакин на своем блоге только вчера писал про роботс для WP


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxsmart
Maxsmart
сообщение 2.2.2011, 21:56; Ответить: Maxsmart
Сообщение #4


Участник
***

Группа: User
Сообщений: 248
Регистрация: 12.1.2011
Из: России
Поблагодарили: 63 раза
Репутация:   20  


Если интересно, вот, гарантрую, найдете ответ.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
15 komarik_vlad 1496 Сегодня, 12:05
автор: x64
Горячая тема (нет новых ответов) ВНИМАНИЕ: Тема имеет прикрепленные файлыПишу тексты для всех и каждого. Цены не кусаются, качество не хромает.
Единственное правило: клиент всегда доволен.
118 Hellnar 50133 Сегодня, 11:31
автор: PostBrigada
Открытая тема (нет новых ответов) Бот для комплексной автоматической рассылки Whatsapp
Бот для комплексной автоматической рассылки Whatsapp
3 danger22 580 Сегодня, 8:30
автор: danger22
Открытая тема (нет новых ответов) Открыть валютной карты для обменника
6 fair_exchange 394 Вчера, 19:38
автор: Mistic
Открытая тема (нет новых ответов) Нужен человек для поиска клиентов за процент от сделки
3 Evgos 541 15.12.2017, 22:34
автор: Yepperoni


 



RSS Текстовая версия Сейчас: 17.12.2017, 12:13
Дизайн