X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Как правильно оформить Robots.txt для WP?
Илюха
Илюха
Topic Starter сообщение 3.12.2010, 9:41; Ответить: Илюха
Сообщение #1


Подскажите пожалуйста как правильно оформить Robots.txt для WP? Просмотрел кучу блогов на ВП, но роботс у всех совершенно разный.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kasey7
kasey7
сообщение 3.12.2010, 10:05; Ответить: kasey7
Сообщение #2


(Илюха @ 3.12.2010, 8:41) *
роботс у всех совершенно разный.



логично...
мудрить не надо, Пум

Сообщение отредактировал kasey7 - 3.12.2010, 10:08


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 3.12.2010, 10:13; Ответить: Systproject
Сообщение #3


Предложу свой вариант



Развернуть/Свернуть



User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author





--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
guz
guz
сообщение 3.12.2010, 10:17; Ответить: guz
Сообщение #4


вот те мой)
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: твой домен

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /category/*/$
Disallow: /page/*/$
Disallow: /tag/*/$
Disallow: /stat-pages/*$
Disallow: /index.php?*$
Disallow: /*/wp-*.php$

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-images/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-KL
Maxim-KL
сообщение 3.12.2010, 10:23; Ответить: Maxim-KL
Сообщение #5


А вот мой

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Host: master-web.info
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google*
Disallow:
Allow: /*

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /


Кажется правильный . Но если у кого есть еще какие то добавки с удовольствием хотел бы посмотреть.


--------------------
Забанен за мошенничество
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rixter
rixter
сообщение 3.12.2010, 10:24; Ответить: rixter
Сообщение #6


(Systproject @ 3.12.2010, 8:13) *
Предложу свой вариант



Развернуть/Свернуть



User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author





Systproject
А зачем для яндекса дублировать, так нельзя?

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author

User-agent: Yandex
Host: site.ru


Я бы еще тэги закрыл и карту сайта добавил -
Sitemap: http://site.ru/sitemap.xml


Сообщение отредактировал rixter - 3.12.2010, 10:26
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
StuDay
StuDay
сообщение 3.12.2010, 10:26; Ответить: StuDay
Сообщение #7


User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/cache
Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /date
Disallow: /comments
Disallow: /tag/
Disallow: /author/
Disallow: */comments
Disallow: /feed
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /*?
Disallow: /*?*
Disallow: /xmlrpc.php
Disallow: /category/
Host:  сайт.ру


--------------------
-как сказку сделать былью?
- зарегистрироваться здесь, и сказка придет в вашу жизнь!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kreont
kreont
сообщение 3.12.2010, 10:27; Ответить: kreont
Сообщение #8


Я бы еще вставил Disallow: /?s= для закрытия от индексации страниц поиска и служебный файл который яндекс индексирует - Disallow: /xmlrpc.php
В итоге у меня так
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */comments
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /author
Disallow: /?s=
Disallow: /feed/
Disallow: */feed/
Disallow: /tag
Disallow: /*?*
Disallow: /*?
Host: сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */comments
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /author
Disallow: /?s=
Disallow: /feed/
Disallow: */feed/
Disallow: /tag
Disallow: /*?*
Disallow: /*?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
StuDay
StuDay
сообщение 3.12.2010, 10:30; Ответить: StuDay
Сообщение #9


не у кого дублирующие контент теги кроме меня что не закрыты от индекса?

Я всегда думал и думаю, что в индексе должно быть столько же страниц сколько и записей в блоге.

Сообщение отредактировал StuDay - 3.12.2010, 10:30


--------------------
-как сказку сделать былью?
- зарегистрироваться здесь, и сказка придет в вашу жизнь!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
orange
orange
сообщение 3.12.2010, 10:33; Ответить: orange
Сообщение #10


еще вариант
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Sitemap: http://xxx.ru/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 355 Вчера, 15:13
автор: LiveExpert
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 327 Вчера, 15:13
автор: LiveExpert
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAzinomoney.com - гемблинг-партнерка с 65%RS для каждого
Гарантированный заработок на гемблинг-трафике
65 AzinoMoney 29183 27.3.2024, 19:10
автор: AzinoMoney
Горячая тема (нет новых ответов) Делаю полностью уникальный дизайн для сайтов!
46 AlexDIZ 93495 26.3.2024, 20:03
автор: AlexDIZ
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1122 26.3.2024, 14:13
автор: knezevolk


 



RSS Текстовая версия Сейчас: 29.3.2024, 6:23
Дизайн