X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Как правильно оформить Robots.txt для WP?
Илюха
Илюха
Topic Starter сообщение 3.12.2010, 9:41; Ответить: Илюха
Сообщение #1


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


Подскажите пожалуйста как правильно оформить Robots.txt для WP? Просмотрел кучу блогов на ВП, но роботс у всех совершенно разный.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kasey7
kasey7
сообщение 3.12.2010, 10:05; Ответить: kasey7
Сообщение #2


On-line
******


Группа: Active User
Сообщений: 1173
Регистрация: 6.12.2009
Из: on-line
Поблагодарили: 282 раза
Репутация:   68  


(Илюха @ 3.12.2010, 8:41) *
роботс у всех совершенно разный.



логично...
мудрить не надо, Пум

Сообщение отредактировал kasey7 - 3.12.2010, 10:08


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 3.12.2010, 10:13; Ответить: Systproject
Сообщение #3


Сам по себе
******


Группа: Active User
Сообщений: 1615
Регистрация: 13.5.2008
Из: НиНо
Поблагодарили: 685 раз
Репутация:   126  


Предложу свой вариант



Развернуть/Свернуть



User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author





--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
guz
guz
сообщение 3.12.2010, 10:17; Ответить: guz
Сообщение #4


Котяра
*****

Группа: Active User
Сообщений: 850
Регистрация: 29.9.2008
Из: Санкт-Петербург
Поблагодарили: 221 раз
Репутация:   55  


вот те мой)
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: твой домен

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /category/*/$
Disallow: /page/*/$
Disallow: /tag/*/$
Disallow: /stat-pages/*$
Disallow: /index.php?*$
Disallow: /*/wp-*.php$

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-images/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-KL
Maxim-KL
сообщение 3.12.2010, 10:23; Ответить: Maxim-KL
Сообщение #5


MaximGroups.net
******

Группа: Banned
Сообщений: 1423
Регистрация: 24.9.2010
Из: localhost
Поблагодарили: 436 раз
Репутация:   122  


А вот мой

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Host: master-web.info
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google*
Disallow:
Allow: /*

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /


Кажется правильный . Но если у кого есть еще какие то добавки с удовольствием хотел бы посмотреть.


--------------------
Забанен за мошенничество
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rixter
rixter
сообщение 3.12.2010, 10:24; Ответить: rixter
Сообщение #6


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 12.8.2010
Поблагодарили: 6 раз
Репутация:   0  


(Systproject @ 3.12.2010, 8:13) *
Предложу свой вариант



Развернуть/Свернуть



User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author





Systproject
А зачем для яндекса дублировать, так нельзя?

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author

User-agent: Yandex
Host: site.ru


Я бы еще тэги закрыл и карту сайта добавил -
Sitemap: http://site.ru/sitemap.xml


Сообщение отредактировал rixter - 3.12.2010, 10:26
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
StuDay
StuDay
сообщение 3.12.2010, 10:26; Ответить: StuDay
Сообщение #7


Участник
***

Группа: User
Сообщений: 229
Регистрация: 28.10.2007
Поблагодарили: 10 раз
Репутация:   10  


User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/cache
Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /date
Disallow: /comments
Disallow: /tag/
Disallow: /author/
Disallow: */comments
Disallow: /feed
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /*?
Disallow: /*?*
Disallow: /xmlrpc.php
Disallow: /category/
Host:  сайт.ру


--------------------
-как сказку сделать былью?
- зарегистрироваться здесь, и сказка придет в вашу жизнь!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kreont
kreont
сообщение 3.12.2010, 10:27; Ответить: kreont
Сообщение #8


Новичок
*

Группа: Viewer
Сообщений: 11
Регистрация: 17.1.2009
Поблагодарили: 4 раза
Репутация:   1  


Я бы еще вставил Disallow: /?s= для закрытия от индексации страниц поиска и служебный файл который яндекс индексирует - Disallow: /xmlrpc.php
В итоге у меня так
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */comments
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /author
Disallow: /?s=
Disallow: /feed/
Disallow: */feed/
Disallow: /tag
Disallow: /*?*
Disallow: /*?
Host: сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */comments
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /author
Disallow: /?s=
Disallow: /feed/
Disallow: */feed/
Disallow: /tag
Disallow: /*?*
Disallow: /*?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
StuDay
StuDay
сообщение 3.12.2010, 10:30; Ответить: StuDay
Сообщение #9


Участник
***

Группа: User
Сообщений: 229
Регистрация: 28.10.2007
Поблагодарили: 10 раз
Репутация:   10  


не у кого дублирующие контент теги кроме меня что не закрыты от индекса?

Я всегда думал и думаю, что в индексе должно быть столько же страниц сколько и записей в блоге.

Сообщение отредактировал StuDay - 3.12.2010, 10:30


--------------------
-как сказку сделать былью?
- зарегистрироваться здесь, и сказка придет в вашу жизнь!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
orange
orange
сообщение 3.12.2010, 10:33; Ответить: orange
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 403
Регистрация: 24.4.2010
Поблагодарили: 68 раз
Репутация:   15  


еще вариант
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Sitemap: http://xxx.ru/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Требуется копирайтер для долгосрочного сотрудничества
Нужен хороший повествователь
4 PostBrigada 544 Сегодня, 1:26
автор: PostBrigada
Открытая тема (нет новых ответов) Маленький кейс как сделать много почтовых ящиков в Gmail
Один аккаунт = много ящиков
0 PostBrigada 332 Сегодня, 0:32
автор: PostBrigada
Открытая тема (нет новых ответов) Как мошенники зарабатывают на прямых трансляциях в Instagram
Не ждите порно в инстаграм, его нет
8 PostBrigada 939 Сегодня, 0:14
автор: PostBrigada
Открытая тема (нет новых ответов) ВНИМАНИЕ: Тема для обсуждения работ фотоконкурса «Новогодний косплей» 18+
5 admin 904 Вчера, 21:58
автор: dota
Открытая тема (нет новых ответов) Видеомаркетинг как инструмент развития интернет-магазина
11 PostBrigada 2148 Вчера, 20:30
автор: galikfor


 



RSS Текстовая версия Сейчас: 15.12.2017, 7:16
Дизайн