X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Правильный robots.txt для Wordpress
EvilPanda
EvilPanda
Topic Starter сообщение 8.7.2012, 4:01; Ответить: EvilPanda
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 5.6.2012
Из: Как и все панды...
Поблагодарили: 27 раз
Репутация:   1  


Делал сейчас сайт на вордпрессе не под продажу ссылок и впервые задумался над созданием правильного robots.txt, вот что получилось, может кому-то пригодится:

Развернуть/Свернуть
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: ВАШДОМЕН.ru
Sitemap: ВАШДОМЕН.ru/sitemap.xml


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВАШДОМЕН.ru
Sitemap: ВАШДОМЕН.ru/sitemap.xml


--------------------
Эксперт - это человек, который перестал мыслить, потому что он знает.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
schokk
schokk
сообщение 8.7.2012, 12:22; Ответить: schokk
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 254
Регистрация: 3.1.2011
Из: Беларусь/Могилёв
Поблагодарили: 39 раз
Репутация:   16  


Спасибо. Только хотел написать злобный пост мол зачем придумывать велосипед, ведь в wordpress есть свой правильный robots.txt, а глянул - в 3.4.1 нету. Хотя точно помню, что дистрибутиве старых версий был robots.txt smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serkaz
serkaz
сообщение 8.7.2012, 13:04; Ответить: serkaz
Сообщение #3


Участник
***

Группа: User
Сообщений: 203
Регистрация: 15.2.2012
Поблагодарили: 60 раз
Репутация:   10  


schokk, не видел ещё ни разу, чтобы разработчики пихали в коробку грамотный robots, который не пришлось бы допиливать в будущем.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Красавчег
Красавчег
сообщение 8.7.2012, 18:30; Ответить: Красавчег
Сообщение #4


Говорю что думаю
*****

Группа: Active User
Сообщений: 683
Регистрация: 3.7.2010
Поблагодарили: 509 раз
Репутация:   71  


(EvilPanda @ 8.7.2012, 3:01) *
задумался над созданием правильного robots.txt, вот что получилось, может кому-то пригодится


Почему не сделать проще и короче:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*
Disallow: /tag/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments
Host: ВАШДОМЕН.ru
Sitemap: ВАШДОМЕН.ru/sitemap.xml


Сообщение отредактировал Красавчег - 8.7.2012, 18:30


--------------------
Плюшки WordPress • Кнопки Яндекса
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
EvilPanda
EvilPanda
Topic Starter сообщение 8.7.2012, 19:10; Ответить: EvilPanda
Сообщение #5


Участник
***

Группа: User
Сообщений: 118
Регистрация: 5.6.2012
Из: Как и все панды...
Поблагодарили: 27 раз
Репутация:   1  


(Красавчег @ 8.7.2012, 18:30) *
Почему не сделать проще и короче

Оптимизация во всем? smile.gif В этом есть смысл smile.gif


--------------------
Эксперт - это человек, который перестал мыслить, потому что он знает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Upgoing
Upgoing
сообщение 9.7.2012, 11:18; Ответить: Upgoing
Сообщение #6


Участник
***

Группа: User
Сообщений: 125
Регистрация: 6.5.2010
Из: где придется
Поблагодарили: 23 раза
Репутация:   2  


Делая роботс под вордпрессом еще обратите внимание на свой ЧПУ ибо он может значительно отличаться, в зависимости от того варианта, который был выбран вами в самом начале.

Еще один маленький совет, просто посмотрите роботс у топовых вебмастеров вашей ниши, через анализатор роботс в яндексе - так гораздо проще, чем самому изобретать велосипед smile.gif Так как я ленивый, то именно так и смотрел, а потом уже дописывал что-то у себя.

Ну и еще один момент - плевал Google на ваш роботс smile.gif Он индексирует как его душеньке заблагорассудится.


--------------------
Мой лучший месяц в инвестировании 3303$ c pamm и форекса, повезло :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DmitryEf
DmitryEf
сообщение 9.7.2012, 12:48; Ответить: DmitryEf
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 5
Регистрация: 7.7.2012
Поблагодарили: 0 раз
Репутация:   0  


В Яндекс Вебмастере выходит ошибка, если указано более одного раза ссылка на карту сайта, поэтмоу более корректный robors.txt будет считать такой
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Host: site.ru

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=

Sitemap: http://site.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zonder
Zonder
сообщение 10.7.2012, 21:21; Ответить: Zonder
Сообщение #8


Участник
***

Группа: User
Сообщений: 213
Регистрация: 9.9.2008
Из: Москва
Поблагодарили: 47 раз
Репутация:   7  


DmitryEf, взял на заметку

Сообщение отредактировал Zonder - 10.7.2012, 21:22
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
18 viktormerke 2745 Сегодня, 15:18
автор: Smspva
Открытая тема (нет новых ответов) ВНИМАНИЕ: Тема для обсуждения работ фотоконкурса «Новогодний косплей» 18+
6 admin 1004 Сегодня, 15:14
автор: admin
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыSE Ranking – новый сервис для проверки позиций сайтов в поисковиках
173 seranking 158035 Сегодня, 14:29
автор: seranking
Открытая тема (нет новых ответов) SimplePay: Прием платежей на сайте для юридических и физических лиц
4 kuprum 478 Сегодня, 14:07
автор: kuprum
Открытая тема (нет новых ответов) LSender VK PRO - самая мощная программа для рассылки Вконтакте
0 BoRzZoY 266 Сегодня, 13:32
автор: BoRzZoY


 



RSS Текстовая версия Сейчас: 15.12.2017, 16:37
Дизайн