X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Правильный robots.txt для Wordpress
EvilPanda
EvilPanda
Topic Starter сообщение 8.7.2012, 4:01; Ответить: EvilPanda
Сообщение #1


Участник
***

Группа: User
Сообщений: 118
Регистрация: 5.6.2012
Из: Как и все панды...
Поблагодарили: 27 раз
Репутация:   1  


Делал сейчас сайт на вордпрессе не под продажу ссылок и впервые задумался над созданием правильного robots.txt, вот что получилось, может кому-то пригодится:

Развернуть/Свернуть
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: ВАШДОМЕН.ru
Sitemap: ВАШДОМЕН.ru/sitemap.xml


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВАШДОМЕН.ru
Sitemap: ВАШДОМЕН.ru/sitemap.xml


--------------------
Эксперт - это человек, который перестал мыслить, потому что он знает.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
schokk
schokk
сообщение 8.7.2012, 12:22; Ответить: schokk
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 254
Регистрация: 3.1.2011
Из: Беларусь/Могилёв
Поблагодарили: 39 раз
Репутация:   16  


Спасибо. Только хотел написать злобный пост мол зачем придумывать велосипед, ведь в wordpress есть свой правильный robots.txt, а глянул - в 3.4.1 нету. Хотя точно помню, что дистрибутиве старых версий был robots.txt smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serkaz
serkaz
сообщение 8.7.2012, 13:04; Ответить: serkaz
Сообщение #3


Участник
***

Группа: User
Сообщений: 203
Регистрация: 15.2.2012
Поблагодарили: 60 раз
Репутация:   10  


schokk, не видел ещё ни разу, чтобы разработчики пихали в коробку грамотный robots, который не пришлось бы допиливать в будущем.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Красавчег
Красавчег
сообщение 8.7.2012, 18:30; Ответить: Красавчег
Сообщение #4


Говорю что думаю
*****

Группа: Active User
Сообщений: 683
Регистрация: 3.7.2010
Поблагодарили: 509 раз
Репутация:   71  


(EvilPanda @ 8.7.2012, 3:01) *
задумался над созданием правильного robots.txt, вот что получилось, может кому-то пригодится


Почему не сделать проще и короче:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*
Disallow: /tag/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments
Host: ВАШДОМЕН.ru
Sitemap: ВАШДОМЕН.ru/sitemap.xml


Сообщение отредактировал Красавчег - 8.7.2012, 18:30


--------------------
Плюшки WordPress • Кнопки Яндекса
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
EvilPanda
EvilPanda
Topic Starter сообщение 8.7.2012, 19:10; Ответить: EvilPanda
Сообщение #5


Участник
***

Группа: User
Сообщений: 118
Регистрация: 5.6.2012
Из: Как и все панды...
Поблагодарили: 27 раз
Репутация:   1  


(Красавчег @ 8.7.2012, 18:30) *
Почему не сделать проще и короче

Оптимизация во всем? smile.gif В этом есть смысл smile.gif


--------------------
Эксперт - это человек, который перестал мыслить, потому что он знает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Upgoing
Upgoing
сообщение 9.7.2012, 11:18; Ответить: Upgoing
Сообщение #6


Участник
***

Группа: User
Сообщений: 125
Регистрация: 6.5.2010
Из: где придется
Поблагодарили: 23 раза
Репутация:   2  


Делая роботс под вордпрессом еще обратите внимание на свой ЧПУ ибо он может значительно отличаться, в зависимости от того варианта, который был выбран вами в самом начале.

Еще один маленький совет, просто посмотрите роботс у топовых вебмастеров вашей ниши, через анализатор роботс в яндексе - так гораздо проще, чем самому изобретать велосипед smile.gif Так как я ленивый, то именно так и смотрел, а потом уже дописывал что-то у себя.

Ну и еще один момент - плевал Google на ваш роботс smile.gif Он индексирует как его душеньке заблагорассудится.


--------------------
Мой лучший месяц в инвестировании 3303$ c pamm и форекса, повезло :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DmitryEf
DmitryEf
сообщение 9.7.2012, 12:48; Ответить: DmitryEf
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 5
Регистрация: 7.7.2012
Поблагодарили: 0 раз
Репутация:   0  


В Яндекс Вебмастере выходит ошибка, если указано более одного раза ссылка на карту сайта, поэтмоу более корректный robors.txt будет считать такой
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Host: site.ru

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=

Sitemap: http://site.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zonder
Zonder
сообщение 10.7.2012, 21:21; Ответить: Zonder
Сообщение #8


Участник
***

Группа: User
Сообщений: 213
Регистрация: 9.9.2008
Из: Москва
Поблагодарили: 47 раз
Репутация:   7  


DmitryEf, взял на заметку

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал Zonder - 10.7.2012, 21:22
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Продажа новых готовых сайтов без домена на Wordpress
0 tbr82 302 Вчера, 18:11
автор: tbr82
Горячая тема (нет новых ответов) AviTool - мощный инструмент для автоматизации работы с Avito
58 Shadow 33904 Вчера, 16:48
автор: Shadow
Открытая тема (нет новых ответов) Где можно купить подписчиков для Viber-канала?
0 GlazunOFF 373 26.5.2018, 15:56
автор: GlazunOFF
Открытая тема (нет новых ответов) Сборка WP для сайтов знакомств, объявлений, каталогов и т.д.
6 Seodjo 4198 25.5.2018, 16:04
автор: Seodjo
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПрошу помощи знатоков wordpress
12 SOROKVLAD29 1548 25.5.2018, 15:59
автор: mmkulikov


 



RSS Текстовая версия Сейчас: 28.5.2018, 0:06
Дизайн