X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt на WP
denis_h2
denis_h2
Topic Starter сообщение 7.12.2011, 14:06; Ответить: denis_h2
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 419
Регистрация: 16.3.2011
Поблагодарили: 40 раз
Репутация:   15  


Здравствуйте, составляю robots.txt для блога на WP основываясь на ЯВ.

1) Стоит ли закрывать "Документ не является каноническим" ? Если да то как ?
/?p=190&replytocom=108

Если вот так
/?p=*&replytocom=*

то и весь контент не будет индексироваться !

2) В структуре сайта есть 67 страниц: feed=rss2&
Закрывать /?feed=rss2&*

Заранее спасибо

Ещё, стоит ли закрывать документы не имеющие информации (ну например базы сайтов) форматов .doc и .xls ?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sickboy
Sickboy
сообщение 7.12.2011, 14:18; Ответить: Sickboy
Сообщение #2


Эффективное SEO
*****

Группа: Active User
Сообщений: 900
Регистрация: 18.11.2010
Из: Интернета
Поблагодарили: 624 раза
Репутация:   98  


Что-то я нихрена не понял, вопрос это или ответ...

Вот это:
/?p=190&replytocom=108

Закрывается так:
Disallow: /*replytocom=*

Вот это:
feed=rss2&

Закрывается так:
Disallow: /*feed=*

НО!
Проще настроить ЧПУ и прописать всё одной строкой:
Disallow: /*?*


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Speaker18
Speaker18
сообщение 7.12.2011, 17:44; Ответить: Speaker18
Сообщение #3


Новичок
*

Группа: User
Сообщений: 31
Регистрация: 15.6.2009
Поблагодарили: 10 раз
Репутация:   4  


(Sickboy @ 7.12.2011, 14:18) *
Проще настроить ЧПУ и прописать всё одной строкой:
Disallow: /*?*

Поддерживаю! Прежде всего стоит начать с настроек блога и ЧПУ!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azarchick
azarchick
сообщение 28.2.2012, 18:34; Ответить: azarchick
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 53
Регистрация: 27.2.2012
Из: Беларусь
Поблагодарили: 16 раз
Репутация:   3  


Да-да. ЧПУ - чуть ли не первое дело для сайта.
Для настройки ЧПУ на WP блоге наиболее распространены плагины Rus-to-lat и Cyr-to-lat. Лично я предпочитаю второй: если на сайте уже есть статьи с "плохими" адресами, он автоматически их исправит. Если же статей еще нет - без разницы, какой использовать.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
фдучъ
фдучъ
сообщение 1.3.2012, 15:26; Ответить: фдучъ
Сообщение #5


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 16.3.2009
Поблагодарили: 0 раз
Репутация:   0  


Вот вам готовый пример robots.txt для вордпресса
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: site.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://site.ru/sitemap.xml

site.ru поменяйте на имя вашего сайта


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
babuhiv
babuhiv
сообщение 3.3.2012, 14:39; Ответить: babuhiv
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 70
Регистрация: 22.2.2012
Из: Украина
Поблагодарили: 2 раза
Репутация:   0  


(фдучъ @ 1.3.2012, 13:26) *
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: site.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://site.ru/sitemap.xml

куда это все вставлять?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bestmult
bestmult
сообщение 3.3.2012, 15:19; Ответить: bestmult
Сообщение #7


Участник
***

Группа: User
Сообщений: 153
Регистрация: 6.8.2011
Поблагодарили: 34 раза
Репутация:   3  


(babuhiv @ 3.3.2012, 14:39) *
куда это все вставлять?

в robots.txt конечно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
tarzan2006
tarzan2006
сообщение 3.3.2012, 17:00; Ответить: tarzan2006
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 8.2.2012
Поблагодарили: 10 раз
Репутация:   1  


сорри( за оффтоп а если у меня вот так это не правильный???
User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-login.php?*
Disallow: /wp-register.php
Disallow: /wp-register.php?*
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /page/
Sitemap: http://www.sushuki.ru/sitemap.xml

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-login.php?*
Disallow: /wp-register.php
Disallow: /wp-register.php?*
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /page/
Sitemap: http://www.sushuki.ru/sitemap.xml
Host: sushuki.ru

а если у меня вот так это не правильный???


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 3.3.2012, 17:26; Ответить: serezka
Сообщение #9


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


tarzan2006
Для каждого сайта свой "правильный" роботс.
Просто по закрывайте дизалов все страницы, которые не нужны для индексации.

На первый взгляд вроде правильно, единственное:
- Алов наверное можете убрать.
- в адресе сайтмапа ввв думаю тоже можно убрать.
- /wp-register.php?* то-же самое что и /wp-register.php (то-есть только второй вариант оставляем). к /wp-login.php?* это то-же относиться.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gushban
gushban
сообщение 4.3.2012, 0:37; Ответить: gushban
Сообщение #10


Новичок
*

Группа: Viewer
Сообщений: 2
Регистрация: 29.12.2011
Поблагодарили: 0 раз
Репутация:   0  


Для молодых блогов и сайтов правильное составление файла robots.txt играет огромную роль в индексации и дальнейшем продвижении. Поэтому, если не знаете какие именно файлы и папки закрывать то индексации, можете воспользоваться готовым файлом robots

Сообщение отредактировал gushban - 4.3.2012, 0:37
Прикрепленные изображения
Прикрепленное изображение
 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47488 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 510 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1191 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 696 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 15.12.2017, 12:33
Дизайн