X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robot.txt правильно ли его составление?
errrol
errrol
Topic Starter сообщение 4.3.2011, 20:33; Ответить: errrol
Сообщение #1


Экспелиармус
*****


Группа: Active User
Сообщений: 958
Регистрация: 2.12.2010
Поблагодарили: 355 раз
Репутация:   177  


Доброго времени уважаемые. Блог на WP посмотрел через панель Я вебмастер , что-то много страниц закрыто у меня в файле" робот тхт"

Посмотрите пожалуйста ткните если где не так.

Буду признателен Вам за помощь уважаемые .



User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.primer.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://primer/sitemap.xml
Sitemap: http://primer.ru/sitemap.xml.gz

Сообщение отредактировал errrol - 4.3.2011, 20:34


--------------------
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
samunris
samunris
сообщение 4.3.2011, 20:44; Ответить: samunris
Сообщение #2


Старожил
******

Группа: Active User
Сообщений: 2478
Регистрация: 2.12.2008
Поблагодарили: 592 раза
Репутация:   41  


Юзаю такой роботс:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml


--------------------
Это место опять сдается!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KipiaSoft
KipiaSoft
сообщение 4.3.2011, 20:45; Ответить: KipiaSoft
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 2096
Регистрация: 16.11.2009
Из: Волгоград
Поблагодарили: 632 раза
Репутация:   74  


Много?
Да по моему маловато будет. Если сайт на WP будет, то еще страницы с генерированные тэгами, календарем, и.т.д закрывать нужно.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Reader
Reader
сообщение 4.3.2011, 20:51; Ответить: Reader
Сообщение #4


манимейкер
*******

Группа: Active User
Сообщений: 2509
Регистрация: 22.4.2009
Из: России
Поблагодарили: 1017 раз
Репутация:   121  


Я бы начал с названия)) robots.txt

По сабжу

User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков и rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и других возможных лишних страниц
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений
Allow: /wp-content/uploads

Host: сайт.ру

Sitemap: http:// сайт.ру /sitemap.xml


Отсюда, используя гугл.

Сообщение отредактировал Reader - 4.3.2011, 20:53


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
errrol
errrol
Topic Starter сообщение 4.3.2011, 21:29; Ответить: errrol
Сообщение #5


Экспелиармус
*****


Группа: Active User
Сообщений: 958
Регистрация: 2.12.2010
Поблагодарили: 355 раз
Репутация:   177  


Большое спасибо за подробный ответ. Добавил с свой robots некоторый пункты, и открыл доступ к папке аплод.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
boricov
boricov
сообщение 5.3.2011, 14:13; Ответить: boricov
Сообщение #6


Новичок
*

Группа: Banned
Сообщений: 43
Регистрация: 5.3.2011
Из: Костомукша
Поблагодарили: 16 раз
Репутация:   4  


Вообще сами разработчики рекомендуют файл robots.txt такой как я описал в своей статье. Не знаю правда это или нет. Файл robots.txt для wordpress
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxsmart
Maxsmart
сообщение 5.3.2011, 14:27; Ответить: Maxsmart
Сообщение #7


Участник
***

Группа: User
Сообщений: 248
Регистрация: 12.1.2011
Из: России
Поблагодарили: 63 раза
Репутация:   20  


Если не ошибаюсь, то Reader забыл вписать в роботс запрет о индексации тегов, рубрик, это тоже немаловажно...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Reader
Reader
сообщение 7.3.2011, 9:36; Ответить: Reader
Сообщение #8


манимейкер
*******

Группа: Active User
Сообщений: 2509
Регистрация: 22.4.2009
Из: России
Поблагодарили: 1017 раз
Репутация:   121  


(Maxsmart @ 5.3.2011, 16:27) *
Если не ошибаюсь, то Reader забыл вписать в роботс запрет о индексации тегов, рубрик, это тоже немаловажно...

Запрещать к индексации рубрики вообще не вижу смысла. Что касается тегов, то если их делать как удобный элемент навигации, то Яндекс спокойно относится к их наличию. Если их делать для количества страниц, то закрывать от индексации также нет смысла.

boricov, а блог с анкором "отсюда" все равно на порядок выше в серпе biggrin.gif

Сообщение отредактировал Reader - 7.3.2011, 9:37
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gaishnik007
gaishnik007
сообщение 7.3.2011, 9:52; Ответить: gaishnik007
Сообщение #9


Участник
***

Группа: User
Сообщений: 110
Регистрация: 10.7.2010
Из: Владимир
Поблагодарили: 13 раз
Репутация:   1  


Юзаю роботс как у Reader.. Всё гуд! Рубрики открыты smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
boricov
boricov
сообщение 7.3.2011, 9:57; Ответить: boricov
Сообщение #10


Новичок
*

Группа: Banned
Сообщений: 43
Регистрация: 5.3.2011
Из: Костомукша
Поблагодарили: 16 раз
Репутация:   4  


Reader ты умник?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) как правильно написать альт и тайтл для изображений
0 galaker 391 13.12.2017, 22:50
автор: galaker
Открытая тема (нет новых ответов) Как правильно сделать категории на сайте?
Хелппп!!!
5 norino 674 11.12.2017, 16:28
автор: One_on_One
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47518 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Яша определяет не правильно релевантную страницу
нужна подсказка от Гуру!
26 minutkin 2418 25.11.2017, 23:49
автор: genjnat
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 512 17.11.2017, 17:17
автор: coremission


 



RSS Текстовая версия Сейчас: 17.12.2017, 16:22
Дизайн