X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt, Нужна помощь
genjnat
genjnat
Topic Starter сообщение 23.1.2012, 15:42; Ответить: genjnat
Сообщение #1


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Поставил компонент тегов, и хочу открыть их для индексации, но адрес тегов имеет вид:
/component/tag/Готовим-на-гриле.html
В robots директория component запрещена Disallow: /component/ , и открывать ее нельзя.
Вопрос – как открыть для индексации /component/tag/.
Заранее спасибо

Сообщение отредактировал genjnat - 23.1.2012, 15:43


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 15:52; Ответить: hybrid
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


genjnat, можно так Allow: /component/tag/, но я бы всё-таки убрал Disallow: /component/ и заблокировал каждый его каталог отдельно, если нужно.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
Topic Starter сообщение 23.1.2012, 16:06; Ответить: genjnat
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Спасибо за помощь, но не работает
Прописал Allow: /component/tag/ и проверил в ЯВМ через Анализ robots.txt -запрещен правилом /component/

Вот мой роботс на данный момент
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /component/
Disallow: /index.php/
Disallow: /*?start=
Disallow: /*feed?type=
Disallow: /images/resized/
Disallow: /kak-naiti-retsept
Disallow: /images/banners/
Disallow: /spetsobsluzhivanie/51
Disallow: /retsepty/57
Allow: /component/tag/

ПС - Закрывать все компаненты по отдельности - муторно


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:12; Ответить: hybrid
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


genjnat, проверил через анализ robots.txt яндекса, но ничего подобного мне не выдало. Можно скрин?

Сообщение отредактировал hybrid - 23.1.2012, 16:13
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
Topic Starter сообщение 23.1.2012, 16:17; Ответить: genjnat
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Прикрепленное изображение


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 23.1.2012, 16:25; Ответить: hybrid
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


genjnat, видимо стоит подождать пока изменения не вступят в силу. Либо заниматься муторной работой, и запрещать каждый каталог отдельно.

пример использования директивы Allow
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
Topic Starter сообщение 23.1.2012, 16:40; Ответить: genjnat
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Разобрался
Просто Allow: /component/tag/ нужно ставить выше Disallow: /component/
Проверка выдает - /component/ запрещен, /component/tag/ - разрешен

Еще раз спасибо

Сообщение отредактировал genjnat - 23.1.2012, 16:41


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47476 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 504 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1191 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 696 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 14.12.2017, 19:21
Дизайн