X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Правильный запрет индексации в robots.txt
muravyov
muravyov
Topic Starter сообщение 19.2.2012, 1:09; Ответить: muravyov
Сообщение #1


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 4.3.2011
Из: Иваново
Поблагодарили: 6 раз
Репутация:   -1  


Здравствуйте. Существуют сайт на котором есть страницы типа: member123.html. 123 - число которое у каждой страницы разное. Как запретить в robots.txt эти страницы к индексации?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Majestro
Majestro
сообщение 19.2.2012, 13:13; Ответить: Majestro
Сообщение #2


Новичок
*


Группа: User
Сообщений: 33
Регистрация: 16.1.2012
Поблагодарили: 7 раз
Репутация:   0  


Disallow: /*member


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Milera
Milera
сообщение 19.2.2012, 13:57; Ответить: Milera
Сообщение #3


Участник
***

Группа: User
Сообщений: 153
Регистрация: 5.2.2012
Поблагодарили: 24 раза
Репутация:   2  


без звездочки
звездочка зло.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
muravyov
muravyov
Topic Starter сообщение 19.2.2012, 16:19; Ответить: muravyov
Сообщение #4


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 4.3.2011
Из: Иваново
Поблагодарили: 6 раз
Репутация:   -1  


Почему звездочка зло?

Почитал рекомендации Яндекса, нашел вот что:

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам
# начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
borisoff
borisoff
сообщение 19.2.2012, 16:28; Ответить: borisoff
Сообщение #5


Новичок
*

Группа: User
Сообщений: 19
Регистрация: 17.2.2012
Из: Мелитополь
Поблагодарили: 2 раза
Репутация:   0  


Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 19.2.2012, 16:50; Ответить: serezka
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


(borisoff @ 19.2.2012, 16:28) *
Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*?

В зависимости от УРЛов.
Звёздочка заменяет другие символы. То-есть если нужно закрыть страницы например

site.ru/bdb-123 , site.ru/asd-123 , site.ru/bgf-123
То можно прописать: Disallow: /*123

Еслиже
site.ru/adc-123 , site.ru/adc-456 , site.ru/adc-789
то: Disallow: /abc



п.с. для проверки правильности написания роботса, можно использовать сервис яндекса http://webmaster.yandex.ru/robots.xml

Сообщение отредактировал serezka - 19.2.2012, 16:56


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
muravyov
muravyov
Topic Starter сообщение 19.2.2012, 17:00; Ответить: muravyov
Сообщение #7


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 4.3.2011
Из: Иваново
Поблагодарили: 6 раз
Репутация:   -1  


(borisoff @ 19.2.2012, 16:28) *
Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*?


Disallow: /member*
# блокирует доступ к страницам
# начинающимся с '/member'

Соответственно либо /member либо /member*

Сообщение отредактировал muravyov - 19.2.2012, 17:03


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Milera
Milera
сообщение 19.2.2012, 17:01; Ответить: Milera
Сообщение #8


Участник
***

Группа: User
Сообщений: 153
Регистрация: 5.2.2012
Поблагодарили: 24 раза
Репутация:   2  


Почему звездочка зло?


Note also that globbing and regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif".

©robotstxt.org

чтобы запретить доступ к страницам начинающимся с '/member' достаточно написать просто Disallow: /member

а звездочка в конце это вообще для извращенцев.

Сообщение отредактировал Milera - 19.2.2012, 17:07
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azarchick
azarchick
сообщение 28.2.2012, 14:57; Ответить: azarchick
Сообщение #9


Частый гость
**

Группа: User
Сообщений: 53
Регистрация: 27.2.2012
Из: Беларусь
Поблагодарили: 16 раз
Репутация:   3  


(Milera @ 19.2.2012, 16:01) *
©robotstxt.org

чтобы запретить доступ к страницам начинающимся с '/member' достаточно написать просто Disallow: /member

а звездочка в конце это вообще для извращенцев.


Ну да, * - это любые символы = пустое место после дерективы ( /member* - это то же самое, что и 0,20000 - мы же не пишем нули в таком случае).

Главное, чтобы никакие другие страницы, важные для индексации, не содержали слово "member".

проверить правильность любой дерективы можно в вебмастерах и Яндекса, и Гугла.

Сообщение отредактировал azarchick - 28.2.2012, 14:58


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47539 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Проблема индексации в Google
12 Saitcena 2967 22.11.2017, 17:34
автор: metvekot
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 514 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1195 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПрогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов
...
24 Krol7 6053 14.3.2017, 18:12
автор: Clause


 



RSS Текстовая версия Сейчас: 18.12.2017, 22:31
Дизайн