Помощник
|
Правильный запрет индексации в robots.txt |
muravyov
|
Сообщение
#1
|
||
|
|
||
|
|||
Majestro |
19.2.2012, 13:13;
Ответить: Majestro
Сообщение
#2
|
|
Disallow: /*member
-------------------- |
|
|
Milera |
19.2.2012, 13:57;
Ответить: Milera
Сообщение
#3
|
|
без звездочки
звездочка зло. |
|
|
muravyov
|
Сообщение
#4
|
|
Почему звездочка зло?
Почитал рекомендации Яндекса, нашел вот что: По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:
User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам # начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самое |
|
|
borisoff |
19.2.2012, 16:28;
Ответить: borisoff
Сообщение
#5
|
|
Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*?
-------------------- borisoff.denis@gmail.com ICQ: 560-760-233 |
|
|
serezka |
19.2.2012, 16:50;
Ответить: serezka
Сообщение
#6
|
|
Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*? В зависимости от УРЛов. Звёздочка заменяет другие символы. То-есть если нужно закрыть страницы например site.ru/bdb-123 , site.ru/asd-123 , site.ru/bgf-123 То можно прописать: Disallow: /*123 Еслиже site.ru/adc-123 , site.ru/adc-456 , site.ru/adc-789 то: Disallow: /abc п.с. для проверки правильности написания роботса, можно использовать сервис яндекса http://webmaster.yandex.ru/robots.xml Сообщение отредактировал serezka - 19.2.2012, 16:56 |
|
|
muravyov
|
Сообщение
#7
|
|
Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*? Disallow: /member* # блокирует доступ к страницам # начинающимся с '/member' Соответственно либо /member либо /member* Сообщение отредактировал muravyov - 19.2.2012, 17:03 |
|
|
Milera |
19.2.2012, 17:01;
Ответить: Milera
Сообщение
#8
|
|
Почему звездочка зло? Note also that globbing and regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif". ©robotstxt.org чтобы запретить доступ к страницам начинающимся с '/member' достаточно написать просто Disallow: /member а звездочка в конце это вообще для извращенцев. Сообщение отредактировал Milera - 19.2.2012, 17:07 |
|
|
azarchick |
28.2.2012, 14:57;
Ответить: azarchick
Сообщение
#9
|
|
|
©robotstxt.org чтобы запретить доступ к страницам начинающимся с '/member' достаточно написать просто Disallow: /member а звездочка в конце это вообще для извращенцев. Ну да, * - это любые символы = пустое место после дерективы ( /member* - это то же самое, что и 0,20000 - мы же не пишем нули в таком случае). Главное, чтобы никакие другие страницы, важные для индексации, не содержали слово "member". проверить правильность любой дерективы можно в вебмастерах и Яндекса, и Гугла.
Сообщение отредактировал azarchick - 28.2.2012, 14:58 -------------------- |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
По какому принципу работают ускорители индексации сайта? | 5 | Lifelove | 1583 | 29.1.2024, 9:50 автор: Skyworker |
|
Сервис индексации- ферма голодных гуглоботов сожрет ваши ссылки Удобный сервис индексации ссылок в телеграм боте |
12 | FastIndex | 2445 | 5.1.2024, 16:36 автор: malamut |
|
Услуга по индексации страниц в Google | 9 | FUTP | 3692 | 12.4.2023, 21:31 автор: Magicclickpartners |
|
Ускорение индексации | 3 | wep | 6683 | 24.9.2021, 19:04 автор: Wachowski |
|
Недорогой прогон по открытым для индексации профилям (Быстро и качественно) | 38 | Xzeurus | 7656 | 19.4.2020, 19:10 автор: langer |
Текстовая версия | Сейчас: 29.3.2024, 3:10 |