X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

> Правильный запрет индексации в robots.txt
muravyov
muravyov
Topic Starter сообщение 19.2.2012, 1:09; Ответить: muravyov
Сообщение #1


Здравствуйте. Существуют сайт на котором есть страницы типа: member123.html. 123 - число которое у каждой страницы разное. Как запретить в robots.txt эти страницы к индексации?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
 
Открыть тему
Ответов (1 - 8)
Majestro
Majestro
сообщение 19.2.2012, 13:13; Ответить: Majestro
Сообщение #2


Disallow: /*member


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Milera
Milera
сообщение 19.2.2012, 13:57; Ответить: Milera
Сообщение #3


без звездочки
звездочка зло.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
muravyov
muravyov
Topic Starter сообщение 19.2.2012, 16:19; Ответить: muravyov
Сообщение #4


Почему звездочка зло?

Почитал рекомендации Яндекса, нашел вот что:

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам
# начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
borisoff
borisoff
сообщение 19.2.2012, 16:28; Ответить: borisoff
Сообщение #5


Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 19.2.2012, 16:50; Ответить: serezka
Сообщение #6


(borisoff @ 19.2.2012, 16:28) *
Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*?

В зависимости от УРЛов.
Звёздочка заменяет другие символы. То-есть если нужно закрыть страницы например

site.ru/bdb-123 , site.ru/asd-123 , site.ru/bgf-123
То можно прописать: Disallow: /*123

Еслиже
site.ru/adc-123 , site.ru/adc-456 , site.ru/adc-789
то: Disallow: /abc



п.с. для проверки правильности написания роботса, можно использовать сервис яндекса http://webmaster.yandex.ru/robots.xml

Сообщение отредактировал serezka - 19.2.2012, 16:56


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
muravyov
muravyov
Topic Starter сообщение 19.2.2012, 17:00; Ответить: muravyov
Сообщение #7


(borisoff @ 19.2.2012, 16:28) *
Не совсем ясно, как должно быть прописано правило в конкретном случае. /*member или все-таки /member*?


Disallow: /member*
# блокирует доступ к страницам
# начинающимся с '/member'

Соответственно либо /member либо /member*

Сообщение отредактировал muravyov - 19.2.2012, 17:03


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Milera
Milera
сообщение 19.2.2012, 17:01; Ответить: Milera
Сообщение #8


Почему звездочка зло?


Note also that globbing and regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif".

©robotstxt.org

чтобы запретить доступ к страницам начинающимся с '/member' достаточно написать просто Disallow: /member

а звездочка в конце это вообще для извращенцев.

Сообщение отредактировал Milera - 19.2.2012, 17:07
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azarchick
azarchick
сообщение 28.2.2012, 14:57; Ответить: azarchick
Сообщение #9


(Milera @ 19.2.2012, 16:01) *
©robotstxt.org

чтобы запретить доступ к страницам начинающимся с '/member' достаточно написать просто Disallow: /member

а звездочка в конце это вообще для извращенцев.


Ну да, * - это любые символы = пустое место после дерективы ( /member* - это то же самое, что и 0,20000 - мы же не пишем нули в таком случае).

Главное, чтобы никакие другие страницы, важные для индексации, не содержали слово "member".

проверить правильность любой дерективы можно в вебмастерах и Яндекса, и Гугла.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал azarchick - 28.2.2012, 14:58


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ускорение индексации
3 wep 1176 24.9.2021, 19:04
автор: Wachowski
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыНедорогой прогон по открытым для индексации профилям (Быстро и качественно)
38 Xzeurus 2920 19.4.2020, 19:10
автор: langer
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПрогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов
...
31 Krol7 15384 25.10.2019, 10:59
автор: Sereban23
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 67421 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Правильный аудит для вашего проекта!
Высокое качество, хорошая цена, без воды!
6 Salikov 2368 6.5.2019, 14:56
автор: Salikov


 



RSS Текстовая версия Сейчас: 18.10.2021, 11:11
Дизайн