X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> немного разобраться в роботсе нужно, подскажите
Gracisko
Gracisko
Topic Starter сообщение 29.11.2012, 19:42; Ответить: Gracisko
Сообщение #1


Почитал яндекс про роботс.

Значит, если у меня на сайте страницы выглядят так - sait1.ru/home/page2.html
То закрыть от индексации так:
Disallow: /*/page*.html

верно?

Сообщение отредактировал Gracisko - 29.11.2012, 19:44


--------------------
клоновод
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KipiaSoft
KipiaSoft
сообщение 29.11.2012, 20:36; Ответить: KipiaSoft
Сообщение #2


(Gracisko @ 29.11.2012, 19:42) *
верно?

почти. если после слова поставили значок *, то после него уже можно ничего не дописывать.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rjksdfhe
rjksdfhe
сообщение 29.11.2012, 20:48; Ответить: rjksdfhe
Сообщение #3


То есть прописка в robots.txt строки
Disallow: /*/page*.html

будет эквивалентно прописыванию
Disallow: /

т.е. полный запрет индексации поисковыми ботами

Надо писать конкретно, например
Disallow: /categories/page*


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KipiaSoft
KipiaSoft
сообщение 29.11.2012, 21:02; Ответить: KipiaSoft
Сообщение #4


я к тому что в записи
Disallow: /*/page*.html


.html

уже дописывать бесполезно.
Робот поисковика будет стараться не индексировать страницы, в адресе которых присутствует знаки page
Если структура Вашего сайта такова, что page присутствует во всех страницах сайта, то подобная запись запретит индексировать практически все.
Лучше все таки конкретизировать поподробней. Либо делать материал доступным только для определенной группы пользователей (админ или модератор). Такой материал поисковик не проиндексирует.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gracisko
Gracisko
Topic Starter сообщение 29.11.2012, 23:30; Ответить: Gracisko
Сообщение #5


rjksdfhe,
Disallow: /*/page*.html и Disallow: / это разве одно и тоже?

Есть сайт, когда на этом сайте переходишь на другую страницу(не статью, а страницу), то получается адрес следующего типа sait1.ru/home/page2.html

Это был пример перехода на вторую страницу с главной. Если брать категории или теги, то вторые страницы будут выглядеть так - sait1.ru/boom/page2.html

Сами посты имеют следующий тип - sait1.ru/boom/post1.html - всегда видно в урле, что за категория и в данном примере это категория boom.

Вот мне нужно запретить эти страницы не нужные поисковику. Ну вроде бы, как уже подсказывали, запретить можно одной строкой - Disallow: /*/page* такое разве равносильно полного запрета индексации всего сайта?


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oroom
oroom
сообщение 29.11.2012, 23:39; Ответить: oroom
Сообщение #6


Если структура именно такая и не будет меняться, то сойдет. Главное не захотеть использовать вхождение '/page' в каких-нибудь полезных url
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gracisko
Gracisko
Topic Starter сообщение 30.11.2012, 14:59; Ответить: Gracisko
Сообщение #7


oroom, так может уточнить максимально так -
Disallow: /*/page*.html$


Одни говорят правильно, а другие говорят не правильно. Что делать? Пойду вешаться!

Сообщение отредактировал Gracisko - 30.11.2012, 0:20


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
spavoda
spavoda
сообщение 30.11.2012, 16:41; Ответить: spavoda
Сообщение #8


Gracisko, что вы хотите закрыть от роботов не понятно. если все страницы которые содержат page
то
Disallow: /page*


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
armpwnz
armpwnz
сообщение 30.11.2012, 18:37; Ответить: armpwnz
Сообщение #9


Задам и я свой маленький вопрос, раз такая пьянка. Я тут просверлил до дыр хелпы ПС и все не могу врубиться. Есть сайт, категория отзывов в которой доступна по site.com/reviews. При сортировке в материале модуль дописывает к урлам параметры и урлы принимают вид site.com/reviews?id=1&limit=10 и тд. Как мне оставить в индексе саму страницу отзывов, но при этом скрыть от робота страницы с параметрами?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Biznessman
Biznessman
сообщение 30.11.2012, 18:50; Ответить: Biznessman
Сообщение #10


armpwnz
лично я такое закрываю так:
Disallow: /reviews?id=1&limit=*
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужно разносить телеграм каналы по разным аккаунтам?
9 Mixatraider 1816 20.3.2024, 18:34
автор: Rebex
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыСколько времени нужно для раскачки нового сайта?
29 metvekot 7869 8.3.2024, 15:41
автор: malamut
Открытая тема (нет новых ответов) Нужно ли закрывать ненужные страницы тегом noindex, follow?
8 noviktamw 2834 2.3.2024, 12:53
автор: toplinks
Открытая тема (нет новых ответов) Нужно сделать репост статей в соц сети
1 HavingingWorld 2393 27.2.2024, 2:15
автор: AndrePro
Открытая тема (нет новых ответов) Нужно ли указывать регион для сайта?
2 rownong27 1176 18.2.2024, 23:20
автор: rownong27


 



RSS Текстовая версия Сейчас: 29.3.2024, 5:44
Дизайн