X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Правильно ли я закрыл?
LeZ
LeZ
Topic Starter сообщение 9.3.2016, 21:49; Ответить: LeZ
Сообщение #1


Бывалый
****


Группа: Banned
Сообщений: 283
Регистрация: 24.11.2014
Поблагодарили: 42 раза
Репутация:   5  


На одном сайте нужно было закрыть только две отдельные страницы, закрыл в роботсе вот так:

Disallow: ******.ru/kontakty/
Disallow: ******.ru/reklama/

Подскажите, пожалуйста, всё правильно сделал?

0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 9.3.2016, 22:49; Ответить: x64
Сообщение #2


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3428
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2749 раз
Репутация:   289  


Домен нужно убрать


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LeZ
LeZ
Topic Starter сообщение 10.3.2016, 15:03; Ответить: LeZ
Сообщение #3


Бывалый
****


Группа: Banned
Сообщений: 283
Регистрация: 24.11.2014
Поблагодарили: 42 раза
Репутация:   5  


Цитата(x64 @ 9.3.2016, 22:49) *
Домен нужно убрать


Спс. А если так оставить будут проблемы? И если убирать слеши нужны?

Убрал, так правильно?:
Цитата
Disallow: /kontakty/
Disallow: /reklama/


Сообщение отредактировал LeZ - 10.3.2016, 15:04
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 10.3.2016, 16:40; Ответить: x64
Сообщение #4


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3428
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2749 раз
Репутация:   289  


Здесь есть несколько примеров.
Запросы неявно расширяются. Это значит, что под запретом будет и /kontakty/, и /kontakty/address/, и прочее.
Имеются ввиду начальные слеши? Да. Корень сайта это / и директива
Disallow: /
запрещает индексировать весь сайт.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LeZ
LeZ
Topic Starter сообщение 10.3.2016, 19:10; Ответить: LeZ
Сообщение #5


Бывалый
****


Группа: Banned
Сообщений: 283
Регистрация: 24.11.2014
Поблагодарили: 42 раза
Репутация:   5  


Посмотрел. Вопрос прежний:

Так нормально (изменил на сайте)?:

Disallow: /kontakty/
Disallow: /reklama/

Такого типа страницы /kontakty/address/ не планируются. Я как и предполагал таким способом закроются, к примеру:

Disallow: /kontakty/и всё что после если будет.

Меня смущает вот что: если к примеру будет статья на сайте с ЧПУ: /reklama-kak-dvigatel-torgovli/ она же при такой картине не закроется, так?



Снова погуглил и вот что надыбал: http://aimblog.ru/ustanovka/nastrojka-word...indeksacii.html

А если раздел у меня на сайте по адресу: http://*********.ru/category/reklama/

То как я сделал не закроет ли её?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Элантрис
Элантрис
сообщение 10.3.2016, 20:28; Ответить: Элантрис
Сообщение #6


Участник
***

Группа: User
Сообщений: 246
Регистрация: 19.4.2013
Из: Москва
Поблагодарили: 114 раз
Репутация:   25  


LeZ, не морочьте себе и пользователям форума голову, все предельно просто и понятно описано в официальных инструкциях ПС (например, вот от Яндекса). Вам самому надо понять принцип работы, а не по каждому правилу спрашивать.

1) Добавляете сайт в Яндекс.Вебмастер

2) Заходите на страницу https://webmaster.yandex.ru/robots.xml и проверяйте ваш robots.txt, если укажет на ошибки - исправляйте.

3) В том же Яндекс.Вебмастере вы можете проверить ЛЮБУЮ страницу вашего сайта на индекс и узнать, есть ли на нее запрет, в соответствии со всеми настройками (в том числе и robots.txt). Функция эта есть как в старой версии так и в новой, называется она "Проверить URL":



Конкретно в вашем случае правила:

Цитата(LeZ @ 10.3.2016, 19:10) *
Disallow: /kontakty/
Disallow: /reklama/


Блокируют (запрещает поисковому роботу скачивание этих страниц и занесение в базу) все страницы вашего сайта, которые начинаются с "/kontakty/" и "/reklama/", поставив в конце "/" указывает на то, что это каталог.

Цитата
Меня смущает вот что: если к примеру будет статья на сайте с ЧПУ: /reklama-kak-dvigatel-torgovli/ она же при такой картине не закроется, так?


Нет, не будет, так как вы указали каталог "/reklama/", чтобы подобные страницы были заблокированы необходимо иначе делать.

Цитата
А если раздел у меня на сайте по адресу: http://*********.ru/category/reklama/


Не уверен, но скорее всего будет. В таком случае исключите эту категорию новый правилом "Allow: /category/reklama/", тогда оно будет исключено, при этом это правило должно быть выше (желательно). Т.е. на выходе примерно так:

Allow: /category/reklama/
Disallow: /kontakty/
Disallow: /reklama/

Расшифруем правила: запрещает к скачиванию страницы, которые будут начинаться с "/kontakty/" и "/reklama/", но при этом разрешает скачивание страниц, которые будут начинаться с "/category/reklama/". В любом случае - проверяйте сами в сервисе, что я указал, тогда вы точно будете знать ответы.

PS: не читайте левый бред с неофициальных источников

Сообщение отредактировал Элантрис - 10.3.2016, 20:31


--------------------
Комплексный аудит и управление проектами. Консультации для новичков в области SEO и коммерции.
Контакты для связи: elantris.g{собачка}gmail.com
Отвечаю в будни c 9:00 по 23:00, в выходные дни недоступен.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LeZ
LeZ
Topic Starter сообщение 10.3.2016, 23:08; Ответить: LeZ
Сообщение #7


Бывалый
****


Группа: Banned
Сообщений: 283
Регистрация: 24.11.2014
Поблагодарили: 42 раза
Репутация:   5  


Цитата(Элантрис @ 10.3.2016, 20:28) *
называется она "Проверить URL":


Проверил.

Цитата(Элантрис @ 10.3.2016, 20:28) *
поставив в конце "/" указывает на то, что это каталог.


Значит его можно смело убирать?

Элантрис, спасибо.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
loginmain
loginmain
сообщение 11.3.2016, 0:17; Ответить: loginmain
Сообщение #8


Оптимизатор
*******

Группа: Super Moderator
Сообщений: 4327
Регистрация: 5.10.2008
Из: UA
Поблагодарили: 1946 раз
Репутация:   196  


Цитата(Элантрис @ 10.3.2016, 19:28) *
Не уверен, но скорее всего будет.

нет, не будет.
Цитата
User-agent: Yandex
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

то есть, без * все ок
Цитата
это правило должно быть выше (желательно). Т.е. на выходе примерно так:

Allow: /category/reklama/
Disallow: /kontakty/
Disallow: /reklama/

нет, надо просто сортировать
Цитата
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.


Цитата(LeZ @ 10.3.2016, 14:03) *
Убрал, так правильно?:
Цитата
Disallow: /kontakty/
Disallow: /reklama/

правильно, если не будет статей типа site.ru/kontakty/bla-bla/i_t_d.php или site.ru/kontakty/stattja.php


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LeZ
LeZ
Topic Starter сообщение 11.3.2016, 0:55; Ответить: LeZ
Сообщение #9


Бывалый
****


Группа: Banned
Сообщений: 283
Регистрация: 24.11.2014
Поблагодарили: 42 раза
Репутация:   5  


Цитата(loginmain @ 11.3.2016, 0:17) *
правильно, если не будет статей типа site.ru/kontakty/bla-bla/i_t_d.php или site.ru/kontakty/stattja.php


Не будет. Спасибо.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lamov
lamov
сообщение 11.3.2016, 12:01; Ответить: lamov
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 270
Регистрация: 6.7.2011
Из: Киев
Поблагодарили: 34 раза
Репутация:   2  


Как грубо 2 страницы в robots.txt закрывать :)
мета-тег robots noindex, follow же придумали)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) как правильно написать альт и тайтл для изображений
0 galaker 389 13.12.2017, 22:50
автор: galaker
Открытая тема (нет новых ответов) Как правильно сделать категории на сайте?
Хелппп!!!
5 norino 674 11.12.2017, 16:28
автор: One_on_One
Открытая тема (нет новых ответов) Яша определяет не правильно релевантную страницу
нужна подсказка от Гуру!
26 minutkin 2418 25.11.2017, 23:49
автор: genjnat
Открытая тема (нет новых ответов) Как правильно подобрать доменное имя для сайта
seo-mesto.ru - Подбираем доменное имя для сайта правильно
10 Webfrilanser 1673 3.10.2017, 23:04
автор: Motorocker
Открытая тема (нет новых ответов) Вёрстка XHTML/CSS. Дорого, быстро, правильно!
Качественная xhtml/css вёрстка макетов. Создание шаблонов, натяжка.
19 mr4q 9480 18.3.2015, 8:20
автор: mr4q


 



RSS Текстовая версия Сейчас: 17.12.2017, 14:15
Дизайн