X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Яндекс вообще robots.txt учитывает?
MisterAlex
MisterAlex
Topic Starter сообщение 15.7.2013, 17:53; Ответить: MisterAlex
Сообщение #1


Участник
***

Группа: User
Сообщений: 180
Регистрация: 18.12.2010
Из: Где-то недалеко от края света....
Поблагодарили: 32 раза
Репутация:   6  


Подскажите, раздел сайта закрыт в роботсе

User-agent: Yandex
Disallow: /razdel/

Но страницы site/statyi/razdel/post1 , например, спокойно заходят в индекс. Как так-то?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Hallboy222
Hallboy222
сообщение 15.7.2013, 17:54; Ответить: Hallboy222
Сообщение #2


Любитель идей
*******


Группа: Active User
Сообщений: 2582
Регистрация: 27.5.2010
Из: Москва
Поблагодарили: 872 раза
Репутация:   149  


В апдейт вылетит. Спокойно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 15.7.2013, 17:57; Ответить: x64
Сообщение #3


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3423
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2740 раз
Репутация:   289  


туц
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

получается, под адрес site/statyi/razdel/post1 правило /razdel/ не подходит


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MisterAlex
MisterAlex
Topic Starter сообщение 15.7.2013, 18:00; Ответить: MisterAlex
Сообщение #4


Участник
***

Группа: User
Сообщений: 180
Регистрация: 18.12.2010
Из: Где-то недалеко от края света....
Поблагодарили: 32 раза
Репутация:   6  


Сидит уже больше месяца страница... И ссылочное с нее учитывается...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
RSmile
RSmile
сообщение 15.7.2013, 18:40; Ответить: RSmile
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 496
Регистрация: 2.11.2012
Из: Brest
Поблагодарили: 204 раза
Репутация:   32  


MisterAlex, в комменте выше вам же написали, что надо писать: /razdel/*


--------------------
Безлимитный SSD-Хостинг. Рекомендую! Месяц бесплатно!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Alsally
Alsally
сообщение 15.7.2013, 18:51; Ответить: Alsally
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 65
Регистрация: 16.7.2007
Поблагодарили: 4 раза
Репутация:   -1  


У вас не правильный синтаксис
В вашем случае нужно так

User-agent: Yandex
Disallow: *razdel*

А вообще, в яндекс.вебмастере есть проверка работы файла роботс.тхт
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 15.7.2013, 21:15; Ответить: rom_4
Сообщение #7


трафа много не бывает
******

Группа: Active User
Сообщений: 1450
Регистрация: 9.7.2010
Из: Россия
Поблагодарили: 551 раз
Репутация:   62  


надо убрать слеш в конце, сейчас вы закрываете папку раздел, но не урл. вообще в явебмастере есть инструмент проверки правильности роботса, в реальном времени. сделал правку - посмотрел, понравилось - внес уже на сайте. http://webmaster.yandex.ru/robots.xml


--------------------
Зарабатываю тут, тут и тут
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Esite
Esite
сообщение 17.7.2013, 15:25; Ответить: Esite
Сообщение #8


Новичок
*

Группа: User
Сообщений: 17
Регистрация: 29.1.2013
Из: Россия
Поблагодарили: 2 раза
Репутация:   0  


(MisterAlex @ 15.7.2013, 18:53) *
Disallow: /razdel/

Дак yandex и не будет индексировать эту папку "razdel" но её и не существует. Он понимает, что она находится в корневой директории сайта, а /statyi/razdel/ это другая папка на которую нет запретов вот и хавает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Дэймон
Дэймон
сообщение 17.7.2013, 17:41; Ответить: Дэймон
Сообщение #9


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 27.6.2013
Поблагодарили: 6 раз
Репутация:   1  


Пропишите правильно правила и если очень срочно нужно удалить какие то страницы - воспользуйтесь формой http://webmaster.yandex.ru/delurl.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Linkfeedsupport
Linkfeedsupport
сообщение 22.7.2013, 14:28; Ответить: Linkfeedsupport
Сообщение #10


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 19.7.2013
Поблагодарили: 5 раз
Репутация:   1  


User-agent: Yandex
Disallow: *razdel*

Наверное самый оптимальный вариант решения, но тут главное, чтоб не было на сайте нужных урлов, в которых встречается razdel. Если такие есть, то их надо разрешить к индексации.


--------------------
Биржа ссылок linkfeed.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Увеличение посещаемости сайта (яндекс, гугл, соц сети) - реальные люди
5 SANR 440 Сегодня, 10:25
автор: Tootkin
Открытая тема (нет новых ответов) Мобильный «Яндекс.Диск» стал безлимитным
6 MissContent 886 Сегодня, 9:48
автор: Mikki
Открытая тема (нет новых ответов) Стоит ли подавать платную заявку в Яндекс Каталог для регионального издания?
11 DVORYAN 1597 Вчера, 17:48
автор: RICHHost
Открытая тема (нет новых ответов) Настройка и ведение ваших кампаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
2 AvramLincoln 468 Вчера, 13:18
автор: AvramLincoln
Горячая тема (нет новых ответов) ApiSystem.ru - открытый доступ к Контентному API Яндекс.Маркет
56 zuziken 41001 8.12.2017, 16:50
автор: zuziken


 



RSS Текстовая версия Сейчас: 12.12.2017, 13:04
Дизайн