X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Яндекс вообще robots.txt учитывает?
MisterAlex
MisterAlex
Topic Starter сообщение 15.7.2013, 17:53; Ответить: MisterAlex
Сообщение #1


Участник
***

Группа: User
Сообщений: 180
Регистрация: 18.12.2010
Из: Где-то недалеко от края света....
Поблагодарили: 32 раза
Репутация:   6  


Подскажите, раздел сайта закрыт в роботсе

User-agent: Yandex
Disallow: /razdel/

Но страницы site/statyi/razdel/post1 , например, спокойно заходят в индекс. Как так-то?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Hallboy222
Hallboy222
сообщение 15.7.2013, 17:54; Ответить: Hallboy222
Сообщение #2


Любитель идей
*******


Группа: Active User
Сообщений: 2582
Регистрация: 27.5.2010
Из: Москва
Поблагодарили: 872 раза
Репутация:   149  


В апдейт вылетит. Спокойно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 15.7.2013, 17:57; Ответить: x64
Сообщение #3


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3544
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2881 раз
Репутация:   294  


туц
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

получается, под адрес site/statyi/razdel/post1 правило /razdel/ не подходит


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MisterAlex
MisterAlex
Topic Starter сообщение 15.7.2013, 18:00; Ответить: MisterAlex
Сообщение #4


Участник
***

Группа: User
Сообщений: 180
Регистрация: 18.12.2010
Из: Где-то недалеко от края света....
Поблагодарили: 32 раза
Репутация:   6  


Сидит уже больше месяца страница... И ссылочное с нее учитывается...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
RSmile
RSmile
сообщение 15.7.2013, 18:40; Ответить: RSmile
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 496
Регистрация: 2.11.2012
Из: Brest
Поблагодарили: 204 раза
Репутация:   32  


MisterAlex, в комменте выше вам же написали, что надо писать: /razdel/*


--------------------
Безлимитный SSD-Хостинг. Рекомендую! Месяц бесплатно!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Alsally
Alsally
сообщение 15.7.2013, 18:51; Ответить: Alsally
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 65
Регистрация: 16.7.2007
Поблагодарили: 4 раза
Репутация:   -1  


У вас не правильный синтаксис
В вашем случае нужно так

User-agent: Yandex
Disallow: *razdel*

А вообще, в яндекс.вебмастере есть проверка работы файла роботс.тхт
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 15.7.2013, 21:15; Ответить: rom_4
Сообщение #7


трафа много не бывает
******

Группа: Active User
Сообщений: 1466
Регистрация: 9.7.2010
Из: Россия
Поблагодарили: 562 раза
Репутация:   62  


надо убрать слеш в конце, сейчас вы закрываете папку раздел, но не урл. вообще в явебмастере есть инструмент проверки правильности роботса, в реальном времени. сделал правку - посмотрел, понравилось - внес уже на сайте. http://webmaster.yandex.ru/robots.xml


--------------------
Зарабатываю тут, тут и тут
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Esite
Esite
сообщение 17.7.2013, 15:25; Ответить: Esite
Сообщение #8


Новичок
*

Группа: User
Сообщений: 17
Регистрация: 29.1.2013
Из: Россия
Поблагодарили: 2 раза
Репутация:   0  


(MisterAlex @ 15.7.2013, 18:53) *
Disallow: /razdel/

Дак yandex и не будет индексировать эту папку "razdel" но её и не существует. Он понимает, что она находится в корневой директории сайта, а /statyi/razdel/ это другая папка на которую нет запретов вот и хавает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Дэймон
Дэймон
сообщение 17.7.2013, 17:41; Ответить: Дэймон
Сообщение #9


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 27.6.2013
Поблагодарили: 6 раз
Репутация:   1  


Пропишите правильно правила и если очень срочно нужно удалить какие то страницы - воспользуйтесь формой http://webmaster.yandex.ru/delurl.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Linkfeedsupport
Linkfeedsupport
сообщение 22.7.2013, 14:28; Ответить: Linkfeedsupport
Сообщение #10


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 19.7.2013
Поблагодарили: 5 раз
Репутация:   1  


User-agent: Yandex
Disallow: *razdel*

Наверное самый оптимальный вариант решения, но тут главное, чтоб не было на сайте нужных урлов, в которых встречается razdel. Если такие есть, то их надо разрешить к индексации.


--------------------
Биржа ссылок linkfeed.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Автоматизация и заработок на Яндекс Дзен
Получаем траф на автомате и монетизируем контекстом
15 master_jeday 4169 Вчера, 17:26
автор: kirch
Открытая тема (нет новых ответов) 5 крауд-ссылок с трастового ресурса Яндекс.Знатоки за 500руб
4 yulbee 827 Вчера, 16:56
автор: yulbee
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАккаунты Яндекс Директ без НДС [актуально]
Директ без НДС, экономия 18% при каждом пополнении РК
5 Diwate 1494 19.5.2018, 22:00
автор: Diwate
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМануал по заработку в Яндекс Дзене «6 простых шагов — и 100 000 рублей в кармане»
В рамках Новогодних мероприятий 2017-2018
1398 Zoya83 90634 18.5.2018, 13:22
автор: Zoya83
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБыстрый обмен WMR|WMZ|WMU|WME <=> Яндекс.Деньги <=> QIWI
Вам нужен быстрый, надежный и гарантированный обмен? Вам сюда!
458 Mark29 130193 18.5.2018, 12:09
автор: scanread


 



RSS Текстовая версия Сейчас: 21.5.2018, 3:29
Дизайн