X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots уже не важен?
Ostromir
Ostromir
Topic Starter сообщение 20.2.2020, 12:20; Ответить: Ostromir
Сообщение #1


странные вещи наблюдаю с новым сайтом
некоторые разделы сайта (например форум) закрыты от индексации в роботсе, но ПС (особенно яндекс) упорно индексируют новый контент
при этом если в вебмастере проверить ссылку - то она якобы закрыта для индексации в роботсе
но на деле прекрасно индексируется
и инструмент удаления этой ссылки в яндексе не работает (пишет что удалено, но в поиске она есть).

мистика какая-то
что делать? что проверить?


Поблагодарили: (1)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mistic
Mistic
сообщение 20.2.2020, 14:58; Ответить: Mistic
Сообщение #2


ПС уже давно плевать на это. Для них robots не более чем рекомендации. Запрещайте доступ на уровне сервера или через ограничение по IP


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 20.2.2020, 22:29; Ответить: VinogradOFF
Сообщение #3


Цитата(Mistic @ 20.2.2020, 14:58) *
Запрещайте доступ на уровне сервера


а на уровне сервера можно настроить запрет на индексацию только отдельных папок? а параметров?
а как?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
_fan_
_fan_
сообщение 21.2.2020, 0:02; Ответить: _fan_
Сообщение #4


гугл да, 50% содержимого может игнорировать
для яндекса роботс важен.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OS_ZP_UA
OS_ZP_UA
сообщение 21.2.2020, 0:06; Ответить: OS_ZP_UA
Сообщение #5


Цитата(VinogradOFF @ 20.2.2020, 20:29) *
а на уровне сервера можно настроить запрет на индексацию только отдельных папок? а параметров?
а как?

на уровне движка, ты же можешь юзерагенту с Bot bot BOT отдать что угодно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
eduarddis
eduarddis
сообщение 21.2.2020, 1:42; Ответить: eduarddis
Сообщение #6


Цитата(_fan_ @ 21.2.2020, 0:02) *
для яндекса роботс важен.

Не согласен. При клепании поддоменов даже с очевидным дублем контента может игнорировать директиву host на основной домен.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Silverspam
Silverspam
сообщение 21.2.2020, 1:59; Ответить: Silverspam
Сообщение #7


Цитата(eduarddis @ 21.2.2020, 2:42) *
При клепании поддоменов даже с очевидным дублем контента может игнорировать директиву host на основной домен.


ага, года два как уже


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
adamsadriane
adamsadriane
сообщение 21.2.2020, 11:55; Ответить: adamsadriane
Сообщение #8


Цитата(_fan_ @ 20.2.2020, 22:02) *
гугл да, 50% содержимого может игнорировать


это как?
типа каждую вторую директиву только будет использовать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lockki
lockki
сообщение 21.2.2020, 15:10; Ответить: lockki
Сообщение #9


в Яндексе всегда срабатывает, а вот в Гугл бываем игнорируется, но тоже крайне редко.
причем обычно все попадает в индекс и пишется, что закрыто в robots.txt

p.s. не будете использовать роботс, куча мусора попадет в выдачу, сделаете еще хуже.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DUbiev
DUbiev
сообщение 22.2.2020, 11:57; Ответить: DUbiev
Сообщение #10


lockki, так вроде человек и говорит, что не срабатывает
а вы говорите срабатывает
противоречие

Цитата(OS_ZP_UA @ 21.2.2020, 0:06) *
на уровне движка, ты же можешь юзерагенту с Bot bot BOT отдать что угодно


зачем тогда выдумывать всякие роботсы?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Занимаюсь добычей качественного контента из Вебархива. Опыт уже более трех лет
Предоставляю только качественный, читабельный контент.
62 kuz999 37863 27.7.2023, 13:55
автор: kuz999
Открытая тема (нет новых ответов) RedPush.biz - монетизируем ваши push-уведомления: +50% к доходу уже через месяц
16 Max Fuckin 4142 13.8.2019, 18:50
автор: Max Fuckin
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2183 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Разработка сайтов"под ключ"ПОД КЛЮЧ” ИЛИ ДОРАБОТКА УЖЕ ИМЕЮЩИХСЯ
2 ХмаркаХмарка 2354 5.4.2016, 12:47
автор: ХмаркаХмарка
Открытая тема (нет новых ответов) Работы по файлу robots.txt
8 tankoff 3673 19.3.2016, 20:02
автор: tankoff


 



RSS Текстовая версия Сейчас: 19.3.2024, 9:30
Дизайн