X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Нужна помощь с роботс.тхт
bmp104
bmp104
Topic Starter сообщение 13.12.2013, 11:33; Ответить: bmp104
Сообщение #1


Завсегдатай
*****


Группа: Active User
Сообщений: 680
Регистрация: 13.12.2010
Поблагодарили: 55 раз
Репутация:   10  


Здравствуйте, подскажите пожалуйста, как в роботс запретить сканировать сайт всем ботам кроме яндекс,гугл,мэйл?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
allvake
allvake
сообщение 13.12.2013, 12:12; Ответить: allvake
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 594
Регистрация: 16.8.2011
Из: South
Поблагодарили: 272 раза
Репутация:   37  


Большинство роботов bing, solomono, msn, yahoo, alexa и совсем непонятные, кладут на роботс. Банить по IP их. Или в роботс.тхт писать
User-agent: bot
Disallow: */
или для нужных роботов
User-agent: Mediapartners-Google
Allow: /сайт или что-то
User-agent: Yandex
Allow: /что там у вас
И так далее для нужных

Сообщение отредактировал allvake - 13.12.2013, 12:15


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bmp104
bmp104
Topic Starter сообщение 13.12.2013, 12:29; Ответить: bmp104
Сообщение #3


Завсегдатай
*****


Группа: Active User
Сообщений: 680
Регистрация: 13.12.2010
Поблагодарили: 55 раз
Репутация:   10  


solomono


Вот это г*вно просто атакует мои сайты!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
angarsky
angarsky
сообщение 13.12.2013, 12:33; Ответить: angarsky
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 70
Регистрация: 31.10.2013
Из: Minsk
Поблагодарили: 15 раз
Репутация:   4  


User-agent: *
Crawl-delay: 10
Disallow: /

User-agent: Yandex
Allow: /

User-agent: Google
Allow: /


Crawl-delay: 10 - задержка между запросами. Это, чтобы основные поисковики не заклевывали сайт.


--------------------
SEO и Drupal по понятиям.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 14.12.2013, 21:59; Ответить: djalin
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 414
Регистрация: 8.5.2011
Поблагодарили: 87 раз
Репутация:   9  


Яндекс говорит

Сообщение отредактировал djalin - 14.12.2013, 22:02


--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
сообщение 14.12.2013, 23:02; Ответить: ManGysITI
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


(bmp104 @ 13.12.2013, 10:29) *
solomono
Вот это г*вно просто атакует мои сайты!


Значит ваши сайты участвуют в биржах, так как solomono в приоритете сканирует именно такие сайты.

Вы такие наивные, думаете роботс.тхт поможет. Не хотите видеть роботов настраивайте сервер, в противном случае все это писанина по воде.

Сообщение отредактировал ManGysITI - 14.12.2013, 23:10


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
RobotBender
RobotBender
сообщение 20.12.2013, 3:21; Ответить: RobotBender
Сообщение #7


Новичок
*

Группа: User
Сообщений: 17
Регистрация: 2.12.2013
Поблагодарили: 2 раза
Репутация:   0  


+1, сканить разные боты и так смогут. Тут нужно делать защиту с задержкой загрузки страничек, при частых обновлениях. Ну, а если просто от главных поисковиков нужно закрыть индексацию, то поможет это:

User-agent: *
Disallow: /
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Очень нужна работа
Желательно на постоянной основе
12 Yuliya_Klim 1715 Сегодня, 10:25
автор: lesssss81
Открытая тема (нет новых ответов) Нужна помощь в активации аккаунта AdSense
9 dimaguru 2411 Вчера, 16:53
автор: vds4you
Открытая тема (нет новых ответов) Нужна помощь с задачами по SEO
Звучит так себе конечно, однако очень нужна ваша помощь!!!
10 another_way 1509 25.11.2017, 13:35
автор: Bel_Ami
Открытая тема (нет новых ответов) envato market помощь в покупке
1 wagan 598 12.11.2017, 22:23
автор: EvilGomel
Открытая тема (нет новых ответов) Помощь по css
5 Mistic 683 17.10.2017, 13:04
автор: prapod


 



RSS Текстовая версия Сейчас: 14.12.2017, 21:11
Дизайн