X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Нужна помощь с роботс.тхт
bmp104
bmp104
Topic Starter сообщение 13.12.2013, 11:33; Ответить: bmp104
Сообщение #1


Завсегдатай
*****


Группа: Active User
Сообщений: 682
Регистрация: 13.12.2010
Поблагодарили: 55 раз
Репутация:   10  


Здравствуйте, подскажите пожалуйста, как в роботс запретить сканировать сайт всем ботам кроме яндекс,гугл,мэйл?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
allvake
allvake
сообщение 13.12.2013, 12:12; Ответить: allvake
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 597
Регистрация: 16.8.2011
Из: South
Поблагодарили: 272 раза
Репутация:   37  


Большинство роботов bing, solomono, msn, yahoo, alexa и совсем непонятные, кладут на роботс. Банить по IP их. Или в роботс.тхт писать
User-agent: bot
Disallow: */
или для нужных роботов
User-agent: Mediapartners-Google
Allow: /сайт или что-то
User-agent: Yandex
Allow: /что там у вас
И так далее для нужных

Сообщение отредактировал allvake - 13.12.2013, 12:15


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bmp104
bmp104
Topic Starter сообщение 13.12.2013, 12:29; Ответить: bmp104
Сообщение #3


Завсегдатай
*****


Группа: Active User
Сообщений: 682
Регистрация: 13.12.2010
Поблагодарили: 55 раз
Репутация:   10  


solomono


Вот это г*вно просто атакует мои сайты!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
angarsky
angarsky
сообщение 13.12.2013, 12:33; Ответить: angarsky
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 70
Регистрация: 31.10.2013
Из: Minsk
Поблагодарили: 15 раз
Репутация:   4  


User-agent: *
Crawl-delay: 10
Disallow: /

User-agent: Yandex
Allow: /

User-agent: Google
Allow: /


Crawl-delay: 10 - задержка между запросами. Это, чтобы основные поисковики не заклевывали сайт.


--------------------
SEO и Drupal по понятиям.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 14.12.2013, 21:59; Ответить: djalin
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 414
Регистрация: 8.5.2011
Поблагодарили: 87 раз
Репутация:   9  


Яндекс говорит

Сообщение отредактировал djalin - 14.12.2013, 22:02


--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
сообщение 14.12.2013, 23:02; Ответить: ManGysITI
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


(bmp104 @ 13.12.2013, 10:29) *
solomono
Вот это г*вно просто атакует мои сайты!


Значит ваши сайты участвуют в биржах, так как solomono в приоритете сканирует именно такие сайты.

Вы такие наивные, думаете роботс.тхт поможет. Не хотите видеть роботов настраивайте сервер, в противном случае все это писанина по воде.

Сообщение отредактировал ManGysITI - 14.12.2013, 23:10


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
RobotBender
RobotBender
сообщение 20.12.2013, 3:21; Ответить: RobotBender
Сообщение #7


Новичок
*

Группа: User
Сообщений: 17
Регистрация: 2.12.2013
Поблагодарили: 2 раза
Репутация:   0  


+1, сканить разные боты и так смогут. Тут нужно делать защиту с задержкой загрузки страничек, при частых обновлениях. Ну, а если просто от главных поисковиков нужно закрыть индексацию, то поможет это:

User-agent: *
Disallow: /

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужна верстка со знанием php
13 Nemo 502 Сегодня, 15:52
автор: Nemo
Открытая тема (нет новых ответов) Психологический форум ( нужна оценка )
6 priest 1513 18.5.2018, 23:10
автор: Libby
Открытая тема (нет новых ответов) Очень нужна работа
Желательно на постоянной основе
14 Yuliya_Klim 3154 10.5.2018, 17:59
автор: Yuliya_Klim
Открытая тема (нет новых ответов) Нужна помощь в поиске плагина для WP
Для создания каталога
3 Frankie 861 25.4.2018, 21:20
автор: Frankie
Открытая тема (нет новых ответов) Скорая помощь для ваших сайтов - Wordpress, DLE, Joomla, Drupal
Любые виды работ, профессионально, оперативно, не дорого.
15 wturm 3770 20.4.2018, 14:34
автор: Black_Mag


 



RSS Текстовая версия Сейчас: 27.5.2018, 20:43
Дизайн