X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Запретить бота в .htaccess, или как спасти мою RSS
zigli
zigli
Topic Starter сообщение 8.7.2011, 8:21; Ответить: zigli
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


Приветствую. Собственно, появилась серьезная проблемка. На одном из сайтов "грабят" RSS-ленту. В логах откопал следующее:

173.230.147.60 - - [03/Jul/2011:05:00:18 +0400] "GET /feed/ HTTP/1.1" 200 13543 "мой_сайт/feed" "SimplePie/1.3-dev (Feed Parser; http://simplepie.org; Allow like Gecko) Build/20110503013105"


Надо как-то избавиться от этого бота. Блокировать по IP - не вариант, у него их очень много. Я видел, что можно запретить поисковых ботов, может также можно запретить и этого? Если можно, то как из приведенного выше найти имя этого бота?

Бот заходит на сайт каждый час в промежуток времени с 00 до 05 минут.

Или же если через .htaccess невозможно избавиться от него, то какие есть еще варианты спасти RSS от него? П.С. сайт на Wordpress, RSS ленту полностью закрывать нельзя.
Может кто поможет? На пиво подкину.

Сообщение отредактировал zigli - 8.7.2011, 8:22


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oldman
oldman
сообщение 8.7.2011, 8:29; Ответить: oldman
Сообщение #2


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 1.12.2010
Из: Omsk
Поблагодарили: 6 раз
Репутация:   3  


SetEnvIfNoCase user-Agent "^SimplePie/*" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
deny from env=bad_bot
</Limit>
Либо прописывать полностью имя бота:
SetEnvIfNoCase user-Agent "^SimplePie/1.3-dev*" bad_bot
SetEnvIfNoCase user-Agent "^SimplePie/1.1.3*" bad_bot
SetEnvIfNoCase user-Agent "^SimplePie/1.2*" bad_bot

Сообщение отредактировал oldman - 8.7.2011, 8:31


--------------------
не все валидно, что не видно


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BeerAbsorber
BeerAbsorber
сообщение 8.7.2011, 8:35; Ответить: BeerAbsorber
Сообщение #3


Участник
***

Группа: User
Сообщений: 109
Регистрация: 16.11.2010
Поблагодарили: 35 раз
Репутация:   5  


или так:
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^SimplePie
RewriteRule ^.*$ - [F]


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 8:47; Ответить: zigli
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


(oldman @ 8.7.2011, 8:29) *
Либо прописывать полностью имя бота:

для начала сделал так, ждем бота.

unsure.gif не помогло, снова ушла.

Сообщение отредактировал zigli - 8.7.2011, 9:02


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 9:16; Ответить: zigli
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


написал же, по ip его не забанить - у него их много (уже несколько дней баню, он с новыми приходит).


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oldman
oldman
сообщение 8.7.2011, 10:01; Ответить: oldman
Сообщение #6


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 1.12.2010
Из: Omsk
Поблагодарили: 6 раз
Репутация:   3  


(zigli @ 8.7.2011, 10:47) *
не помогло, снова ушла.
- Странно, у меня именно так закрыта куча ботов и все работает. mellow.gif


Можно попробовать добавить в главный индексный файл пару строк:
$bad_robot_agent = array(
'SimplePie/1.3-dev',
'SimplePie/1.1.3',
'SimplePie/1.2'
);
if(array_search($_SERVER["HTTP_USER_AGENT"], $bad_robot_agent)!==false){exit;}


--------------------
не все валидно, что не видно


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 11:06; Ответить: zigli
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


ничего не помогает, он вновь пришел и у нес все из RSS.

Сообщение отредактировал zigli - 8.7.2011, 11:08


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M25
M25
сообщение 8.7.2011, 11:07; Ответить: M25
Сообщение #8


Поражены твоей неудачей.
*****

Группа: Active User
Сообщений: 951
Регистрация: 23.11.2009
Из: Украина
Поблагодарили: 264 раза
Репутация:   44  


(zigli @ 8.7.2011, 8:16) *
написал же, по ip его не забанить - у него их много (уже несколько дней баню, он с новыми приходит).

подсети разные?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 11:09; Ответить: zigli
Сообщение #9


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


да, подсети разные.


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Voevoda1
Voevoda1
сообщение 8.7.2011, 12:46; Ответить: Voevoda1
Сообщение #10


Участник
***

Группа: User
Сообщений: 104
Регистрация: 29.6.2010
Поблагодарили: 23 раза
Репутация:   3  


А зачем банить? Немного допилите новости, чтобы в RSS была неполная статья, а статья со ссылкой на Вас, и нехай народ, Вам, посещалку поднимает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Российским детям хотят запретить iPhone
25 MissContent 2178 25.11.2017, 11:45
автор: ValeryRar
Открытая тема (нет новых ответов) Проблема с 301 редиректом в htaccess
не срабатывает с (без www) на www
14 danc1r0k 1974 2.11.2017, 14:44
автор: vadosseo
Открытая тема (нет новых ответов) Редирект в ModX через .htaccess коряво работает
9 kstnews 674 15.10.2017, 21:12
автор: x64
Открытая тема (нет новых ответов) Как подключить бота к сообществу в ВК.
Есть ли бесплатные варианты?
4 Hydra 1018 20.9.2017, 20:31
автор: fogoter
Открытая тема (нет новых ответов) Наладить htaccess на Wordpress
2 LebedevStr 547 25.5.2017, 14:14
автор: LebedevStr


 



RSS Текстовая версия Сейчас: 13.12.2017, 11:59
Дизайн