X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Запретить бота в .htaccess, или как спасти мою RSS
zigli
zigli
Topic Starter сообщение 8.7.2011, 8:21; Ответить: zigli
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


Приветствую. Собственно, появилась серьезная проблемка. На одном из сайтов "грабят" RSS-ленту. В логах откопал следующее:

173.230.147.60 - - [03/Jul/2011:05:00:18 +0400] "GET /feed/ HTTP/1.1" 200 13543 "мой_сайт/feed" "SimplePie/1.3-dev (Feed Parser; http://simplepie.org; Allow like Gecko) Build/20110503013105"


Надо как-то избавиться от этого бота. Блокировать по IP - не вариант, у него их очень много. Я видел, что можно запретить поисковых ботов, может также можно запретить и этого? Если можно, то как из приведенного выше найти имя этого бота?

Бот заходит на сайт каждый час в промежуток времени с 00 до 05 минут.

Или же если через .htaccess невозможно избавиться от него, то какие есть еще варианты спасти RSS от него? П.С. сайт на Wordpress, RSS ленту полностью закрывать нельзя.
Может кто поможет? На пиво подкину.

Сообщение отредактировал zigli - 8.7.2011, 8:22


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oldman
oldman
сообщение 8.7.2011, 8:29; Ответить: oldman
Сообщение #2


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 1.12.2010
Из: Omsk
Поблагодарили: 6 раз
Репутация:   3  


SetEnvIfNoCase user-Agent "^SimplePie/*" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
deny from env=bad_bot
</Limit>
Либо прописывать полностью имя бота:
SetEnvIfNoCase user-Agent "^SimplePie/1.3-dev*" bad_bot
SetEnvIfNoCase user-Agent "^SimplePie/1.1.3*" bad_bot
SetEnvIfNoCase user-Agent "^SimplePie/1.2*" bad_bot

Сообщение отредактировал oldman - 8.7.2011, 8:31


--------------------
не все валидно, что не видно


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BeerAbsorber
BeerAbsorber
сообщение 8.7.2011, 8:35; Ответить: BeerAbsorber
Сообщение #3


Участник
***

Группа: User
Сообщений: 111
Регистрация: 16.11.2010
Поблагодарили: 35 раз
Репутация:   5  


или так:
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^SimplePie
RewriteRule ^.*$ - [F]


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 8:47; Ответить: zigli
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


(oldman @ 8.7.2011, 8:29) *
Либо прописывать полностью имя бота:

для начала сделал так, ждем бота.

unsure.gif не помогло, снова ушла.

Сообщение отредактировал zigli - 8.7.2011, 9:02


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 9:16; Ответить: zigli
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


написал же, по ip его не забанить - у него их много (уже несколько дней баню, он с новыми приходит).


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oldman
oldman
сообщение 8.7.2011, 10:01; Ответить: oldman
Сообщение #6


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 1.12.2010
Из: Omsk
Поблагодарили: 6 раз
Репутация:   3  


(zigli @ 8.7.2011, 10:47) *
не помогло, снова ушла.
- Странно, у меня именно так закрыта куча ботов и все работает. mellow.gif


Можно попробовать добавить в главный индексный файл пару строк:
$bad_robot_agent = array(
'SimplePie/1.3-dev',
'SimplePie/1.1.3',
'SimplePie/1.2'
);
if(array_search($_SERVER["HTTP_USER_AGENT"], $bad_robot_agent)!==false){exit;}


--------------------
не все валидно, что не видно


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 11:06; Ответить: zigli
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


ничего не помогает, он вновь пришел и у нес все из RSS.

Сообщение отредактировал zigli - 8.7.2011, 11:08


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M25
M25
сообщение 8.7.2011, 11:07; Ответить: M25
Сообщение #8


Поражены твоей неудачей.
*****

Группа: Active User
Сообщений: 952
Регистрация: 23.11.2009
Из: Украина
Поблагодарили: 264 раза
Репутация:   44  


(zigli @ 8.7.2011, 8:16) *
написал же, по ip его не забанить - у него их много (уже несколько дней баню, он с новыми приходит).

подсети разные?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 11:09; Ответить: zigli
Сообщение #9


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 6.3.2011
Из: KZN
Поблагодарили: 76 раз
Репутация:   26  


да, подсети разные.


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Voevoda1
Voevoda1
сообщение 8.7.2011, 12:46; Ответить: Voevoda1
Сообщение #10


Участник
***

Группа: User
Сообщений: 104
Регистрация: 29.6.2010
Поблагодарили: 23 раза
Репутация:   3  


А зачем банить? Немного допилите новости, чтобы в RSS была неполная статья, а статья со ссылкой на Вас, и нехай народ, Вам, посещалку поднимает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) iPhone могут запретить в Китае
6 seostock 1187 13.5.2018, 17:45
автор: menn
Открытая тема (нет новых ответов) htaccess помогите составить правило
3 kesn 630 13.3.2018, 22:20
автор: Shoker
Открытая тема (нет новых ответов) Требуется написать телеграм-бота
3000 р
0 Вазелин 502 10.3.2018, 11:19
автор: Вазелин
Открытая тема (нет новых ответов) Наладить htaccess на Wordpress
2 LebedevStr 674 25.5.2017, 14:14
автор: LebedevStr
Открытая тема (нет новых ответов) Требуется создание Бота для ВК
0 Vreg 663 19.4.2017, 15:50
автор: Vreg


 



RSS Текстовая версия Сейчас: 26.5.2018, 11:10
Дизайн