X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Запретить бота в .htaccess, или как спасти мою RSS
zigli
zigli
Topic Starter сообщение 8.7.2011, 8:21; Ответить: zigli
Сообщение #1


Приветствую. Собственно, появилась серьезная проблемка. На одном из сайтов "грабят" RSS-ленту. В логах откопал следующее:

173.230.147.60 - - [03/Jul/2011:05:00:18 +0400] "GET /feed/ HTTP/1.1" 200 13543 "мой_сайт/feed" "SimplePie/1.3-dev (Feed Parser; http://simplepie.org; Allow like Gecko) Build/20110503013105"


Надо как-то избавиться от этого бота. Блокировать по IP - не вариант, у него их очень много. Я видел, что можно запретить поисковых ботов, может также можно запретить и этого? Если можно, то как из приведенного выше найти имя этого бота?

Бот заходит на сайт каждый час в промежуток времени с 00 до 05 минут.

Или же если через .htaccess невозможно избавиться от него, то какие есть еще варианты спасти RSS от него? П.С. сайт на Wordpress, RSS ленту полностью закрывать нельзя.
Может кто поможет? На пиво подкину.

Сообщение отредактировал zigli - 8.7.2011, 8:22


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oldman
oldman
сообщение 8.7.2011, 8:29; Ответить: oldman
Сообщение #2


SetEnvIfNoCase user-Agent "^SimplePie/*" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
deny from env=bad_bot
</Limit>
Либо прописывать полностью имя бота:
SetEnvIfNoCase user-Agent "^SimplePie/1.3-dev*" bad_bot
SetEnvIfNoCase user-Agent "^SimplePie/1.1.3*" bad_bot
SetEnvIfNoCase user-Agent "^SimplePie/1.2*" bad_bot

Сообщение отредактировал oldman - 8.7.2011, 8:31


--------------------
не все валидно, что не видно


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BeerAbsorber
BeerAbsorber
сообщение 8.7.2011, 8:35; Ответить: BeerAbsorber
Сообщение #3


или так:
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^SimplePie
RewriteRule ^.*$ - [F]


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 8:47; Ответить: zigli
Сообщение #4


(oldman @ 8.7.2011, 8:29) *
Либо прописывать полностью имя бота:

для начала сделал так, ждем бота.

unsure.gif не помогло, снова ушла.

Сообщение отредактировал zigli - 8.7.2011, 9:02


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 9:16; Ответить: zigli
Сообщение #5


написал же, по ip его не забанить - у него их много (уже несколько дней баню, он с новыми приходит).


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
oldman
oldman
сообщение 8.7.2011, 10:01; Ответить: oldman
Сообщение #6


(zigli @ 8.7.2011, 10:47) *
не помогло, снова ушла.
- Странно, у меня именно так закрыта куча ботов и все работает. mellow.gif


Можно попробовать добавить в главный индексный файл пару строк:
$bad_robot_agent = array(
'SimplePie/1.3-dev',
'SimplePie/1.1.3',
'SimplePie/1.2'
);
if(array_search($_SERVER["HTTP_USER_AGENT"], $bad_robot_agent)!==false){exit;}


--------------------
не все валидно, что не видно


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 11:06; Ответить: zigli
Сообщение #7


ничего не помогает, он вновь пришел и у нес все из RSS.

Сообщение отредактировал zigli - 8.7.2011, 11:08


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M25
M25
сообщение 8.7.2011, 11:07; Ответить: M25
Сообщение #8


(zigli @ 8.7.2011, 8:16) *
написал же, по ip его не забанить - у него их много (уже несколько дней баню, он с новыми приходит).

подсети разные?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zigli
zigli
Topic Starter сообщение 8.7.2011, 11:09; Ответить: zigli
Сообщение #9


да, подсети разные.


--------------------
IHC.RU-Виртуальный хостинг,аренда серверов и VPS хостинг.Бесплатный 10-ти дневный тестовый период.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Voevoda1
Voevoda1
сообщение 8.7.2011, 12:46; Ответить: Voevoda1
Сообщение #10


А зачем банить? Немного допилите новости, чтобы в RSS была неполная статья, а статья со ссылкой на Вас, и нехай народ, Вам, посещалку поднимает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как создать бота Телеграм с приемом оплат?
0 rownong27 451 4.3.2024, 0:51
автор: rownong27
Открытая тема (нет новых ответов) Помогите вспомнить рекламного бота Телеграм для обмена рекламой
0 Mixatraider 725 21.2.2024, 23:42
автор: Mixatraider
Открытая тема (нет новых ответов) Как перенести правила переадресации из .htaccess в php обработчик nginx?
0 KrisGuseva 2097 28.12.2019, 7:33
автор: KrisGuseva
Открытая тема (нет новых ответов) Требуется написать телеграм-бота
3000 р
0 Вазелин 2758 10.3.2018, 11:19
автор: Вазелин
Открытая тема (нет новых ответов) Наладить htaccess на Wordpress
2 LebedevStr 1805 25.5.2017, 14:14
автор: LebedevStr


 



RSS Текстовая версия Сейчас: 19.4.2024, 9:58
Дизайн