X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Грабер, Воруют контент.
genjnat
genjnat
Topic Starter сообщение 11.10.2009, 19:49; Ответить: genjnat
Сообщение #1


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


Ну, из названия темы все понятно, с моего сайта, воруют контент, при помощи какого-то грабера (статьи на моем сайте и на сайте вора появляются почти одновременно).
С яндексом проблем нет, а вот гугл, статьи на его сайте хватает раньше, и с тех пор, как это началось у меня новые статьи в индекс не лезут.

Забанить по айпишнику не могу (сайт на можардомо, там нет такого), КМС – вордпресс.
В гугл и яндекс уже настучал (знаю что фанарь, но все же).
Что еще можно сделать с этим засранцем?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Danko
Danko
сообщение 11.10.2009, 19:59; Ответить: Danko
Сообщение #2


Участник
***

Группа: User
Сообщений: 206
Регистрация: 14.9.2008
Из: Планета Земля
Поблагодарили: 45 раз
Репутация:   12  


Примерно так собираю статистику когда надо. Но отбиваться так не пробовал. Но посути должно работать. Удачи. Ненавижу когда контент воруют - сам никогда не юзаю контент без изменений, а вот некоторым это в кайф...
rolleyes.gif

ВСТАВЛЯЕТСЯ В ШАБЛОН В сам index.php .!!!

Надеюсь понятно, что надо сделать smile.gif

if($_SERVER['REMOTE_ADDR']=="10.10.10.10")
{
//содержимое index.php шаблона
}
else
{
echo "Бот иди в Анус :) ";
}


Чуть не забыл, бот может грабить именно RRS потоки. Так что стоит заставить WP выводить не полные новости в ленту новостей. smile.gif

Сообщение отредактировал Danko - 11.10.2009, 20:07


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
Topic Starter сообщение 11.10.2009, 20:25; Ответить: genjnat
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


(Danko @ 11.10.2009, 18:59) *
ВСТАВЛЯЕТСЯ В ШАБЛОН В сам index.php .!!!

Надеюсь понятно, что надо сделать smile.gif

if($_SERVER['REMOTE_ADDR']=="10.10.10.10")
{
//содержимое index.php шаблона
}
else
{
echo "Бот иди в Анус :) ";
}
Чуть не забыл, бот может грабить именно RRS потоки. Так что стоит заставить WP выводить не полные новости в ленту новостей.


Не совсем, разжуйте, если не сложно.

В ррс отдаю только краткое описание.

А подскажите пожалуста, если работает грабер, то ссылки находящиеся в статье, код контекстной рекламы и т.д., должны сохранится как есть, или грабер может это чистить?
Сейчас посмотрел исходный код страниц на сате - воре, все вычещено.

Сообщение отредактировал genjnat - 11.10.2009, 20:14


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Danko
Danko
сообщение 11.10.2009, 20:28; Ответить: Danko
Сообщение #4


Участник
***

Группа: User
Сообщений: 206
Регистрация: 14.9.2008
Из: Планета Земля
Поблагодарили: 45 раз
Репутация:   12  


Для каждого сайта можно написать или подстроить под него свой парсер. smile.gif Мой например не надо подстраивать он все сам делает, правда не 100% результат, но 85-90% имею.

Что именно не понятно?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
Topic Starter сообщение 11.10.2009, 20:31; Ответить: genjnat
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


(Danko @ 11.10.2009, 19:28) *
Для каждого сайта можно написать или подстроить под него свой парсер. smile.gif Мой например не надо подстраивать он все сам делает, правда не 100% результат, но 85-90% имею.

Что именно не понятно?


Я должен просто скопировать этот код, и вставить его в index.php ?

вот мой index.php

<?php
/**
* Front to the WordPress application. This file doesn't do anything, but loads
* wp-blog-header.php which does and tells WordPress to load the theme.
*
* @package WordPress
*/

/**
* Tells WordPress to load the WordPress theme and output it.
*
* @var bool
*/
define('WP_USE_THEMES', true);

/** Loads the WordPress Environment and Template */
require('./wp-blog-header.php');
?>


Куда именно вставить?

Сообщение отредактировал genjnat - 11.10.2009, 20:35


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
larstas
larstas
сообщение 11.10.2009, 20:38; Ответить: larstas
Сообщение #6


Участник
***

Группа: User
Сообщений: 112
Регистрация: 10.9.2009
Поблагодарили: 29 раз
Репутация:   6  


Danko, Т.е. если Ваш айпишник не 10.10.10.10, то Вы бот! Идеальное решение! Супер! и посетителей и яшо-гуглоботов отшить с сайта.

genjnat, код в принципе почти норм.
НО!
Вставьте в индексную .php страницу Вашего сайта в самом верху после
<?php


строку

if($_SERVER['REMOTE_ADDR']=="IP_BOTA") die("Вам здесь не место");


Заменив IP_BOTA на айпишник, с которого парсят.

Еще вариант - прямо через .htaccess:

order allow,deny
deny from 1.1.1.1
allow from all


1.1.1.1 - снова заменяем на айпишник парсящего

Однако незадача: возможно парсят Вас через проксю или с динамического айпишника из дома (как у моего провайдера, например). Тогда уж вы вряд ли сможете остановить человека

Сообщение отредактировал larstas - 11.10.2009, 20:39


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Danko
Danko
сообщение 11.10.2009, 20:42; Ответить: Danko
Сообщение #7


Участник
***

Группа: User
Сообщений: 206
Регистрация: 14.9.2008
Из: Планета Земля
Поблагодарили: 45 раз
Репутация:   12  


larstas - верно можно и так. smile.gif а про 10.10.10.10 - это для примера - видно что айпишник, думаю можно догадаться что вместо примера надо поставить пайпи с которого парсят. Если прсят с динамических айпи и при этом парсер не маскируется под браузеры - можно залочить и с помощью других параметров. Но если бот - каждый раз меняет и это, будет намного сложнее... если вообще возможно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
larstas
larstas
сообщение 11.10.2009, 20:44; Ответить: larstas
Сообщение #8


Участник
***

Группа: User
Сообщений: 112
Регистрация: 10.9.2009
Поблагодарили: 29 раз
Репутация:   6  


Danko, я имел в виду вот эту часть вашего кода:

if($_SERVER['REMOTE_ADDR']=="10.10.10.10")
{
//содержимое index.php шаблона
}


Так мы ОТКРЫВАЕМ КОНТЕНТ только для этого ИПа ))))


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
Topic Starter сообщение 11.10.2009, 20:47; Ответить: genjnat
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 2276
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1025 раз
Репутация:   114  


(larstas @ 11.10.2009, 19:38) *
Danko, Т.е. если Ваш айпишник не 10.10.10.10, то Вы бот! Идеальное решение! Супер! и посетителей и яшо-гуглоботов отшить с сайта.

genjnat, код в принципе почти норм.
НО!
Вставьте в индексную .php страницу Вашего сайта в самом верху после
<?php


строку

if($_SERVER['REMOTE_ADDR']=="IP_BOTA") die("Вам здесь не место");


Заменив IP_BOTA на айпишник, с которого парсят.

Еще вариант - прямо через .htaccess:

order allow,deny
deny from 1.1.1.1
allow from all



1.1.1.1 - снова заменяем на айпишник парсящего

Однако незадача: возможно парсят Вас через проксю или с динамического айпишника из дома (как у моего провайдера, например). Тогда уж вы вряд ли сможете остановить человека


Спасибо, сейчас так и сделаю.
Но есть проблемма, на моем сайте до 200 посетителей в день, да и ботов тьма, т.е. по логам определить айпи очень трудно.
Правильно ли я сделаю, если для определения айпи, вот этот сайт _http://www.leebuild.ru/ забью сюда

Сообщение отредактировал genjnat - 11.10.2009, 20:59


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
larstas
larstas
сообщение 11.10.2009, 20:59; Ответить: larstas
Сообщение #10


Участник
***

Группа: User
Сообщений: 112
Регистрация: 10.9.2009
Поблагодарили: 29 раз
Репутация:   6  


Ну, думаю, можно попробовать воткнуть именно айпишник 78.109.17.107


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Грабер погоды
импорт прогноза так сказать
12 n0lik 3545 26.7.2009, 20:09
автор: Profytball


 



RSS Текстовая версия Сейчас: 14.12.2017, 21:38
Дизайн