Starpony, ну, скорее всего так и есть. Как вижу по реакции ан форумах и в сети, есть небольшая часть поклонников антибота, а есть армия недовольных, не разобравшихся или просто тех, кто нового не принимает.

Мне на данном этапе важно выяснить, чем именно антибот - не адекватное решение? Какие негативные моменты могут быть из-за его использования? Кто-то может четко на это ответить, а не общими словами.

Меня пока что смущает только заглушка, которые я сам не очень люблю. Однако она быстрая и далеко не все ее даже видят. Помню, когда тестил Сloudflare, так их 5 сек просто убивали мое терпение. В остальном по логам я вижу, как антибот отрезает ботов, которые толпой валили на мой сайт и заодно еще тех, которые пытаются найти уязвимости. Но это пока... Важно понять, какие есть скрытые камни.

WGN, у меня тестовый период 40 дней благодаря промокоду. Если будет замечена положительная тенденция, тогда и 25$ совершенно не жалко, чтобы продолжить тест. Всегда же снять можно. Конечно, хотелось бы негативные моменты раньше разглядеть, если они есть. Просто в сети мало кто делится реальным опытом использования антибота, все больше занимаются галдежом вокруг него.

mspcontent, Не, не в твой))

Весь топик какое-то очевидное топилово за антибот со всеми приемами скрытой рекламы )

Сообщение отредактировал Latinos - 9.5.2021, 18:39

Общее у ботов - диапазон ip сетей, сеток у них много.
Вычисляется так:
Открываем вебвизор в метрике и смотрим прямые заходы, ну или социалки, в начале нет разницы. Включаем вебвизор и по поведению видим живой человек или бот, боты на видео дергают страницу, никогда не пролистывают плавно, редко доходят до конца статей.
Одновременно открываем серверные логи и ищем по времени ip адрес с которого этот бот пришел. Я выписывал только первые 2 числа в адресе, хотя некоторые советуют выяснять cidr и дальше блочить по нему, но по cidr просто космическое количество адресов будет.
Наверное у вас будут такие как
178.176.x.x
213.87.x.x
176.59.x.x
185.87.x.x
В первый заход я вычислял тех, которые лезут наиболее часто, десяток подсетей снизили ботный трафик с 2000 до примерно 100. В принципе, на этом можно остановиться, я чистил дальше.

Итак, подсети есть, теперь надо сделать так, чтобы боты блочились, а живые люди нет. У меня всегда львиная доля трафика шла с поиска, поэтому я точно знал, что ни прямые заходы ни социалки людей не ведут и я их не блокировал.

Так что просто сделал в htaccess так:
1. проверяем принадлежность запроса к ботному IP. Если принадлежит к одной из ботных сетей, переход к следующей строке.
2. проверяем реферера. Если реферер пустой или содержит vk, ok и т.д., то отдаем ему 403.

Таким образом все кто приходят с поиска, по внутренним переходам или с других сайтов спокойно проходят проверку и пользуются сайтом, даже если их ip принадлежит ботному диапазону.

Иногда у них добавляются новые рефереры и ip, постепенно пополняем. Например, пришлось заблокировать поиск mail.ru, хотя очень не хотелось, но с него почти все переходы были похожи на ботов.

PS: Никакого влияния на органику за полтора месяца не замечено, трафик с Яндекса и Гугл на том же уровне остался. Из плюсов - снизилась нагрузка на сервер.

mspcontent,
Ну если пока бесплатно, то другое дело. Отпишите все таки, если что нароете...

А разве эта доп фильтрация не добавляет нагрузки?
По первым двум адресам что-то сильно большие шансы людей все же потерять частично

Помогите пожалуйста!! Сайт в один момент пропал из поисковой системы..Все запросы которые были в топ 1 пропали(
За день до этого на сайт начало заходите просто миллион людей(скорее всего ботов) и просто лазять по нему...
Что после этого делать? Он же не попал под санкции гугл..
Помогите пожалуйста!
Сам сайт jeans24x7.com
Пишите сюда или на почту

BroDyaGaa, так вы скрин из метрики давайте
что нам ссылка на сайт

у меня закончились атаки ботов, соответственно и траф упал. вернулся как год назад.

А сколько по времени длилось?