Помощник
|
Первичный краулинг ahrefs и robots.txt, 503 ошибка |
anykey13
|
Сообщение
#1
|
||
|
|
||
|
|||
malamut |
13.6.2021, 13:11;
Ответить: malamut
Сообщение
#2
|
|
Сейчас ваш роботс возвращает пустой документ. У вас он случайно не генерируется динамически для разных роботов?
На скрине у вас серверная ошибка, т.е. проблема не в самом роботс, а в серверных скриптах. -------------------- |
|
|
GlazAlmaz |
13.6.2021, 17:03;
Ответить: GlazAlmaz
Сообщение
#3
|
|
Данные robots.txt нужно нормально создать роботс сейчас он пустой Код https://schneejager.ru/robots.txt
-------------------- |
|
|
anykey13
|
Сообщение
#4
|
|
Посоветовали сделать пустой , не помогло, в данный момент присутствуют такие строки:
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-json/ Disallow: /xmlrpc.php Disallow: /readme.html Disallow: /*? Disallow: /?s= Allow: /*.css Allow: /*.js Sitemap: https://schneejager.ru/wp-sitemap.xml Тоже малоэффективно -------------------- |
|
|
Freedo |
13.6.2021, 18:25;
Ответить: Freedo
Сообщение
#5
|
|
anykey13, смотрите .htaccess - видимо блокировка там у вас бота ahrefs
|
|
|
GlazAlmaz |
13.6.2021, 19:47;
Ответить: GlazAlmaz
Сообщение
#6
|
|
|
anykey13, сейчас с файлом всё в порядке:
https://webmaster.yandex.ru/tools/server-re...modified-since= Код статуса HTTP 200 OK Время ответа сервер 46 мс видимо блокировка там у вас бота ahrefs похоже на то например, на самом сервере могла сработать защита из-за большого числа обращений к сайту от ahrefs
-------------------- |
|
|
||
anykey13
|
Сообщение
#7
|
|
GlazAlmaz,
Благодарю, так же озадачил своим вопросом саппорт ahrefs Ответ саппорта: Таким образом, ошибки 503 - это временные проблемы. Обычно они вызваны перегрузкой сервера или техническим обслуживанием. Эти ошибки могут указывать на то, что вам нужен более мощный веб-сервер, способный обрабатывать большее количество запросов. Другими возможными причинами ошибок 5xx являются: Неисправные плагины в вашей CMS (например, Wordpress). Проблемы с правами доступа к файлам и папкам Если вы обнаружили, что ползание произошло во время обслуживания сервера, запустите новое ползание, чтобы проверить, сохраняются ли ошибки 5xx. -------------------- |
|
|
malamut |
14.6.2021, 15:58;
Ответить: malamut
Сообщение
#8
|
|
Ошибки на вашей стороне, проверяйте настройки сервера/сео-плагина. Добавил у себя в настройках браузера юзер агент от ахрефс - получил 503 на /robots.txt и на главную.
/wp-sitemap.xml возвращает 404 независимо от UA Цитата ползание
Сообщение отредактировал malamut - 14.6.2021, 15:59 -------------------- |
|
|
Trumper |
14.6.2021, 23:04;
Ответить: Trumper
Сообщение
#9
|
|
у меня также xenu не собирает некоторые сайты, при том что специально не блочил подобные боты
|
|
|
anykey13
|
Сообщение
#10
|
|
|
Стоял блок у хостра на ahrefs.com
Вопрос решен, тему можно закрывать, благодарю всех ответивших
-------------------- |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
2400+ Безанкорных ссылок на ваш сайт с гарантией по Ahrefs.com | 7 | seostock | 1771 | 13.1.2024, 1:10 автор: xVOVAx |
|
Выгрузку из Ahrefs.com, Spywords.ru и Букварикс | 13 | azos | 7552 | 24.12.2021, 12:56 автор: zaitsevel |
|
Выгрузка Ahrefs, Megaindeks, прогон сайтов (доноров) на качество Выгрузка Ahrefs, Megaindeks, прогон ТРАСТ/АГС/СПАМ и др. |
10 | Storm2second | 8858 | 18.12.2021, 15:47 автор: serhio11 |
|
Выгрузки из KEYS.SO, SPYWORDS.RU, SERPSTAT.COM, AHREFS.COM, MAJESTIC.COM, доступ в SEMRUSH.COM всё в одном месте - экономия времени и денег |
28 | Germeso | 25632 | 19.10.2019, 21:08 автор: Germeso |
|
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 78611 | 12.8.2019, 21:28 автор: neonix |
Текстовая версия | Сейчас: 28.3.2024, 16:20 |