X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Первичный краулинг ahrefs и robots.txt, 503 ошибка
anykey13
anykey13
Topic Starter сообщение 13.6.2021, 7:05; Ответить: anykey13
Сообщение #1


Приветствую.

Есть вопрос-при добавлении сайта на https://ahrefs.com и первичном краулинге выдает такую ошибку, подскажите как исправить, может что прописать надо?



Данные robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml
Заранее благодарен.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
malamut
malamut
сообщение 13.6.2021, 13:11; Ответить: malamut
Сообщение #2


Сейчас ваш роботс возвращает пустой документ. У вас он случайно не генерируется динамически для разных роботов?
На скрине у вас серверная ошибка, т.е. проблема не в самом роботс, а в серверных скриптах.


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GlazAlmaz
GlazAlmaz
сообщение 13.6.2021, 17:03; Ответить: GlazAlmaz
Сообщение #3


Цитата(anykey13 @ 13.6.2021, 7:05) *
Данные robots.txt

нужно нормально создать роботс :)
сейчас он пустой
Код
https://schneejager.ru/robots.txt


--------------------
:: научу, как продвигать сайты :: SEO-шмео, все дела :)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anykey13
anykey13
Topic Starter сообщение 13.6.2021, 17:08; Ответить: anykey13
Сообщение #4


Посоветовали сделать пустой , не помогло, в данный момент присутствуют такие строки:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml

Тоже малоэффективно


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Freedo
Freedo
сообщение 13.6.2021, 18:25; Ответить: Freedo
Сообщение #5


anykey13, смотрите .htaccess - видимо блокировка там у вас бота ahrefs


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GlazAlmaz
GlazAlmaz
сообщение 13.6.2021, 19:47; Ответить: GlazAlmaz
Сообщение #6


anykey13, сейчас с файлом всё в порядке:
https://webmaster.yandex.ru/tools/server-re...modified-since=
Код статуса HTTP 200 OK
Время ответа сервер 46 мс

Цитата(Freedo @ 13.6.2021, 18:25) *
видимо блокировка там у вас бота ahrefs

похоже на то

например, на самом сервере могла сработать защита из-за большого числа обращений к сайту от ahrefs

Замечание модератора:
перенес тему в более подходящий раздел и название слегка подправил


--------------------
:: научу, как продвигать сайты :: SEO-шмео, все дела :)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anykey13
anykey13
Topic Starter сообщение 14.6.2021, 11:39; Ответить: anykey13
Сообщение #7


GlazAlmaz,
Благодарю, так же озадачил своим вопросом саппорт ahrefs

Ответ саппорта:

Таким образом, ошибки 503 - это временные проблемы. Обычно они вызваны перегрузкой сервера или техническим обслуживанием. Эти ошибки могут указывать на то, что вам нужен более мощный веб-сервер, способный обрабатывать большее количество запросов. Другими возможными причинами ошибок 5xx являются: Неисправные плагины в вашей CMS (например, Wordpress). Проблемы с правами доступа к файлам и папкам Если вы обнаружили, что ползание произошло во время обслуживания сервера, запустите новое ползание, чтобы проверить, сохраняются ли ошибки 5xx.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
malamut
malamut
сообщение 14.6.2021, 15:58; Ответить: malamut
Сообщение #8


Ошибки на вашей стороне, проверяйте настройки сервера/сео-плагина. Добавил у себя в настройках браузера юзер агент от ахрефс - получил 503 на /robots.txt и на главную.
/wp-sitemap.xml возвращает 404 независимо от UA

Цитата
ползание
:smile-thumb-up:

Сообщение отредактировал malamut - 14.6.2021, 15:59
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Trumper
Trumper
сообщение 14.6.2021, 23:04; Ответить: Trumper
Сообщение #9


у меня также xenu не собирает некоторые сайты, при том что специально не блочил подобные боты
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anykey13
anykey13
Topic Starter сообщение 17.6.2021, 9:24; Ответить: anykey13
Сообщение #10


Стоял блок у хостра на ahrefs.com

Вопрос решен, тему можно закрывать, благодарю всех ответивших

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Выгрузку из Ahrefs.com, Spywords.ru и Букварикс
11 azos 4216 22.4.2021, 19:06
автор: balboa
Открытая тема (нет новых ответов) Выгрузки из KEYS.SO, SPYWORDS.RU, SERPSTAT.COM, AHREFS.COM, MAJESTIC.COM, доступ в SEMRUSH.COM
всё в одном месте - экономия времени и денег
28 Germeso 21322 19.10.2019, 21:08
автор: Germeso
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 67421 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Выгрузка Ahrefs, Megaindeks, прогон сайтов (доноров) на качество
Выгрузка Ahrefs, Megaindeks, прогон ТРАСТ/АГС/СПАМ и др.
8 Storm2second 6161 19.6.2019, 13:49
автор: Storm2second
Открытая тема (нет новых ответов) Передам доступ к Ahrefs за 1/3 цены месячной подписки
3 Tutich 1370 2.4.2019, 11:52
автор: Tutich


 



RSS Текстовая версия Сейчас: 18.10.2021, 12:35
Дизайн