Есть ГСы на одном Гхосте, на халяву. Хостер уже который месяц глючит по-чёрному, то бишь чуть ли не каждый день сервак просто в отключке на пару часов и сайты не открываются браузером. В принципе мне пофиг было, ничего страшного не было, недоступность сайтов на поиске не отражалась никогда в жизни, в панелях вебмастера гугле и яндекса всегда предупреждалось, что такого числа сайт просто недоступен был, робот зайдёт позже, и тп.
С 5 августа Яша стал выкидывать страницы из поиска по причине: "HTTP-статус: Доступ к ресурсу запрещён (403)". Что за байда... Стал проверять, ничё нигде не запрещено, ответ сервера 200. Дождался когда сервак в запое, проверил ответ сервера, с сервером соединения нет, всё правильно. Стал юзать "Проверка ответа сервера" в панели вебмастера на яндексе и о ужас: "Указанный URL запрещен к индексации в файле robots.txt на сайте таком-то". Что за ахинея? Каких robots.txt Яша начитался? Никаких таких запретов и в помине нет ни на сайте, ни на сервера хостера, так же как и доступа к мифическим файлам robots.txt.
Такое Яша пишет только когда сайты недоступны.

Как такое может быть и кому в "клюв" вломить надо?