История о самых нервных 35 часах в жизни. Не рекомендую повторять на практике. Это грозит нервным расстройством и седыми волосами в молодом возрасте.

Хронология событий

17 декабря 2019 года

Я занимаюсь тем, чем обычно занимаются веб-мастера. Если без шуток, я пишу информационные статьи за деньги и 3 года развиваю несколько информационных сайтов. Миллионы они пока не приносят, но на бутерброды с маслом раз в неделю хватает. Так вот, я работаю над очередной статьей, и тут в Телеграм прилетает оповещение от сервиса мониторинга аптайма о том, что сайты недоступны. Так начались 35 часов безумия.


Первые 10 минут после начала цифровой катастрофы я продолжал трудиться и не понимал, что тучи уже не просто сгущаются, а начался шторм. Ещё минут через 15 статью пришлось отодвинуть и отправиться на поиски источника проблемы. В панель управления хостингом попасть не удалось. На этом моменте пришло осознание, что я в заднице.

После проверки группы ВК и канала в Телеграме хотелось ущипнуть себя, так как происходящее казалось сном. В дата-центр ворвались неизвестные, и после потасовки ЦОД остался без питания. За какие шнуры дернули, я понятия не имею. Но 25 тысяч клиентов остались с нерабочими шаредами, виртуальными и физическими серверами.

Как выяснилось позже, акционеры не поделили Ihor и решили устроить битву в стиле 90-х. Один по слухам вывез часть оборудования и биллинг, а второй решил не платить долги за электричество и отключил дата-центр. Подробности конфликта расписывать нет смысла. Кому интересно, почитайте на Хабре и в ветке хостинга на Серче.

Теперь самое интересное. Бэкапов у меня не было. Точнее была резервная копия 1,5-годовой давности для флагмана. Из 200 статей сохранились 15. Сложно описать эмоции, которые я ощущал в тот момент. Преимущественно обзывал себя придурком и собирался восстанавливать сайт из кэша поисковых систем.

Весь день я следил за новостями в неофициальном Телеграм чате, который создали пострадавшие клиенты и группе хостинга Вконтакте. Оказалось, что таких счастливчиков набралось еще 700 человек. И это только те, кто был в чате. У кого-то недоступен шаред, кто-то без остановки пингует дедик, третьи строят планы по вывозу физического оборудования из колокейшн.

Ночью мне приснилось, что ЦОД запустили и в 2 часа ночи я побежал к телефону, чтобы чекнуть Телеграм. Люди там по-прежнему ждали включения дата-центра. Кто-то разворачивает старые бэкапы в другом месте, другие радуются, что за день/неделю/месяц переехали в другое место. Но ждут все, то есть следят за ходом событий.

18 декабря 2019

С утра зарегистрировал аккаунт на новом хостинге, добавил домены и поменял NS-сервера у регистратора.

Весь день я мониторил чат и группу ВК. Новости появлялись не часто, но уже было понятно, что шансы на включение дата-центра стремятся к нулю. После обеда на связь вышел новый генеральный директор. Сказал, что поболтал со своими ребятами, и после обсуждения футбольных новостей они решили запустить ЦОД на 24 часа.

Около 20 часов по МСК сервер шаред хостинга web03 начал пинговаться. Я с дрожащими руками захожу в панель управления и скачиваю бэкапы 3 раза. На всякий случай. После выгрузки файлов и БД импортировал их на новый хостинг и сайты начали работать. Сделал резервную копию аккаунта в cPanel на Ihor, поставил на загрузку. Выпил валерьянки и пошел закрашивать седые волосы.

Как поумнеть и начать делать бэкапы: 2 способа

Существует много способов создавать резервные копии, и я не собираюсь описывать все или сравнивать их. Расскажу о том, что выбрал для себя.

Выгрузка в облако


После катастрофы с данными я полез в Гугл и оказалось, что популярная панель управления ISPmanager умеет выгружать бэкапы на Яндекс.Диск. Просто и эффективно.

Потом выяснил, что мануалы по настройке этим способом бесполезны. В октябре 2019 года Яндекс.Диск без предупреждения отключил синхронизацию с ISPmanager. Представители облачного хранилища ответили шаблонными фразами и предложили купить более дорогие тарифы в новом сервисе «Облако».

Несмотря на отключение Яндекс.Диска, выгрузка резервных копий из ISPmanager в другие облачные хранилища работает. Я настроил копирование в Google Drive и купил тариф на 100 ГБ за 2 доллара в месяц.

Описывать мануал по шагам нет смысла. Инструкций в интернете полно. Я использовал эту для проверки правильности заданных параметров. Настроил запуск скрипта по крону раз в сутки и расслабился.

Аренда диска для бэкапов

Честно скажу, до этого способа ещё руки не дошли. Присмотрел диск на 30 ГБ у FirstVDS за 90 рублей в месяц и почитал мануал по настройке. Схема простая до невозможности. В настройках резервного копирования ISPmanager задали данные FTP, заюзали Cron и всё готово.


Загрузка на домашний комп

Раз в неделю сохраняю бэкапы из панели управления на компьютер, складываю в специальную папку и проставляю дату.

Теперь у меня 2 независимых хранилища с бэкапами. Планирую скоро увеличить список до 3, купив диск у FirstVDS.

Умные мысли, которые я извлёк из ситуации

Их много, некоторые даже полезные

Делайте, мать его, бэкапы

Меня и других парней со «стальными» яйцами, которые не делают резервные копии, надо заслуженно забросать какашками. Я даже не буду уворачиваться.

Не знаю, с какой периодичностью надо создавать бэкапы, но просто делайте их. Некоторые клиенты Айхора арендовали сервера специально под хранение резервных копий. И они тоже ушли в офлайн. Им вдвойне обидно. Они вроде как позаботились о резервных копиях, но тоже потеряли их без предупреждения.

Настройте мониторинг аптайма

Очевидный пункт, но до 2019 года я об этом не беспокоился. Яндекс.Метрика отслеживает работоспособность сайта и присылает уведомления на email или по SMS. Вот только скрипт проверяет главную страницу, и часто задержка между падением и оповещением составляет до 30 минут.

Для своих проектов настроил связку Monitorus + Uptime Robot. В первом случае плачу чуть больше 150 рублей в месяц за проверку двух сайтов с 5-минутным интервалом. Сервис чекает валидность SSL-сертификата и раз в день прогоняет домен на наличие в вирусных базах. Uptime Robot мне нравится больше. Он более чувствительный к падениям сайтов и на бесплатном тарифе можно добавить до 50 мониторов. СМС-ки платные, но за оповещения в Телеграм деньги не просят.

Проверяйте бэкапы

Выгрузки резервных копий в облако или на сервер недостаточно. Надо хотя бы пару раз в месяц проверять их работоспособность. Разворачивать сайты на поддомене или тестовом адресе и смотреть ошибки.

Я так не делаю из-за лени, но возможно что-то поменяется в наступившем 2020 году. Хотя кого я обманываю!

Держите хостинг и домены у разных компаний

Регулярное создание бэкапов — не панацея. Некоторые клиенты регали домены у Ihor и после падения хостинга несколько дней ждали переноса к регистратору. Хорошо, если они были размещены на других NS-серверах. Из этого плавно вытекает следующий совет.

Используйте внешние NS-сервера

За 7 лет активной работы с сайтами я использовал исключительно NS-сервера хостинга. Недавно узнал, что DNS-хостинг есть у Яндекса и Гугла. Можно поменять A-запись и сократить время простоя из-за смены NS в несколько раз.

Цитата сотрудника техподдержки Timeweb:



Настройте отказоустойчивую систему

Сразу скажу, решение не мое. Я бы до такого не додумался. В ветке с обсуждением проблем Айхора Вконтакте один юзер опубликовал схему работы своего проекта. Сложно, дорого и без помощи профессионального сисадмина не обойтись. Зато можно быстро переключаться на другой сервер (по словам гения-изобретателя).


Покупайте услуги у проверенных селлеров

Думал-думал и понял, что совет — говно. Судьба Ihor может постичь любого хостинг-провайдера. Несколько лет назад аналогичные проблемы были у Макхост. Любимый всеми Бегет тоже потрепал нервы в прошлом году. Хотя я по-прежнему влюблен в их фирменный символ — осьминога и мне нравятся, как ребята работают с клиентами.


Позже выяснилось, что Айхор кинул людей еще и на домены + лицензии ISPmanager. Они решили, что технического нокдауна мало и отправили «родных» клиентов в нокаут.


Следите за новостями

Проблемы у Айхора начались ещё в начале 2019 года. Но мне не хотелось переезжать на другой хостинг. Пока я не чувствовал угрозу и решил остаться с ними. До этого критичных просадок не было. Если бы подписался на группу Вконтакте раньше, узнал бы что 12 декабря 2019 была первая атака на ЦОД. Тогда всё обошлось, а 17 декабря новые владельцы, по всей видимости, включили режим «Спарты».

Кстати, в мониторинге есть ещё один плюс. Предприимчивые веб-мастера заработали на тазик оливье на ажиотаже вокруг хостинга. Владелец неофициального чата в Телеграме рекламировал других провайдеров, в группе ВК каждую минуту появлялись реферальные ссылки. Кнопка «бабло» с ограниченным сроком действия.


Перестаньте экономить

Я не буду отговаривать покупать продукты по акции в «Пятерочке» или «Магните». Это вечная тема. А вот на хостинге лучше не экономить. У меня был тариф за 150 рублей в месяц с минимальными параметрами. Я давно смотрел в сторону AdminVPS и Fozzy, но от переезда каждый раз меня отговаривал внутренний жмот. После проблем с Айхором я положил его на лопатки. Теперь плачу 219 рублей в месяц.

Как дела с сайтами?

Я знал, что вы спросите. 35 часов офлайна не могут ускользнуть от внимания поисковых систем. На второй день после восстановления сайтов, Яндекс «выплюнул» половину страниц из индекса. Трафик просел на 50%.


Я написал Платонам и получил ответ, что через 1-2 Апа ситуация нормализуется. Они не соврали.


Для ускорения сделал две вещи:

1. Отправил страницы на переобход в «Вебмастере».
2. Загрузил список URL в расширение Indexer для Яндекс.Браузера.

Через пару дней цифры вернулись на прежнее место.

Гугл никак не отреагировал на даунтайм, чему я безумно рад. Но на всякий случай пинганул карту сайта через сервис Bulkaddurl.

На этом история подошла к концу. Я получил полезный, хоть и болезненный опыт.

Делитесь в комментариях факапами, связанными с интернет-проектами. Посмеемся и поплачем вместе.

P.S Ах да, с Новым годом всех! Желать ничего не буду. Вы и так знаете, что делать

P.P.S С момента блэкаута прошло 3 недели. Некоторые веб-мастера до сих пор не восстановили данные. Не все VDS и сервера
включились

P.P.P.S Звание обладателя «стальных» яиц у меня отобрали те, кто остались с Айхором и даже оплачивают услуги в новом биллинге. Таких немало, судя по постам в ВК

Сообщение отредактировал Mistic - 9.1.2020, 20:01