О саботаже в IT
Наблюдаю интересное.
Проект, в котором есть минимум две точки, которые обязательно надо бы бекапить.
Redmine со всей базой MySQL ентого самого проекта.
Gitlab со всеми апдейтами и базой Postgress.
Точки эти адски критичные на уровне "Вот если прямщаз положить редмайн - то информацию по доступу админов на большинство серверов проекта взять неоткуда более, ну если у кого случайно есть"
В течение более чем года бекапа этих точек ни разу никто не делает.
В конце концов один из владельцев проекта начинает Е...ТЬ админов "чтобы наладили бекап".
И вот тут обнаружился явный, недвусмысленный, вопиющий саботаж со следующими отговорками:
- Нам надо не менее 2 терабайт выделить под бекап
- Давайте оплатим на Хецнере сторадж бокс (ага, уже оплачивали и прое..ли)
- Надо останавливать докер и корректно дампить базы (да и не спорю, но делайте же это!)
- Мы не знаем, какой там суммарный объём
- Нет, мы в самом деле не знаем, сколько занимает база
- У нас нету дискового пространства
- твой самописный скрипт - это какая-то лажа, надо решать эту задачу системно, есть же backuppc
- ты опять предлагаешь делать что-то из говна и палок, а надо делать ПРАВИЛЬНО.
- твой сервер - это говно и палки, надо покупить 4 терабайтники и собрать из них рейд...
- а вот мы щас тут ставим duplicity... ой, он не ставится, щас мы разберёмся с зависимостями и в какой его докер...
В какой-то момент я говорю "дайте мне доступ на сервер, где это лежит, я найду и буду бекапить это МОИМ скриптом на МОЙ сервер[, суки!]"
- Нет, надо поставить туда duplicity и настроить...
- Нет, лучше дай нам доступ на какой-нибудь свой... - Ловлю на слове и даю 600 гиг дискового пространства, доступные по ssh, убеждаемся в том, что доступ есть. Чел говорит, что партиция, ан которой всё лежит - 200 гиг. Ну то есть хотя бы два "в лоб" полных бекапа влезет.
В течение недели ни одного файла на выделенном пространстве не появляется.
Вот тупо нету - и всё.
В какой-то момент я таки сумел от них добиться доступа на тот сервер, разобраться, где лежит актуальная база и контент и таки настроить ПОФАЙЛОВОЕ копирование (ибо весь мой опыт бекапа и восстановления, в том числе постгресовых и мыскльных баз ясно говорит - поднять базу из файловой копии МОЖНО, хоть и придётся чинить) ко мне на сервер.
И оказалось, что ПОЛНЫЙ бекап имеет размер 19 гиг (причём в нём оказывается даже не необходимая свалка докерных образов, занимающая 16 гиг и в диффах занимающая ноль А размеры Mysql и постгресовой базы так вообще менее 1 гига каждый)
Вот теперь мне интересно, дальнейший саботаж дорастёт до совершенно случайного стирания ключика из authorized_keys, или нет? Или когда это случится? Или там более глубокий уровень саботажа, и мне УЖЕ скармливают не актуальную базу, а какой-то фейк? :)
mysql finished (325M, 1.5G) 9+0 seconds
gitlab finished (17G, 18G) 107+35 seconds
redmine finished (2.7G, 2.8G) 416+6 seconds
Проект, в котором есть минимум две точки, которые обязательно надо бы бекапить.
Redmine со всей базой MySQL ентого самого проекта.
Gitlab со всеми апдейтами и базой Postgress.
Точки эти адски критичные на уровне "Вот если прямщаз положить редмайн - то информацию по доступу админов на большинство серверов проекта взять неоткуда более, ну если у кого случайно есть"
В течение более чем года бекапа этих точек ни разу никто не делает.
В конце концов один из владельцев проекта начинает Е...ТЬ админов "чтобы наладили бекап".
И вот тут обнаружился явный, недвусмысленный, вопиющий саботаж со следующими отговорками:
- Нам надо не менее 2 терабайт выделить под бекап
- Давайте оплатим на Хецнере сторадж бокс (ага, уже оплачивали и прое..ли)
- Надо останавливать докер и корректно дампить базы (да и не спорю, но делайте же это!)
- Мы не знаем, какой там суммарный объём
- Нет, мы в самом деле не знаем, сколько занимает база
- У нас нету дискового пространства
- твой самописный скрипт - это какая-то лажа, надо решать эту задачу системно, есть же backuppc
- ты опять предлагаешь делать что-то из говна и палок, а надо делать ПРАВИЛЬНО.
- твой сервер - это говно и палки, надо покупить 4 терабайтники и собрать из них рейд...
- а вот мы щас тут ставим duplicity... ой, он не ставится, щас мы разберёмся с зависимостями и в какой его докер...
В какой-то момент я говорю "дайте мне доступ на сервер, где это лежит, я найду и буду бекапить это МОИМ скриптом на МОЙ сервер[, суки!]"
- Нет, надо поставить туда duplicity и настроить...
- Нет, лучше дай нам доступ на какой-нибудь свой... - Ловлю на слове и даю 600 гиг дискового пространства, доступные по ssh, убеждаемся в том, что доступ есть. Чел говорит, что партиция, ан которой всё лежит - 200 гиг. Ну то есть хотя бы два "в лоб" полных бекапа влезет.
В течение недели ни одного файла на выделенном пространстве не появляется.
Вот тупо нету - и всё.
В какой-то момент я таки сумел от них добиться доступа на тот сервер, разобраться, где лежит актуальная база и контент и таки настроить ПОФАЙЛОВОЕ копирование (ибо весь мой опыт бекапа и восстановления, в том числе постгресовых и мыскльных баз ясно говорит - поднять базу из файловой копии МОЖНО, хоть и придётся чинить) ко мне на сервер.
И оказалось, что ПОЛНЫЙ бекап имеет размер 19 гиг (причём в нём оказывается даже не необходимая свалка докерных образов, занимающая 16 гиг и в диффах занимающая ноль А размеры Mysql и постгресовой базы так вообще менее 1 гига каждый)
Вот теперь мне интересно, дальнейший саботаж дорастёт до совершенно случайного стирания ключика из authorized_keys, или нет? Или когда это случится? Или там более глубокий уровень саботажа, и мне УЖЕ скармливают не актуальную базу, а какой-то фейк? :)
mysql finished (325M, 1.5G) 9+0 seconds
gitlab finished (17G, 18G) 107+35 seconds
redmine finished (2.7G, 2.8G) 416+6 seconds