Сапожник без сапог... Восстанавливаюсь из бекапа.

[qkowlew]

Хехе.

Улетели сразу оба винта на сервере хостинга.
Основной и оперативного бекапа.

терабайтник WD 7200rpm "серверной серии", куплен больше трех лет назад. Труп полный
Seagate 1.5Tb LP 5900rpm. Куплен почти 2 года назад.

В результате оказался в ситуации, когда живая только совсем старая версия системы на третьем винте (маленьком, "чтоб можно было взлететь и разобраться что происходит), и свежего образа готовой конфигурации не сохранилось.

Поставил 250-ник и 200-ник.
Собираю по частям с другого сервера (причём бекап контента на последние сутки есть).

Время подъёма некоторых сайтов будет больше 3-х суток.
Пострадали все сайты на IP 195.91.162.195, 195.91.162.196, 195.91.162.197

Позор на мои седые гениталии.

UPD1: Только что позвонили с работы. САМАЯ ВАЖНАЯ папка на сетевом диске не открывается - винда сообщает, что диск не отформатирован. Судя по смарту, умер ещё один терабайтник. Бекап есть. Но восстанавливать - хехе, около 400 гигов в сумме.

UPD2: Работа серверов восстановлена. Все данные живы, кроме одного сайта и отдельных самых свежих файлов в другом сайте. На файлсервере конторы - откат к четвергу "самого важного каталога", всё остальное не повреждено и скопировано на новый винт. Минус выходные.

Comments

[mikell.livejournal.com]

Сколько бы копий не было - шансы на гибель всех копий всегда будет ненулевой.

[gray-bird.livejournal.com]

... вот поэтому то я раз в пару лет меняю винчестеры на более емкие клонируя содержимое. Полчаса времени, а шансы, что винт выработает свой ресурс и сдохнет - уменьшает.

[qkowlew.livejournal.com]

Я обычно тоже "успеваю раньше" - но на этот раз таки оба одновременно и очень резко спикировали.

И уже да, надо чаще, чем раз в два года. :(

[gray-bird.livejournal.com]

Сложный вопрос.
У меня крутится в ресторане совершенно дубовые сигейты 7200.7 6 шт на 40 гб за 7 лет круглосуточной работы - пара бедов на паре винтов пара лет назад, после ремапа викторией продолжают пахать.
Аналогично пашет 200гб винт в сервере видеаонаблюдения 7 лет циклической записи - ни одного сбоя.
Режим работы 24х7х365.

После 2008 кризисного года у меня высыпалось 3 шт сигейта от 750гб до 1 тера, я обиделся и покупаю теперь WD green серии - пока полет нормальный. По скорости они уделывают старые винты.

[qkowlew.livejournal.com]

Старые сигейты...
до 80 Гб это совсем другая эпоха.
200-250 Гб - тоже отдельная история. У меня из них ТОЛЬКО ОДИН лежит с пометкой "растут бэды", а два таких сейчас поставлены на сервер после участия в железке видеонаблюдения (у той железки сгорела самая умная часть, винты выжили).
320-500 (и некоторые 250-ники "половинки 500-ок") - самая мерзкая история. Остался ОДИН живой из примерно 15-ти.
750 около 8-ми мной купленных живы вроде все (в том числе один IDE). Один медленно дохнет, ещё на одном - сбои позиционирования по смарту зашкаливают, но так как до машинки сложно добираться, живёт пока как бекапный.

[gray-bird.livejournal.com]

Seagate 750 IDE 2006 года, это совсем не то что Seagate 750 SATA 2008 года. Вторые у меня передохли практически все, причем даже замена по гарантии ситуацию не исправила, новые лишь стали дохнуть медленней. После этого я к всем новым seagate отношусь с ба-альшим подозрением.

НЕпонятно, как у тебя они так красиво совпали в издыхании. По SMART что в них издохло?

[onegin-forte.livejournal.com]

На моей старой второй работе в самый ответственный момент вышли из строя два читаха подряд с интервалом 15 минут. И это в RAID5. Конечно под это дело выморозили новый сервер с SAS. И бэкап базы был. Но пользовательские рабочие документы восстановились только частично (буквально кусками).
Но это не все. Пару недель назад уронил свой внешний диск, где была вся моя работа и проекты за три последних года. Как назло резервные копии удалил после январских праздников, нужно было место для обработки домашнего видео... И винить некого и помочь некому.

[lazy-masha.livejournal.com]

У меня три дня назад умер двухтерабайтник в рейде.
Эпидемия, что ли?

[lazy-masha.livejournal.com]

Update: У Борьки сегодня винт сдох.

[qkowlew.livejournal.com]

:(((((

[antontsau.livejournal.com]

в прошлом годе Вирджин Австралия (вторая по величине авиакомпания страны) завязала какой-то свой сервер регистрации. Сначала у них сдох один винт, потом второй, а потом, насколько я понял, третий не то чтоб совсем сдох, но начал глюкать, писать - но муру, и в результате у них все развалилось на сутки, вся система регистрации пассажиров. Причем они еще полночи решали что делать - старое оживлять или переходить на резервное (что само по себе занимает порядка 6 часов). К утру решили что таки да, включаем резерв, но к этому моменту у них уже началась каша в ажропортах, в общем весь день вся авиалавка стояла раком и никого не возила, только на следующий день как-то рассосались.

[onegin-forte.livejournal.com]

Я читал про этот коллапс. На такой случай на основной работе пишется почасовка на ленточном роботе. Но при таком режиме эксплуатации ленточки выбрасываются коробками. Ресурс не большой. Стоимость часа простоя исчисляется миллионами, что не позволяет экономить на спичках.

[antontsau.livejournal.com]

не спасает. Если оно навернулось, то восстановление из бакапа все равно занимает часы, причем обычно часы полного отключения, пока восстанавливается - никакая деятельность не ведется. А потом еще неведомо сколько это все рассасывается, все затыки и отложенные действия. Собственно, девственники на этом и нарвались - бакапы-то у них были, нивапрос, но оживление системы с момента принятия решения "все, здохъ, переходим на резерв и восстанавливаемся" все равно заняло полдня с соответствующими оргвыводами. И это со всеми кластерами-дублированиями - хз чем там еще, чем так неимоверно гордятся все мейнфреймщики и чем постоянно тыкают в харю писюкаторам.

[onegin-forte.livejournal.com]

Ну поднимать с нуля RS/360 или Oracle под AIX на P5 действительно займет пол дня, но если мы имеем копию раздела FS, а реальные данные вообще находились на внешнем сторадже, то поднятие сервера с нуля занимает минуты.
Конечно, если бэкап БД это SQL записи, которые нужно залить обратно в новую базу. Но если у нас БД хранится вообще не в файловой системе сервера, все несколько проще...

[3a_5648.livejournal.com]

Как говорили великие - "и обезьяна тоже падает с дерева". Можно считать доказанным что периодически хуйня случается даже у великих людей, и никакие организационные меры не помогают.

[qkowlew.livejournal.com]

Ну у меня в данный момент ничего не потеряно.
Бекапы на двух других серверах то живы.
Просто поднять обратно.
Просто сравнительно долго. :)

[3a_5648.livejournal.com]

Это единственное что радует безмерно...

[untermensch-ru.livejournal.com]

Ну кто ж в серваки сигейты ставит ? Они дохнут как мухи, то дврайвер мотора вышибет, то стабилизатор, то головки залипнут. WD надо ставить...

[qkowlew.livejournal.com]

Статистика по разным фирмам у меня не отличается.
Сигейты на данном этапе чуть лучше, чем WD, в состоянии "по смарту есть ругань - удастся скопировать". И немного лучше с прошивками под обнаруженные глюки.
Хитачи 500-гиговые мне больше нравятся.

А вот 2Т хитачи купить не удаётся - сегодня пытался, не было на складах. :)

[vlad450.livejournal.com]

Серег, не надо хитачи. Они при своих болячках (головы, запилы и коммутатор) со времен ibm так и остались.Парковку на рампе так и не победили, хотя первыми стали ее использовать. Лучше уж тогда сигейт, только 7200, а не обрезки-самопилы с пониженым rpm.

[yar-spb.livejournal.com]

За неполный год в Raid5 (на шесть дисков) ушли 3 двух-террабайтных Seagate.
Правда без криминала - то есть по-одиночке.
Теперь закупаем диски оптом.

[vlad450.livejournal.com]

LP сразу в помойку, ибо заводская отбраковка с пониженым RPM, что не прошло скан на 7200. Большой диск для нищебродов. Обожают, кстати, пилиться на ровном месте без внешних воздействий, а сам сигейт обожает их ставить в USB-накопители "для личных архивов".

WD, особо последние, очень на любителя. Парковку на рампе таки наконец нормально сделали, но судя по обилию FW до сих пор с этим сражаются, как при нестабильном питании избежать запиливания. Результат пока не в пользу WD. :(

Серег, если диск видится, а сисема говорит что он не отформатирован, то скорее всего BB на поверхности. Лечится, если интересно.