Понедельник не задался с самого утра. Мэтт пришел на работу и обнаружил своего начальника мечущимся по офису с выпученными глазами и пеной у рта. «Слава Богу, ты пришел», сказал шеф, как только заметил его, «CMB упала. Сетевики не могут ее поднять».

По шкале бедствий, мертвая CMB это что-то между эпидемией эболы среди сотрудников и спонтанным самовозгоранием всех компьютеров компании. Без CMB шестистам с лишним сотрудникам компании придется работать по старинке – вручную. А значит огромное количество простых работников, руководителей и клиентов погрузится в мрачную пучину уныния.

Чтобы своими глазами увидеть, что же стряслось, Мэтт отправился в серверную. Он встретился с Фредом, контрактником из компании Дешевле Некуда, которая занималась их сетями. «Насколько я могу судить», объяснял Фред, «на выходных произошло отключение питания».

«Ну и», вопрошающе сказал Мэтт, «в чем тут проблема? У нас тут здоровенный бесперебойник, да еще и резервный генератор».

«Никто и не спорит», сказал Фред, «но электричества не было больше восьми часов, поэтому бесперебойник сдох, а включить генератор в воскресенье было некому».

«Но у нас же для этого создана специальная система оповещений! Что, никому не звонили и не ломились на пейджер»?

«Да шут его знает», пожал плечами Фред, «в тот день была не моя очередь ходить с пейджером. Я об этом узнал сегодня утром, когда увидел что Exchange лежит».

Фред сказал Мэтту, что еще один сетевик Фил как раз сейчас пытается вернуть к жизни CMB. Мэтт начал беспокоиться. CMB жила на Solaris-е, а он тяжело переносит, когда внезапно гаснет свет.

Мэтт отправился к серверам CMB, чтобы поговорить с Филом. «Ну как CMB, оживают?»

«Ну», начал Фил, «я попытался снова включить Sun-ы, но пока не понял что происходит. Какие-то диски светятся. Вот гляди, этот мигает. А вот этот ... фиг разберешь. Куда не нажимал, бесполезно--».

«Нет! Фил!», перебил Мэтт, «Нет! Не смей!». Слишком поздно. Фил уже добрался до лицевой панели Sun-а и щелкнул питанием, выключив и включив. Картины невиданных разрушений файловой системы витали в мозгу Мэтта, пока он внушал Филу, чтобы тот никогда, никогда не тыкал в большие черные кнопки на дорогостоящем пурпурном оборудовании.

«Ну ладно», сказал Мэтт, успокоившись, «нам надо добраться до ALOM консоли. Уверен, там есть какая-нибудь низкоуровневая проверка дисков. Запустим ее перед загрузкой Солярки».

«Черт», воскликнул Фил, «вот тут проблемка. Мы где-то задевали пароль от системной консоли. Там, наверное, есть какой-нибудь инженерный, но... Черт! Вот незадача. Мануал-то мы тоже куда-то дели».

Фил не знал, что делать дальше и бессильно жевал зубы. Он уставился на скорее всего мертвый пурпурный ящичек, в котором обитала важнейшая система его компании. А потом он кое-что заметил. Лампочка на диске была жива. Просто очень часто мигала. Мигала как умалишенная. Головки дисков метались с такой скоростью, что индикатор загруженности выглядел потухшим. Система на самом деле не бездействовала, а долго и упорно грузилась. Этот дьявольский fsck во время загрузки казалось, будет работать вечно.

Через несколько часов и после пары восстановлений индексов CMB, наконец, вернулась к жизни. Программы крутились, пользователи работали, демоны... демонировали, и все было прекрасно.

Но Мэтт все еще не был доволен реакцией сетевиков на отключение электричества: кто-то должен был быть оповещен по пейджеру о неприятностях. После недолгого расследования Мэтт выяснил, что оповещающий сервер был запитан от источника бесперебойного питания, и в случае чего пытался по очереди дозвониться всем из отдела ИТ. Жаль только, что никто из Дешевле Некуда не догадался подключить к бесперебойнику и местную АТС.

Оригинал:http://worsethanfailure.com/Articles/Paging-Dr-UPS.aspx
Перевод:Евгений Виговский