Питание серверного шкафа

Когда говорят про питание серверного шкафа, многие сразу представляют себе пару ИБП и клубок проводов. На деле же — это целая система, где каждая мелочь, от сечения жилы до способа крепления шины, может вылиться в часы простоя. Сам видел, как в одном проекте сэкономили на сечении нулевого проводника в распределительном щитке — через полгода начались периодические сбои на оборудовании, грелась нейтраль, искажения по фазе. Искали неделю, перебирали софт, железо, а причина оказалась в, казалось бы, такой базовой вещи. Вот с таких моментов и начинается настоящее понимание темы.

От щитка до стойки: где кроются типичные ошибки

Начнем с ввода. Частая ошибка — неверный расчет пиковых нагрузок и пусковых токов. Берут номинал автоматов по сумме мощности установленного оборудования и забывают про резерв, про будущее расширение. В итоге, когда добавляют пару-тройку блейд-серверов, защита начинает срабатывать при их одновременном старте. Приходится или менять автоматы (а это часто влечет за собой замену кабеля до щитка), или сталкиваться с риском перегрузки линии. Нужно закладывать минимум 30% сверху от планируемой нагрузки, а лучше — предусмотреть возможность установки автомата на ступень выше без замены всей подводящей линии.

Еще один нюанс — качество самого щитового оборудования. Не все боксы и шины одинаково хороши для постоянных высоких нагрузок. Дешевые комплектующие со временем начинают ?плыть?, контакты окисляются, что ведет к росту переходного сопротивления и, как следствие, нагреву. В серверной, где температура и так повышенная, это дополнительный фактор риска. Лично предпочитаю работать с проверенными производителями, которые дают четкие характеристики на свои изделия по току и температуре эксплуатации.

Здесь, к слову, можно упомянуть и про компанию OOO Ханчжоу Хэнгу Технолоджи. На их сайте hzhg.ru в разделе продукции указано и электротехническое оборудование. В своем профиле они заявляют о производстве и продаже широкого спектра изделий, от муфт до металлоизделий с покраской. Для комплексного подхода к инфраструктуре, когда нужны и стойки, и щитовое оборудование, и даже услуги транспортировки, такой поставщик может быть удобен. Но, опять же, в каждом конкретном случае нужно смотреть на соответствие их конкретных линеек продукции тем требованиям, которые диктует проект по питанию серверного шкафа. Технические спецификации — прежде всего.

Внутри шкафа: организация не для галочки

Переходим к внутренней разводке. Использование стандартных сетевых фильтров-удлинителей, свернутых в кольца и засунутых в заднюю часть стойки — это классика жанра и прямой путь к проблемам с вентиляцией и потенциальному возгоранию. Правильный путь — это монтаж стационарных PDU (блоков распределения питания). И здесь важно не просто их купить и воткнуть, а правильно спланировать.

Во-первых, расположение. PDU бывают вертикальные (монтируются на стойки сбоку) и горизонтальные (в 1U/2U слот). Выбор зависит от глубины шкафа, плотности монтажа и способа прокладки кабелей. При высокой плотности оборудования вертикальные PDU часто удобнее — они не занимают юниты в стойке, и кабели от них к оборудованию получаются короче. Но нужно следить, чтобы они не перекрывали вентиляционные пути, особенно в тесных серверных шкафах.

Во-вторых, тип питания PDU. Самые простые — без возможности управления. Но для ответственных задач все чаще берут интеллектуальные PDU (iPDU) с возможностью удаленного управления питанием каждой розетки, мониторингом тока и напряжения. Это не просто ?фишка?, а реальный инструмент для управления. Можно удаленно перезагрузить ?зависшее? оборудование, выявить розетку с аномальным потреблением, которое может указывать на неисправность сервера. Правда, и стоят они существенно дороже, и для их работы нужна отдельная управляющая сеть.

Резервирование: от простого дублирования до сложных схем

Тема резервирования — это отдельная боль. Самая распространенная схема — это два независимых ввода (от разных трансформаторных подстанций или хотя бы разных автоматов в щите) и два ИБП, каждый на свою шину. Оборудование в стойках при этом питается от двухблочных БП, подключенных к разным PDU от разных шин. В теории все отказоустойчиво. На практике же постоянно встречаются косяки.

Например, не соблюдается баланс нагрузки между двумя ветками. В итоге одна шина загружена на 80%, другая на 20%. При отказе первой происходит не плавный переход, а мгновенная перегрузка второй и ее отключение. Или другой случай: кабели от двух разных ИБП проложены в одном лотке, одном гофре. При коротком замыкании на одном кабеле может повредиться изоляция на соседнем, и резервирование схлопывается. Мелочь? Да. Критично? Абсолютно.

Бывали и курьезные случаи. Однажды на объекте после ввода системы резервирования провели ?оптимизацию? и запитали от одной шины систему климат-контроля серверной, а от другой — все IT-оборудование. Логика была: если откажет одна ветка, то вторая вытянет. Но при отказе ветки с кондиционерами температура в комнате за полчаса подскакивала до 40 градусов, и автоматика на серверах все равно отключала их по перегреву. Резервирование было, но толку от него не стало. Пришлось переделывать схему, заводить климат-контроль тоже на две шины.

Заземление: тот самый ?третий провод?

Про заземление в теме питания серверного шкафа часто вспоминают в последнюю очередь, а зря. Качественный контур заземления — это не только защита от поражения током, но и гарантия стабильной работы чувствительной электроники, защита от помех и наводок. В идеале у серверного шкафа должна быть своя собственная шина заземления, подключенная к главной заземляющей шине здания медным проводником достаточного сечения.

Частая проблема — так называемое ?технологическое? заземление, когда корпус шкафа заземляют на шину, а все оборудование внутри ?заземляется? через евровилку на розетке PDU. Это создает разность потенциалов и контуры, которые становятся антеннами для наводок. Нужно обеспечивать непосредственное соединение шасси каждого сервера, коммутатора, дискового массива с корпусом стойки (или ее собственной шиной) через лепестки или специальные контактные площадки. Да, это кропотливая работа, но она избавляет потом от мистических глюков, которые невозможно воспроизвести.

И да, окраска распылением или порошковая покраска металлических элементов шкафа, о которой, к примеру, упоминает OOO Ханчжоу Хэнгу Технолоджи в своем перечне услуг, не должна нарушать контакт для заземления. В местах крепления шин, на болтовых соединениях краску нужно счищать, обеспечивая металл-металл контакт. Иначе сопротивление заземления будет высоким, и вся система станет неэффективной.

Практические наблюдения и итоговые соображения

В конце хочется сказать, что идеальной, универсальной схемы нет. Все упирается в бюджет, класс доступности, который требуется заказчику, и в физические ограничения помещения. Иногда проще и дешевле спроектировать две независимые комнаты с раздельными стойками, чем пытаться уместить отказоустойчивую систему питания в одну. Иногда имеет смысл использовать ИБП с двойным преобразованием, иногда достаточно линейно-интерактивных.

Главный вывод, который можно сделать из опыта: система питания — это не набор железа, а инженерное решение. Его нужно продумывать на два шага вперед, всегда оставляя возможность для масштабирования. И никогда не экономить на качестве компонентов и квалификации монтажников. Потому что сбой в питании — это всегда простой, а его стоимость почти всегда превышает те деньги, которые пытались сэкономить на ?правильных? автоматах, кабеле или профессиональном проекте. Все упирается в надежность, и начинается она с таких, казалось бы, прозаичных вещей, как грамотно организованное питание серверного шкафа.