Мощность серверного шкафа

Когда говорят про мощность серверного шкафа, многие сразу думают про киловатты на шильдике ИБП или про номинал автомата в ряду. Но на практике все упирается в мелочи, которые в спецификациях не пишут. Сам много лет сталкиваюсь с тем, что заказчик требует ?шкаф на 10 кВт?, а потом выясняется, что он считал только серверы, забыв про коммутаторы, панели PDU, систему охлаждения внутри самого бокса и, что критично, про реальные пусковые токи. Или еще классика: думают, что если взять стойку с маркировкой ?высокая нагрузка?, то можно хоть 15 кВт впихнуть — ан нет, все упирается в базовую конструкцию, толщину стали, расположение перфорации и даже в то, как проложены силовые кабельные трассы внутри. У нас в OOO Ханчжоу Хэнгу Технолоджи при разработке и производстве стоек всегда идет этот внутренний спор между конструкторами и инженерами по питанию: первые хотят облегчить и унифицировать каркас, вторые — усилить его под конкретные точки крепления тяжелых БП и обеспечить вентиляционные зазоры, которые не убьют тепловой режим при реальной нагрузке.

Не просто цифра в спецификации

Вот смотрите, берем типовой проект для небольшого ЦОДа. Заказчик прислал таблицу: стойка 42U, планируется установить 10 серверных блоков, каждый по паспорту 800 Вт, плюс пара коммутаторов. Считаем: 10*0,8 = 8 кВт, плюс мелочь — округляем до 9 кВт для надежности. Кажется, логично? Но это в идеальном мире, где все блоки питания работают в КПД 95% постоянно, где нет просадок напряжения, а температура в помещении стабильно 22°C. В реальности же эти 800 Вт — это обычно максимальная паспортная величина при пиковой нагрузке процессора и дисков. А среднестатистическая нагрузка может быть на уровне 400-500 Вт. Но! Проектировать-то нужно под максимум, иначе в момент пиковых вычислений получим перегрев и отключение. И вот тут начинается самое интересное: как распределить эту мощность серверного шкафа по фазам, если речь о трехфазном вводе? Часто вижу, что все оборудование вешают на одну фазу, потому что так проще развести кабели внутри. А потом приезжаешь на объект — одна фаза перегружена, две другие почти пустуют, балансировки нет, и автоматика начинает капризничать.

Один из наших не самых удачных кейсов был связан как раз с этим. Собрали стойку для клиента, все по его ТЗ: номинальная мощность шкафа заявлена 12 кВт, трехфазный ввод. Смонтировали, сдали. Через полгода звонок: ?Перегревается, иногда серверы уходят в троттлинг?. Приехали, замерили: оказалось, заказчик самостоятельно добавил еще два блейд-энклоужера, причем установил их в нижнюю часть стойки, перекрыв перфорацию на передней дверце. Плюс все добавленное оборудование он запитал от одной фазы, создав перекос. В итоге локальный перегрев в нижней зоне плюс перегруз по току на одной фазе. Пришлось переделывать разводку силовых кабелей внутри шкафа, добавлять дополнительные панели PDU с интеллектуальным мониторингом (кстати, такие мы тоже производим, но это отдельная история), и рекомендовать заказчику вынести часть нагрузки в соседнюю стойку. Вывод: номинальная мощность серверного шкафа — это не только про электрические параметры, но и про тепловую конструкцию, и про дисциплину эксплуатации.

Еще нюанс, который часто упускают из виду — это кабельная организация. Казалось бы, при чем здесь мощность? При том, что толстые силовые кабели, особенно если их много, занимают место, пережимаются, ухудшают циркуляцию воздуха. Видел ситуации, когда в стойке с задней дверью кабельный менеджмент был выполнен так, что между серверами и дверью оставалось всего 2-3 см зазора — горячий воздух просто не мог нормально выйти, рециркулировал. В итоге фактическая рассеиваемая мощность падала на 20-30% от заявленной, потому что срабатывала тепловая защита оборудования. Поэтому сейчас при проектировании мы всегда закладываем не только электрические трассы, но и пространство для воздушного потока, иногда даже предлагаем заказчикам использовать стойки с увеличенной глубиной (например, 1200 мм вместо стандартных 1000), чтобы было куда разводить кабели без ущерба для охлаждения.

Оборудование и материалы: что на что влияет

Конструктив шкафа — это основа. Можно поставить самый дорогой ИБП, но если стойка сделана из тонкой стали, которая прогибается под весом оборудования, или если точки крепления вертикальных профилей не рассчитаны на нагрузку свыше 500 кг, то ни о какой стабильной работе речи не идет. Мы в OOO Ханчжоу Хэнгу Технолоджи при производстве серверных стоек всегда делаем акцент на качестве металла и точности изготовления. Потому что видели, что бывает с дешевыми аналогами: при полной загрузке (а это может быть и 800-1000 кг) стойка начинает ?играть?, вибрировать, особенно если пол в машинном зале не идеально ровный. Вибрация — это не только шум, это еще и риск ослабления контактов в разъемах, микротрещин на платах. Поэтому наши инженеры всегда спрашивают у заказчика не только про электрическую мощность, но и про планируемый вес оборудования, и даже про тип напольного покрытия в помещении.

Порошковая покраска, которой мы занимаемся — это не просто для эстетики. Качественное покрытие обеспечивает не только защиту от коррозии, но и определенные диэлектрические свойства. Это важно, когда внутри шкафа гуляют высокие токи, есть риск статики или случайного касания токоведущих частей. К тому же, цвет и тип поверхности влияют на тепловое излучение. Матовая темная поверхность лучше рассеивает тепло, чем глянцевая светлая, но и пыль на ней заметнее. Приходится искать компромисс, исходя из условий эксплуатации. Для уличных шкафов, которые мы тоже делаем, там вообще отдельная история с защитой от влаги и перепадов температур, но это уже немного другая тема.

Вот, к примеру, история с одним нашим клиентом из сектора телекома. Они заказали партию стоек под оборудование для узлов связи. В ТЗ была указана высокая мощность серверного шкафа на уровне 15 кВт с активным охлаждением (внутренние вентиляторы). Собрали, отгрузили. Через месяц они просят консультацию: шум от вентиляторов превышает ожидаемый. Стали разбираться. Оказалось, что они установили стойки в небольшом помещении с низкими потолками, без общей системы приточно-вытяжной вентиляции. Внутренние вентиляторы стоек работали на максимум, пытаясь вытолкнуть горячий воздух в комнату, который тут же засасывался обратно через перфорацию. Получился тепловой замок. Пришлось на месте дорабатывать: устанавливать вытяжные кожухи (так называемые ?дымоходы?) для отвода горячего воздуха напрямую в потолочные воздуховоды и перенастраивать кривые работы вентиляторов. Это к вопросу о том, что мощность серверного шкафа — это системный параметр, который нельзя рассматривать в отрыве от инфраструктуры помещения.

Распространенные ошибки и как их избежать

Самая частая ошибка — игнорирование коэффициента мощности (cos φ) оборудования. Многие считают мощность в ваттах, забывая про полную мощность в вольт-амперах. Особенно это актуально для оборудования с импульсными блоками питания. В итоге ИБП или стабилизатор подбирается ?впритык? по ваттам, а потом выходит из строя из-за перегрузки по полной мощности. При расчетах для наших клиентов мы всегда запрашиваем паспортные данные оборудования или, если их нет, закладываем запас по коэффициенту не менее 0.9, а лучше — делаем замеры на аналогичном оборудовании.

Вторая ошибка — неправильное расположение оборудования внутри шкафа с точки зрения тепловыделения. Все знают про холодный и горячий коридоры, но внутри одной стойки тоже есть свои микрозоны. Самые ?горячие? устройства — обычно коммутаторы с плотным портом и серверы с мощными процессорами — их лучше размещать с учетом воздушного потока конкретной модели стойки. Иногда имеет смысл оставить несколько юнитов пустыми для создания воздушного буфера. Но заказчики часто хотят заполнить каждый юнит, максимизировав плотность. Здесь нужен диалог и разъяснение рисков.

Третье — экономия на мониторинге. Мощность серверного шкафа — величина не постоянная. Она меняется в течение суток, при обновлении ПО, при изменении нагрузки. Если нет датчиков тока, температуры на вдуве и выдуве, то управление мощностью превращается в гадание. Мы рекомендуем и сами поставляем стойки с предустановленными датчиками и возможностью интеграции с системами DCIM. Это не просто ?фишка?, это возможность предотвратить аварию. Например, вовремя заметить рост температуры из-за засорения фильтров или отказа одного из вентиляторов в блоке сервера.

Интеграция с другими системами

Серверный шкаф — не остров. Его электрическая и тепловая мощность напрямую связана с общестроевыми решениями в ЦОДе. Например, с системой распределения электроэнергии (Электротехническое оборудование, которым мы также занимаемся). Бывает, что стойка рассчитана на высокую мощность, но подводящие шины или кабельные линии от ГРЩ до ряда стоек имеют ограничение. Или система охлаждения помещения не может обеспечить отвод такого количества тепла на квадратный метр. Приходится делать комплексный аудит.

В одном из проектов для финансового сектора мы столкнулись с требованием обеспечить бесперебойное питание каждой стойки с возможностью ?горячего? увеличения мощности. Клиент планировал поэтапный апгрейд оборудования в течение 2 лет. Стандартное решение с фиксированными силовыми вводами не подходило. Вместе с нашими специалистами по электротехническому оборудованию разработали гибридную схему: статические байпасы, модульные PDU с возможностью добавления новых секций и специальные силовые разъемы на задней стенке шкафа. Это позволило подключать дополнительные линии питания без остановки работы. Ключевым было именно понимание того, как будет эволюционировать мощность серверного шкафа во времени.

Еще момент — логистика и установка. Тяжелая, полностью укомплектованная стойка — это challenge для грузчиков и монтажников. Наш профиль включает автомобильные грузоперевозки, поэтому мы хорошо знаем, как правильно подготовить оборудование к транспортировке, чтобы не повредить внутреннюю разводку и крепления. Были случаи, когда заказчик, получив стойку, самостоятельно переставлял серверы внутри, ослабив крепления вертикальных профилей, и потом жаловался на вибрацию. Поэтому теперь в документации четко прописываем моменты, касающиеся повторного монтажа под нагрузкой.

Взгляд в будущее и практические советы

Тенденция очевидна: плотность размещения оборудования растет, а значит, и удельная мощность серверного шкафа будет увеличиваться. Уже не редкость запросы на стойки под 20-30 кВт для систем ИИ или высокопроизводительных вычислений. Это требует новых подходов к охлаждению — возможно, переход к жидкостному охлаждению непосредственно в стойке. Мы уже изучаем этот вопрос, смотрим на совместимость с нашими конструктивными решениями.

Что можно посоветовать тем, кто сейчас проектирует инфраструктуру? Во-первых, не экономьте на запасе по мощности и охлаждению. Заложите хотя бы 20-30% сверх текущих потребностей. Во-вторых, требуйте от поставщика стоек не просто паспортные данные, а результаты тепловых и прочностных испытаний (если есть). В-третьих, думайте о мониторинге с самого начала. Датчики — это недорого по сравнению со стоимостью простоя.

И последнее: всегда учитывайте человеческий фактор. Самый продуманный шкаф можно испортить неаккуратной установкой кабелей или нарушением регламента обслуживания. Поэтому важно, чтобы поставщик не просто продал ?железо?, а предоставил понятные инструкции и, если нужно, провел обучение для персонала. Мы в OOO Ханчжоу Хэнгу Технолоджи стараемся подходить именно так: не как к разовой продаже, а как к созданию рабочего инструмента для заказчика, где электрическая и тепловая мощность — это всего лишь две из многих важных характеристик, которые должны быть сбалансированы.