Наполнение серверного шкафа

Когда говорят про наполнение серверного шкафа, многие сразу представляют себе аккуратную установку серверов и коммутаторов в стойку. Но это лишь вершина айсберга, и именно здесь кроется главный подводный камень — недооценка планирования. Сам шкаф, его физические параметры и внутренняя организация часто отходят на второй план, а зря. В итоге получается либо недогруз дорогостоящего пространства в ЦОД, либо, что хуже, перегрев и проблемы с доступностью из-за непродуманной компоновки. Я не раз сталкивался с ситуациями, когда заказчик, сэкономив на расчете нагрузок и вентиляции, потом тратил в разы больше на переделку.

Основа всего: выбор и подготовка стойки

Итак, с чего начать? Всё упирается в сам шкаф. Тут нельзя брать первое попавшееся предложение. Нужно смотреть на несколько ключевых вещей: грузоподъемность полок (статическую и динамическую), перфорацию дверей (процент свободной площади для вентиляции), возможность установки боковых панелей и, что критично, внутреннюю глубину. Частая ошибка — заказ оборудования под стандартную глубину, а потом выясняется, что кабельные органайзеры или блоки питания серверов упираются в заднюю дверь.

В этом контексте мне импонирует подход компаний, которые производят стойки комплексно, понимая, что это система. Например, OOO Ханчжоу Хэнгу Технолоджи в своем ассортименте предлагает не просто серверные стойки, а целый спектр сопутствующего оборудования — от оптических кроссовых муфт до рам и коробок. Это важно, потому что когда один поставщик отвечает за совместимость железа и корпуса, меньше шансов на конфликт стандартов. На их сайте hzhg.ru видно, что они охватывают и производство, и порошковую покраску — то есть могут обеспечить и нестандартные цвета под дизайн ЦОД, что иногда бывает требованием заказчика.

Лично я всегда требую технические паспорта на стойки перед закупкой оборудования. Особенно смотрю на максимальную нагрузку на раму и допустимый вес на одну единицу монтажного пространства (U). Бывало, ставили тяжелый блок ИБП в нижнюю часть, а полка под ним со временем начинала прогибаться, потому что расчет был только на распределенную нагрузку, а не на точечную.

Планирование компоновки: тепло и кабели

После того как стойка выбрана, начинается самая интересная часть — планирование того, что и куда пойдет. Тут два врага: тепло и кабельный хаос. С первым борются организацией холодных и горячих коридоров, но внутри шкафа это тоже нужно учитывать. Самые ?горячие? устройства — обычно коммутаторы и blade-шасси — лучше ставить так, чтобы их вентиляторы работали в одном направлении с общим потоком в ЦОД. Иногда приходится жертвовать ?логической? группировкой по ролям (все сервера приложений вместе) в пользу ?термической? совместимости.

Кабельная инфраструктура — это отдельная песня. Раньше мы часто экономили на патч-панелях и органайзерах, пытаясь протянуть кабели напрямую от сетевого оборудования к серверам. Выглядело это ужасно и сильно затрудняло замену любого компонента. Сейчас правило простое: для медных соединений — патч-панели в верхней части шкафа, для оптики — оптические распределительные рамы (ODF). Кстати, те же ODF от производителя, который делает и стойки (как упомянутая Хэнгу Технолоджи), часто имеют более продуманные крепления и совместимость с тем же самым монтажным профилем, что экономит время и нервы при сборке.

Один из наших неудачных опытов был связан как раз с оптикой. Сэкономили, поставили простую рамку от одного вендора в стойку другого. Крепления вроде подходили, но вибрация от работающих вентиляторов соседнего сервера со временем ослабила соединение, и начались периодические потери пакетов. Пришлось переделывать с использованием штатных аксессуаров и с большим запасом по длине волокна в сплайс-кассете.

Монтаж и тонкости крепления

Непосредственно процесс наполнения — это физическая работа, где мелочи решают всё. Например, направляющие. Для серверов стандартной ширины 19' это обычно не проблема, но вот для нестандартного или телеком-оборудования могут понадобиться переходные салазки или специальные полки. Важно проверить, чтобы направляющие были совместимы именно с вашей моделью сервера — бывает, что универсальные не обеспечивают должной поддержки или блокируют вентиляционные отверстия на боковинах.

Еще один момент — порядок установки. Сначала монтируются самые тяжелые и глубокие элементы (ИБП, дисковые массивы), снизу вверх. Потом — направляющие для серверов, патч-панели, органайзеры. И только в самом конце — легкое сетевое оборудование и собственно серверы. Если делать наоборот, можно получить травму или погнуть дорогую ?косынку? крепления в стойке.

Не забываем про маркировку. Каждый кабель, каждый порт на патч-панели должен быть промаркирован с двух сторон. Мы используем самоламинирующиеся этикетки на кабелях и наклейки на панелях. Это кажется бюрократией, но когда ночью нужно найти один сбойный порт среди двухсот, без маркировки можно провозиться часами.

Электропитание и заземление

Часто при наполнении серверного шкафа про питание думают в последнюю очередь, мол, воткнем в ближайшую PDU (блок распределения питания) и всё. Это фатальная ошибка. Нужно заранее рассчитать общую потребляемую мощность всего оборудования в стойке и прикинуть пиковую нагрузку. Исходя из этого выбираются силовые вводы и сами PDU — будут ли они однофазные или трехфазные, с каким номиналом автоматов, нужны ли им удаленное управление (умные PDU) или мониторинг.

Крайне важно распределить нагрузку по фазам (если питание трехфазное) и по разным цепям A/B для обеспечения отказоустойчивости. Сервер с двумя блоками питания должен получать питание от двух независимых PDU, которые, в свою очередь, запитаны от разных источников. Мы как-то раз собрали красивую отказоустойчивую систему, но оба PDU воткнули в одну розетку — смысл резервирования был полностью потерян.

Заземление — тема, которую многие игнорируют, пока не столкнутся с помехами на сетевых картах или случайными перезагрузками. Корпус стойки, все металлические части должны быть надежно заземлены на общую шину заземления ЦОД. Проверяйте сопротивление — оно должно быть близко к нулю. Иногда проблема кроется в плохом контакте между отдельными панелями шкафа, особенно если он сборный.

Финальная проверка и документирование

Когда всё установлено и подключено, не спешите запускать. Первым делом — визуальный осмотр. Нет ли пережатых кабелей? Все ли крепления затянуты? Все ли устройства выровнены по фронту? Потом — проверка подключения питания и заземления мультиметром. Только после этого можно подавать питание на оборудование, но поэтапно, наблюдая за нагрузкой.

Обязательный этап — тест вентиляции. Запускаем всё оборудование на полную нагрузку (можно специальными утилитами) и тепловизором или просто рукой проверяем точки выхода горячего воздуха. Не должно быть ?застойных? зон, где горячий воздух из одного устройства сразу засасывается вентиляторами соседнего. Иногда для борьбы с этим приходится устанавливать blanking-панели на незанятые юниты в стойке — они дешевые, но эффективно направляют воздушный поток.

И последнее, о чем многие забывают, — документирование. Наполнение серверного шкафа не заканчивается в момент его запуска. Нужно создать и положить прямо в стойку (часто для этого есть специальный карман на двери) схему размещения оборудования, схему коммутации, список портов, спецификацию с серийными номерами и контактами поставщиков. Это сэкономит массу времени тем, кто будет обслуживать этот шкаф после вас. В идеале, если позволяет политика компании, стоит сделать фотофиксацию готового результата с разных ракурсов.

В общем, наполнение серверного шкафа — это не просто механическая сборка. Это проектная работа, где нужно учесть массу нюансов: от физики теплообмена до тонкостей совместимости железа от разных вендоров. И когда все эти элементы сходятся, получается не просто набор железа, а надежный, ремонтопригодный и масштабируемый модуль центра данных. А это, в конечном счете, и есть главная цель.