Охлаждение ЦОД
Охлаждение
Центры обработки данных (ЦОД) производят огромное количество тепла – компьютер и системы хранения, которые в них находятся, превращают 90% своей входной мощности в тепло. Чтобы оборудование исправно работало, это тепло необходимо механически охладить или убрать из пространства ЦОД. Еще более усложняет эту задачу то, что необходимо строго поддерживать надлежащее качество воздуха и безопасность дата-центра, что приводит к дополнительным расходам, сложности конструкций и работы охлаждения ЦОД. Охлаждение дата-центра – это очень специфическая задача для сферы кондиционирования и вентиляции воздуха (HVAC).
Лучшие разработки и конструкции по всему миру обычно проходят проверку Американского общество инженеров по отоплению, охлаждению и кондиционированию.
Огромное количество эксплуатационных и капитальных затрат (OPEX и CAPEX), свыше 100%-200% энергозатрат от компьютерной нагрузки приходилось тратить на системы охлаждения дата-центров. Сфера отопления, вентиляции и кондиционирования представляла единственную область для экономии средств и увеличения эффективности в дата-центрах.
С 2004 года не так много сфер конструкции ЦОД подверглись таким улучшениям, как область охлаждения. Тепловые нагрузки, сначала от обработки данных с помощью блейд-сервера, а теперь и от всех эффективных вычислительных операций, способствовали постоянному увеличению максимальной плотности теплового потока в дата-центрах, которая иногда превышала 35 кВт на стойку. Это означает увеличение плотности теплового потока в дата-центрах более чем на 300 % за последние десять лет, в то время как современное «потолочное» охлаждение составляет меньше 50 % энергозатрат – независимо от сезона и наружной температуры – в зависимости от уровня резервности и отказоустойчивости.
Лучшая конструкция своего класса
Система охлаждения AiNETTIA-942 Tier IV на WDC-8 (на схеме) представляет собой систему 3N с отказоустойчивыми параллельно обслуживаемыми системами. С достаточным количеством резервных холодильных контуров, контуров отвода тепла и тремя холодильными машинами со 100 % мощностью, работающих с эффективной частичной нагрузкой, система может выдержать несколько одновременных отказов элементов, без влияния на критическую нагрузку.
Фальшпол и агрегаты CRAC
Продолжая справа налево на диаграмме выше, CRAC (прецизионные кондиционеры воздуха для компьютерных помещений) – это громкие, обычно одноцветные элементы в помещении дата-центра, которые производят сильную циркуляцию холодного воздуха. Как правило, с их помощью также можно регулировать уровень влажности.
Агрегаты CRAC находятся на фальшполу (белая плитка из антистатических материалов, что является частью характерного вида ЦОД). Область, где холодный воздух циркулирует под полом, представляет собой пространство фальшпола (система распределения обработанного воздуха); это важная часть системы воздушных потоков. Некоторые дата-центры отказываются от капитальных затрат на создание пространства фальшпола. В результате увеличиваются рабочие расходы, так как невозможность контролировать смешивание горячего и холодного воздуха сокращает концентрации нагрева, что является решающим для эффективного охлаждения.
Пространство фальшпола должно иметь несколько заграждений. Все, что находится под полом (например, кабельная сеть) должно быть ограничено и заключено в канал, чтобы сократить «торможение» воздушного потока. Задача фальшпола – обеспечить беспрепятственный путь подаче холодного воздуха в любое место ЦОД. Плиты фальшпола сменные и взаимозаменяемые, это позволяет при необходимости осуществлять перераспределение воздуха.
Наиболее эффективные агрегаты CRAC не имеют компрессоров или движущихся элементов, кроме вентиляторов и клапанов; главным образом они работают в качестве теплообменников. В некоторых конструкциях в установки CRAC помещены компрессорные агрегаты – но меньшие компрессоры обычно менее эффективны и, более того, так как компрессоры вырабатывают тепло, им нужно больше работать для отвода их собственного тепла из дата-центра.
Наиболее эффективные агрегаты CRAC используют холодильные контуры с охлажденной водой для выработки холодного воздуха. Проще говоря, воздух пропускается через охлажденную батарею теплообменника (как в радиаторе вашей машины) и в результате охлаждается. Температура холодильного контура очень важна – при слишком высокой вырабатывается недостаточно охлаждения, слишком низкая температура может стать причиной конденсации. В традиционной конструкции лучшей температурой холодильного контура считается температура между 7,2 °C и 11,1 °C – в зависимости от окружающей среды и сезона. (Для выработки воздуха при 18,3 °C холодильный контур должен иметь температуру ~ 4,4 °C . Если наружная температура составляет 37,8 °C, разница должна составлять 33,3 градусов).
Холодильный контур немного нагревается, когда проходит через каждый агрегат CRAC. Поэтому холодильный контур должен иметь определенный размер, чтобы переносить достаточно воды для того, чтобы вода для последних установок CRAC оставалась в достаточной мере охлажденной. С помощью высокоэффективных водяных насосов возможно поддерживать последовательный и достаточно медленный расход воды каждого контура, что гарантирует наиболее эффективную работу (если вода двигается слишком быстро, теплообменник не охлаждается надлежащим образом).
Резервные холодильные контуры
Зачем нужны резервные холодильные контуры? – хорошо, что вы спросили. Как и в случае со всеми системами дата-центра, нужно учитывать риск отказа и проблему технического обслуживания. Установки CRAC через определенные интервалы времени должны проходить техническое обслуживание, некоторые элементы необходимо заменять. В определенных случаях клапаны на контурах охлаждения и сами трубы требуют обслуживания или замены. Без двойных резервных холодильных контуров ЦОД не может проводить обслуживание основной холодильной установки без сокращения мощности или прерывания работы. Некоторые дата-центры пытаются обойти эту проблему, работая над техническим обслуживанием поздно ночью или в самые холодные месяцы, но правильная конструкция помогает клиентам избежать подобного рода рисков и ограничений.
Значительной статьей расхода в ЦОД TierIV являются резервные холодильные контуры. Если дата-центр не относится к TierIV, скорее всего, у него их не будет. Тщательно просмотрите их блок-схемы.
Совет от TierIV: Значительные риски, которым подвергается ваша холодильная установка вследствие закупорки, воды плохого качества и других факторов снижает эффективность работы и может вызвать отказ системы охлаждения. Только сертифицированные дата-центры обладают проверенными методиками и технологиями для разработки и обслуживания всего важного оборудования.
Резервные холодильные машины
В то время как тепло дата-центра переходит в воду установок CRAC, вода из холодильного контура проходит в систему холодильной машины, изображенную в центре схемы. Холодильные машины оснащены высокоэффективным компрессором для отвода тепла от холодильного контура (справа на схеме) к контуру отвода тепла (слева на схеме). Контуры отвода тепла еще называют «внешними» контурами. Наиболее эффективные холодильные машины оборудованы центробежными компрессорами, менее эффективные используют спиральные или компрессоры другой конструкции. Холодильные машины являются крупнейшим потребителем энергии в холодильной установке, поэтому представляют много возможностей для улучшения эффективности с помощью интеллектуальных инноваций.
Как показано на схеме оборудования WDC-8 AiNET, можно соединить не более 3 холодильных машин между холодильным и наружным контурами. Кроме очевидных преимуществ отказоустойчивости и резервности, это также представляет важный аспект энергоэффективности. В общем, более эффективным является использование двух холодильных машин на 50 % их мощности, чем одной – с 100 % мощностью. Измерения в этой отрасли промышленности и данные производителя доказывают, что холодильные машины более эффективны при частичных нагрузках (менее чем 100 %), чем с применением полной мощности. Поэтому часто выгоднее использовать больше холодильных машин с более низким уровнем мощности, чем меньшее количество – с полной мощностью.
Многие операторы дата-центров не имеют альтернативы в этом отношении. С лишь двумя холодильными машинами на объект или «модуль», - это предложение из ряда «все или ничего»... или еще хуже – резервная холодильная машина используется как главная установка! Благодаря наличию нескольких холодильных машин, AiNET работает с высокой эффективностью (то есть, сокращен PUE) при поддерживании полностью резервной 100 % мощности.
Резервные градирни
Градирни – это высокоэффективные установки отвода тепла, которые перемещают тепло от «внешнего» холодильного контура (в наружный воздух). Так как они подвержены воздействию природных явлений, необходимостью являются качество воды и тщательное техобслуживание.
В наиболее эффективных градирнях – «открытых» – испарение используется для охлаждения воды на входе до температуры по «влажному термометру». Менее эффективные конструкции, «закрытые» градирни, жертвуют эффективностью ради некоторого сокращения техобслуживания – они ограничиваются достижением более высокой температуры по «сухому термометру». (Для начинающих: температура по влажному термометру – это наиболее низкая температура, которой можно достигнуть исключительно испарением воды. Температура по сухому термометру измеряется обычным термометром, без учета влажности).
В теплые поры года температура градирни выше. Чем выше температура градирни, тем больше приходится работать холодильной машине, чтобы отвести тепло.
Так же, как и с холодильными машинами, эксплуатация нескольких холодильных машин с частичной нагрузкой – то есть, с менее чем 100 % скоростью – улучшает эффективность благодаря увеличению площади поверхности, с которой покидает систему. AiNET использует несколько градирень на своем объекте WDC-8 для улучшения эффективности без риска для запасных градирень с 100% мощностью.
Ремонтный байпас
Каждый компонент холодильной установки установлен с как минимум одним ремонтным байпасом. Система охлаждения представляет собой серию контуров, это позволяет извлекать требующие ремонта или обслуживания компоненты из системы без прерывания работы.
Совет от Tier-IV: Даже ремонтные байпасы требуют техобслуживания! Резервные контуры охлаждения предназначены для того, чтобы даже техобслуживание ремонтных байпасов не влияло на работу установки.
Надежность подачи воды
Холодильные установки эффективных ЦОД действительно используют много воды. Так же, как и в случае с резервными системами энергоснабжения, которые дата-центр использует для защиты своей работы, вода также является важным вводимым ресурсом. Подобно контактам AiNET по дозаправке для дизельных генераторных систем, компания также поддерживает контракты по «дозаправке» водой, чтобы исключить возможность перебоев подачи воды - но и это еще не все.
Чтобы отвечать требованиям TIA-942 Tier IV, ЦОД должен располагать существенными водными резервами на месте. Для объекта AiNET WDC-8 это принимает разные формы. Прежде всего, локальная скважина (с резервными насосами – не показаны на схеме) производит достаточно воды для дата-центра. Даже в том маловероятном случае, если сильная засуха помешает оптимальной работе скважины, в резервуаре для воды с подачей самотеком хранятся тысячи литров воды, которых хватит на значительный период работы.
Что собой представляет резервуар для воды с подачей самотеком? Проще говоря, это резервуар для воды, установленный высоко над градирнями. Это позволяет использовать силу тяжести (и осмотическое давление), чтобы наполнить градирни и обеспечить воду для испарения. Так как нет насоса как такового, нет и риска отказа насоса и нет энергозатрат на его использование. Сила тяжести работает всегда и эта конструкция – гарантия высокой эффективности. В холодную погоду резервуар подогревается электрически, чтобы избежать замерзания воды. Таким образом, даже в самый холодный день года аварийное водоснабжение доступно в любой момент.
Это лишь некоторые примеры, но ими не ограничивается тот уровень внимания и разработки, который необходим для работы наиболее надежных дата-центров мира, что подтверждается сертифицированным ЦОД TIA-942.
Температура в дата-центре
Недавние усилия ASHRAE улучшить эффективность были направлены на температуру в дата-центре. Ранее, температура в ЦОД должна была поддерживаться в районе 65F (18C), с относительной влажностью 50%, чтобы обеспечить надлежащее охлаждение компьютерных систем. Многие из этих стандартов не обновлялись существенно с 1950-х. В большинстве случаев поддерживать такую температуру не только дорого, но еще и не отвечает современным требованиям, так как необходим отвод тепла, а не просто снабжение холодным воздухом. От «горячих точек» часто страдают операторы дата-центров, так как оборудование разного размера находится в опасном или нужном месте в случайном порядке, без учета конструкции холодильной установки. Для решения проблемы этих «горячих точек» часто приходилось использовать холодильные установки более сложной конструкции (или большего размера, чем требовалось), чтобы устранить «горячие точки» решением «в лоб» - в основном с помощью увеличения потока воздуха, что увеличивало также и эксплуатационные расходы.
В результате, традиционные конструкции дата-центров предусматривали значительное смешивание горячего отработанного и холодного воздуха из холодильной установки, что приводило к значительным потерям эффективности.
Изоляция горячего коридора (Горячий коридор/холодный коридор)
Оказывается, что более проблематичным является поддержание движения воздуха, а не температура. Используя двухшаговый подход, сначала отделяя теплый отработанный воздух оборудования и холодный воздух холодильной установки, а затем изолируя воздух на выходе каждого ряда от воздуха на входе каждого ряда, можно достигнуть значительного повышения эффективности.
По сути, система охлаждения центра обработки данных наиболее эффективна, когда она получает большие объемы тепла – с наименьшим возможным количеством холодного воздуха. Наибольший риск для компьютерных систем – когда горячий воздух попадает в забор воздуха. Благодаря предотвращению смешиванию и увеличению теплого воздуха, который возвращается в холодильную установку, система кондиционирования и вентиляции воздуха работает намного более эффективно и в то же время уменьшает риск для компьютерных систем.
Обычно холодильная установка на 750 тонн может охладить 2-3 МВт нагрузки компьютера. Тем не менее, благодаря современным технологиям и лучшим решениям холодильная установка может успешно охлаждать 40-60 МВт, улучшение составляет 2000%. Вместе с расширением технических возможностей экономайзера и других технологий, эту нагрузку возможно увеличить еще больше – при небольшом увеличении энергозатрат.
Новой тенденции в конструкции дата-центра – увеличение высоты фальшпола и расширение холодных рядов – дали начало несколько поставщиков. В теории нужно позволить большему количеству воздуха войти в ряд и уменьшить давление воздуха под фальшполом. Конечно, это требует затрат.
Расширение холодных рядов служит для значительного уменьшения плотности теплового потока в дата-центре.
Такие конструкции часто используются, чтобы скрыть недостатки плотности и расположенные ниже конструкции. Но без очень тщательного рассмотрения и компьютерного моделирования такая конструкция часто приводит к более низкому уровню эффективности (и более высоким затратам), чем правильное применение передового опыта и разумного использования фальшпола и холодных рядов.
Существуют теоретические ограничения охлаждения воздуха, но на практике любая конструкция имеет экономное решение охлаждения воздуха (доказано, по крайней мере, до 37 КВт).
Выводы
Динамичный характер охлаждения ЦОД, возрастающие компьютерные возможности и, соответственно, увеличение плотности мощности в стойке и помещении представляют серьезную проблему. Современное IT-оборудование может увеличить мощность дата-центра до 750 Вт на квадратный фут, что гораздо повышает требования к охлаждению и расходы. До 2014 года ожидаемая плотность мощности составляет более 35 КВт (с воздушным охлаждением) на помещение.
Важно выбрать правильного партнера с развитой инфраструктурой и опытом для управления этими проблемами. Неправильное решение вероятно станет причиной больших эксплуатационных расходов и, что еще хуже, повышенного риска простоя.
Чтобы принять оптимальное решение, обязательно изучите подробные блок-схемы системы AiNET, сертифицированного TIA-942 Tier IV дата-центра и посетите его.
