Охлаждение ЦОД. Про охлаждение
 Скачать 25.79 Kb.
|
|
Про охлаждение Современные электронные компоненты с каждым годом работают все быстрее. Растут скорости, растет потребление и тепловыделение. Перегрев оборудования как бич современной электроники Каждый знает, что современная электроника работает от электрической силы. В таком устройстве есть либо батарейка, либо его нужно включать в розетку. И всех их объединяет ещё одна общая черта — они нагреваются. Например, современные телефоны активно выделяют тепло при выполнении ресурсоёмких задач: играх, записи видео высокого качества и т.д., а геймеры знают, что для бесперебойной работы их мощных компьютеров нужны большие и производительные кулеры. Электрический ток от источника питания проходит через микросхемы, состоящие в основном из полупроводников сложной структуры. Полупроводник – это некий материал, который частично проводит электрический ток, а частично нет. Его проводимость зависит от напряжения, температуры и других условий. Если взять несколько разных полупроводников и расположить их в три слоя, можно добиться неожиданного результата. Если подать напряжение на 1-ый и 3-ий слой, ток через такой “бутерброд” не протекает. А если же пустить совсем небольшой ток по 2-му слою, то между 1-ым и 3-им слоем ток начинает протекать почти беспрепятственно. Прибор, действующий по указанному принципу, называется транзистором. Сейчас его структура, разумеется, является более сложной, но правило осталось тем же — управление протеканием тока за счёт управляющего затвора. Этот эффект можно сравнить с водопроводным краном. Особое внимание в работе транзистора уделяют процессу перехода из закрытого состояния (ток не течёт) в открытое (ток течёт беспрепятственно). Здравый смысл подсказывает, что переход из одного состояния в другое не может быть моментальным, и занимает хоть и очень короткий, но всё же не нулевой отрезок времени. Именно в момент переключения между этими состояниями ток проходит плохо, что и вызывает нагрев транзистора. Современные процессоры работают на частотах до 4 ГГц, это означает, что транзисторы в процессоре совершают 4 000 000 000 переключений в секунду! И каждое такое переключение вызывает нагрев прибора. Именно по этой причине при разгоне процессора (оверклокинге) процесс нагрева проявляется особенно сильно. Для отвода тепла к поверхности процессора применяют радиатор с вентилятором. Вентилятор продувает рёбра радиатора холодным воздухом и отводит тепло, выделяемое процессором. Такой подход наиболее прост в использовании, поэтому он и получил массовое распространение. Необходимо отметить тот факт, что для корректной работы транзистора его температура должна оставаться низкой, иначе он начинает проводить электрический ток даже тогда, когда от него это не требуется. Получается, что чем быстрее процессор, тем больше он нагревается, и тем выше шанс того, что транзисторы внутри него будут работать некорректно. Такой эффект наблюдается, например, при оверклокинге и выражается в виде знаменитого “синего экрана смерти”. Когда процессор обнаруживает сбой в собственной работе, ОС останавливает его работу, а пользователю демонстрируется синий экран с информацией о текущем состоянии. Если продолжать эксплуатацию в таком режиме — высока вероятность того, что хотя бы один транзистор из нескольких миллиардов сломается. Это приведет к регулярным сбоям в работе и невозможности использовать такой процессор в дальнейшем. Именно поэтому так важно использовать хорошие системы охлаждения и эксплуатировать электронику в заданном температурном режиме. Охлаждение ЦОД(центр обработки данных).Воздушное и водяное. Относительная простота системы По сути, фреоновый кондиционер, как и домашняя сплит-система, состоит из двух половинок: собственно кондиционера, устанавливаемого в охлаждаемом помещении, и внешнего блока, который размещается на улице. Обычно в самом кондиционере расположены вентиляторы, охлаждающий воздух теплообменник (испаритель), компрессор и управляющая электроника. Дополнительно в кондиционере могут быть пароувлажнитель, поднимающий влажность воздуха до требуемой, воздушные фильтры, и т. д. Внешний блок прецизионного кондиционера устроен совсем просто: только теплообменник, отдающий тепло в окружающий его воздух, вентилятор, и автоматика, этим вентилятором управляющая. Соединяются кондиционер и его внешний блок парой медных трубок небольшого диаметра (обычно 15-20 миллиметров, редко больше), которые могут быть проложены даже в стесненных условиях. олная независимость кондиционеров друг от друга Если нужны несколько кондиционеров, они устанавливаются как независимые друг от друга агрегаты. Каждому кондиционеру – свой внешний блок с отдельными трубопроводами. Из этого свойства вытекают следующие дополнительные преимущества. Первое – высокая надежность резервированной системы: у нескольких кондиционеров, работающих в одном помещении, нет общих узлов и блоков, они полностью независимы, и, значит, нет единой точки отказа. Выход из строя одного кондиционера никак не влияет на работу остальных. Второе преимущество – простота расширения системы: во многих случаях для увеличения производительности системы в целом можно просто установить в этом же помещении еще один кондиционер. едостатки фреоновых систем Сравнительно малая допустимая энергетическая плотность ЦОД К сожалению, «удельная мощность одного кондиционера» получается не очень большой. Особенно, если рассматривать самый эффективный и популярный в настоящее время конструктив: компактные внутрирядные кондиционеры, устанавливаемые в рядах с серверными шкафами. Мощность в 15-20 кВт для корпуса шириной 600 мм (размером как обычный серверный шкаф) и не более 10-12 кВт для компактного 300-миллиметрового корпуса – практически предел для фреоновых машин. Есть отдельные экземпляры, мощность которых немного выше «средней по рынку», но это достигается уплотнением внутренней компоновки, как следствие – снижением ремонтопригодности аппарата. В итоге высокая мощность системы может быть достигнута только установкой большого количества кондиционеров: каждый со своим внешним блоком, со своими трубопроводами… Каждому внутреннему блоку должен соответствовать отдельный внешний блок Классический случай, когда достоинство оборачивается недостатком, переходя из количества в новое, но уже негативное, качество. Попробуйте представить, как будет выглядеть фасад вашего здания, если на нем повесить десять-пятнадцать внешних блоков (размер каждого, например, полтора на два метра). А шахта с тремя десятками труб? Комментарии к этой картине, пожалуй, излишни. Попытками «оптимизации» можно только усугубить проблему: существуют довольно жесткие ограничения по расстоянию от кондиционера до его внешнего блока. Типичное ограничение по длине трубок составляет 30-40 метров, редко больше, причем считается не настоящая длина, а «эквивалентная»: с учетом всех изгибов и поворотов. Поэтому равномерно распределить внешние блоки по большой площади не получится: они все равно будут создавать «толпу» около машинного зала ЦОДа. Малая гибкость системы В варианте охлаждения с подачей воздуха через фальшпол мощность одного кондиционера может достигать величин в 200 и более кВт, это уже довольно крупный агрегат, размером в несколько метров и весом в пару-тройку тонн. С мощностью порядок, но как ее регулировать? У фреоновой холодильной машины есть такой параметр, как минимальная нагрузка: если 100-киловаттный кондиционер заставить удалять из ЦОД всего 5 кВт тепла, то он просто не справится с этой задачей. Слишком маленькая тепловая нагрузка не сможет испарять то количество фреона, которое достаточно для нормальной работы цикла работы холодильной машины. Производители идут на разные ухищрения, чтобы побороть эту проблему, например, оснащают кондиционеры встроенными нагревателями, которые «донагружают» кондиционер дополнительным теплом. Получается абсурдная ситуация: чтобы охладить воздух – надо сначала нагреть воздух, потратив электричество не только на охлаждение, но и на нагрев. Что подводит нас к следующему недостатку фреоновых систем. Отсутствие фрикулинга Кроме того, что фреоновый кондиционер потребляет много электроэнергии – следует отметить тот факт, что он потребляет ее постоянно. Круглый год. А если на улице зима и кругом полным-полно «бесплатного» холодного воздуха – фреоновый кондиционер может потреблять еще больше электричества, потому что он вынужден подогревать свой внешний блок, «чтобы не замерз». Увы, нет никаких возможностей для экономии за счет природы. Преимущества водяных систем Рассмотрев фреоновые кондиционеры, обратим свой взгляд на более сложный и дорогой вариант: водяную систему. Здесь уже трудно говорить об отдельных кондиционерах (представить себе одинокий водяной кондиционер можно, но сложно), будем рассматривать систему из нескольких аппаратов, работающих сообща. Начнем опять с преимуществ. Фрикулинг и энергоэффективность Основная причина существования водяных кондиционеров в ЦОДе – это, конечно же, высокая экономическая эффективность, обусловленная как высокой эффективностью системы в целом, так и возможностью «бесплатного» использования «уличного холода» в течение нескольких месяцев в году. В условиях средней полосы России даже типовая система с водяными кондиционерами, работающая в «обычном» температурном режиме и не «заточенная» специально под высокую энергоэффективность, позволяет «бесплатно» охлаждать ИТ-оборудование в течение 4-5 месяцев (когда температура воздуха на улице отрицательная). С применением некоторых технологических хитростей период работы фрикулинга можно увеличить до 7-8 месяцев. Потребление электроэнергии системой кондиционирования в режиме фрикулинга крайне невелико. Например, 100-киловаттная система будет потреблять около 1 кВт на насосы, перекачивающие теплоноситель, приблизительно 3 кВт на вентиляторы, обдувающие теплообменник на улице, и около 12 кВт съедят вентиляторы в кондиционерах. Итого, «условный КПД» составляет приблизительно 600%, а не 200, как у фреоновых систем. Возможность выбора Вспомним, что является источником холода для водяного кондиционера: очень обобщенно говоря – это «труба с холодной водой» (кстати, хоть мы и говорим «вода», в нашем климате под этим словом обычно подразумевается незамерзающая смесь, антифриз). Если система построена правильно, от потребления воды одним аппаратом работа всех остальных кондиционеров никак не зависит. Следствием этого является принципиальная возможность организовать систему таким образом, чтобы «на одной трубе сидели» и мощные кондиционеры для машинного зала ЦОД, и менее производительные кондиционеры для зоны ИБП, и совсем небольшие аппараты для вспомогательных помещений – таких, как электрощитовая, коммутационная, и т. п. Небольшое количество «внешних блоков» А откуда в этой трубе, собственно, появляется холодная вода? Воду охлаждает холодильная машина, «чиллер». По принципу действия чиллер очень похож на фреоновый кондиционер, только охлаждает он не воздух, а жидкий теплоноситель. А сколько должно быть в системе чиллеров? Сколько угодно, начиная от одного. Да-да, если мощность холодильной машины достаточна для работы всех кондиционеров, то машина может быть всего одна на любое число кондиционеров. Правда, обычно чиллеров все-таки несколько. Это делается для повышения гибкости, надежности и обеспечения поэтапного развития системы. Но два, три, пять чиллеров – это не десяток, два, или более внешних блоков. ЦОД не похож на елку, увешанную игрушками – и это хорошо. Простое обнаружение протечек и оперативный ремонт магистралей Как можно обнаружить, что вода уходит из трубы? По падению давления в системе. А как найти место утечки? Визуально! В большинстве случаев не нужны приборы – течеискатели, нет необходимости отключать систему и проводить длительный поиск места утечки. Более того, при наличии оборудования аварийной подпитки водяная система кондиционирования при незначительных утечках может функционировать достаточно долго, чтобы ремонт из экстренного превратился в плановый. Методика ремонта, кстати, зависит от выбранного материала трубопроводов, и в некоторых случаях он возможен без отключения системы. А если предусмотреть резервные трубопроводы, то никакая протечка не станет губительной и не приведет к остановке ЦОДа. Да, в чиллере есть фреон, и он тоже может улетучиться. Но чиллер является комплектным устройством, которое приходит с завода заправленным фреоном и маслом, поэтому вероятность утечки не очень велика. Иммерсионное охлаждение высокой мощностиравнительно недавно получили популярность технологии иммерсионного охлаждения. Разработки на эту тему велись давно, так как сама технология уже не нова, однако сейчас её востребованность растёт необычайными темпами. Слово «иммерсионное» означает «погружное». Это значит, что вся электроника, все платы сервера, процессор, видеокарты, блоки питания и жёсткие диски полностью погружены в жидкость. Естественно, что эта жидкость диэлектрик и не проводит ток — иначе работа электроники была бы невозможна. При дальнейшем анализе предлагаемых решений становится ясно, что иммерсионное охлаждение бывает разным, с фазовым переходом и без. Эти типы охлаждения отличаются не только своим физическим принципом, но и обладают существенными различиями при эксплуатации. Жидкость Novec компании 3M для двухфазного охлаждения, в противовес минеральному маслу, используется относительно недавно. Она тоже не проводит электрический ток и обладает низкой теплоёмкостью. Удивительно, но эффект охлаждения с её помощью достигается за счёт кипения. Перейдем к двухфазному иммерсионному охлаждению жидкостью Novec. Очень часто можно услышать, что она дорогая, очень летучая, легко испаряется и т.д. Конечно же это так, ведь принцип её действия совершенно иной. При нагреве этой жидкости выше 61°С происходит её испарение. Однако, при этом с ней не происходит ни нагрева, ни охлаждения. При прогревании всего объёма жидкости после запуска по достижении ею 61°С температура просто не повышается. Это кажется абсурдным, однако, это так. Процесс испарения (кипения) сам по себе является очень энергозатратным. Пожалуй, этот процесс можно сравнить с ощущениями человека, который купается летом и выходит из воды. В воде ему тепло, а на ветру становится холодно. Причина этого явления — испарение воды с поверхности тела. Схожим образом Novec испаряется с горячих поверхностей микросхем и забирает с собой часть тепла. Для испарения 1 г Novec потребуется около 120 Дж. Это значит, что видеокарта 200 Вт испарит за 1 секунду около 2 г жидкости. А за минуту — всего 120 г. Эффективность отвода тепла за счет кипения крайне высока, а размер радиатора для отвода 200 Вт тепла может составлять всего 3-4 см2. Фактически, радиатор практически не нужен. Как и минеральному маслу, данной системе требуется охлаждение жидкости. Для этого вы можете подливать 120 г жидкости из огромной цистерны каждую минуту. С другой стороны, при стоимости жидкости около 100 $ за литр такая цистерна выходит очень-очень дорогим решением. Поэтому совершенно естественно пойти другим путём — организовать замкнутый цикл с внешним охладителем. Конденсация паров жидкости Испарение — это переход вещества из жидкого состояния в газообразное. То есть получается, что Novec после закипания не исчезает без следа, а становится газом, который скапливается над поверхностью жидкости в виде тумана. Что, если этот туман охладить? Установим внутри несколько труб и пустим по ним холодную воду. Газ начнет на них конденсироваться и образовывать капли, которые объединятся в струи жидкости и стекут обратно. Таким образом, Novec никуда не будет уходить и останется внутри системы без каких-либо потерь. Процесс конденсации является полной противоположностью испарению, здесь всё происходит в обратном порядке. Что касается энергии, то её необходимо забирать у газа ровно в том же объеме, что и при испарении. Естественно, холодные трубы будут нагреваться, а мощность нагрева будет ровно такая, которая выделялась видеокартами при кипении. Для эффективной работы системы двухфазного иммерсионного охлаждения нам нужно постоянно охлаждать трубы. Самое простое и эффективное решение — пустить по ним воду, которая будет охлаждаться радиатором, расположенным на улице. По сравнению с минеральным маслом это выглядит намного проще. Ведь теплоёмкость воды в два раза больше, а объём циркуляции в минуту меньше. Плюс, вязкость воды существенно ниже, и, значит, насос без труда прокачает больший объем воды за единицу времени. Эти факторы позволят использовать более маленький радиатор на улице, более тонкие трубы и менее мощный насос — по сравнению с тем же самым минеральным маслом. Прогресс не стоит на месте, уже очевидно, что будущее индустрии — за эффективным иммерсионным охлаждением, а не за воздушным. Остается лишь сделать выбор между сложным и безопасным решением, или более доступным, но рискованным. |