Оптимізація ефективності центру обробки даних: глибоке занурення в методи вільного охолодження

У попередній статті ми обговорювали швидке розширення інфраструктури центру обробки даних і збільшення споживання електроенергії, до якого це призвело. Оскільки під час роботи сервери перетворюють електроенергію на тепло, керування високими температурами й охолодження як засобів, так і обладнання центру обробки даних стає проблемою номер 1 для команд DC.

У той час як традиційні методи охолодження, включаючи кондиціонери та чиллери, ефективно охолоджують приміщення центрів обробки даних і сервери, їхня дороговизна залишається істотним недоліком. На відміну від традиційних методів, вільне охолодження не вимагає значних капіталовкладень, але забезпечує той самий рівень ефективності та надійності. У цій статті я зроблю детальний огляд технології вільного охолодження, виділяючи її переваги, обмеження та вимоги для успішного впровадження.

Фізика вільного охолодження

Щоб зрозуміти фізику вільного охолодження, нам потрібно буде переглянути формулу теплової енергії:

Q = mcΔT

Тут «Q» означає кількість отриманого або втраченого тепла, «m» означає масу зразка (у нашому випадку це маса повітря в центрі обробки даних), «c» позначає питому теплоємність повітря, і ΔT означає різницю температур.

У центрі обробки даних основним джерелом тепла є ЦП. Як правило, існує від 2 до 4 процесорів, кожен з яких працює приблизно на 200 Вт. Як обговорювалося раніше, уся електрична енергія, споживана процесорами, перетворюється на тепло. Тому, наприклад, з 2 процесорами ми генеруємо 400 Вт тепла, яке потрібно розсіяти. Тепер наша мета — визначити необхідну для цього кількість повітря.

Параметр ΔT, або різниця температур, вказує на те, що чим нижча температура зовнішнього повітря, тим менше повітря потрібно для охолодження ЦП. Наприклад, якщо температура повітря на вході становить 0°C, а температура на виході — 35°C, ΔT становитиме лише 35, що означає досить нижчу вимогу до маси повітря. Однак протягом літнього сезону охолодження стає більш складним через підвищення температури навколишнього середовища. Чим вища зовнішня температура, тим більше повітря буде потрібно для охолодження серверів.

Температурні обмеження компонентів сервера та мережі

Хоча вільне охолодження може бути ефективним для помірного та холодного клімату, воно все ще має обмеження через температурні обмеження компонентів сервера. Критичні компоненти ІТ-обладнання та мережевого обладнання, як-от процесори, оперативна пам’ять, жорсткі диски, твердотільні накопичувачі та накопичувачі NVMe, мають вимоги до робочої температури:

• Процесори: макс. 89°C
• RAM: макс. 75°C
• HDD: макс. 50°C
• SSD та накопичувачі NVMe: макс. 47-48°C

Ці обмеження безпосередньо впливають на придатність температури зовнішнього повітря для охолодження. Вільне охолодження не буде життєздатним у регіонах, де температура зовнішнього повітря перевищує ці порогові значення або навіть наближається до них, оскільки це може пошкодити систему через перегрів. Регіональні обмеження

Як ми вже пояснювали, зовнішня температура має постійно залишатися нижчою за максимальну робочу температуру ІТ-обладнання, щоб вільне охолодження було ефективним. Це вимагає ретельного розгляду кліматичних умов розташування DC. Організації повинні аналізувати довгострокові прогнози погоди, щоб переконатися, що температури не перевищують необхідні порогові значення навіть у певні дні чи години. Крім того, враховуючи тривалий термін служби центрів обробки даних (зазвичай 10-15 років), наслідки глобального потепління також слід враховувати при виборі місця розташування.

Вимоги до архітектури серверного вузла

У контексті фізики досягнення ефективного охолодження серверів залежить від забезпечення достатнього потоку повітря через систему. Важливу роль у цьому процесі відіграє архітектура сервера.

І навпаки, сервери без відповідних конструктивних особливостей, таких як перфорація або отвори, можуть перешкоджати потоку повітря, потенційно погіршуючи загальну ефективність механізму вільного охолодження.

Контроль вологості

Рівень вологості є ще одним критичним моментом, коли мова йде про вільне охолодження. Оскільки нам не вистачає контролю над умовами зовнішньої вологості, виникають два відповідних запити: по-перше, звертатися до рівня вологості, що наближається або перевищує 100% у центрі обробки даних (DC); по-друге, звернення до сценаріїв дуже низької вологості повітря, наприклад, у морозний лютневий день із зовнішньою температурою -30°C і відносною вологістю від 2% до 5%. Давайте систематично розглянемо ці ситуації.

В умовах підвищеної вологості існує загальне занепокоєння щодо можливого виникнення конденсату та його негативного впливу на функціональність обладнання. Всупереч цьому занепокоєнню, у зонах повторного охолодження DC, де відбувається процес охолодження, конденсація виключена. Це пов’язано з принципом утворення конденсату, коли тепле вологе повітря контактує з холоднішими поверхнями. Однак у системі вільного охолодження DC жоден елемент не є холоднішим за навколишнє повітря. Отже, конденсація за своєю суттю перешкоджає, усуваючи потребу в профілактичних заходах.

Навпаки, коли мова йде про низьку вологість, побоювання зміщується в бік генерації статичної електрики, що створює загрозу для стабільності обладнання. Ця проблема не пов’язана з конденсатом, але потребує окремого вирішення. Пом’якшення передбачає процедури заземлення та нанесення спеціального покриття для підлоги. Ці заходи відповідають встановленим методам захисту внутрішнього обладнання від статичної електрики. Завдяки заземленню елементів конструкції, стелажів та ІТ-обладнання статичний заряд нешкідливо розсіюється на землю, зберігаючи цілісність обладнання.

У природному кліматі випадки надзвичайно високої або низької вологості трапляються рідко. Помітні винятки включають рідкісні події, такі як гроза, яка досягає 100% вологості в липні, або сильний мороз, що спричиняє дуже низьку вологість. Однак протягом більшої частини часу рівні вологості залишаються в допустимих межах, що не завдає шкоди обладнанню, навіть за відсутності активних втручань.

Кількість і швидкість повітря

Як ми вже обговорювали, для забезпечення ефективного охолодження нам потрібен значний об’єм зовнішнього повітря. Водночас виникає, здавалося б, нерозумна вимога – підтримувати низький потік повітря всередині будівлі. Цей очевидний парадокс пов’язаний із проблемами, пов’язаними з високошвидкісними повітряними потоками, що циркулюють усередині.

Щоб спростити, уявіть високу повітряну швидкість як потужний потік із труби, що створює завихрення та турбулентність навколо ІТ-обладнання. Ця турбулентність потенційно призводить до нерегулярних рухів повітря та локального перегріву. Щоб вирішити цю проблему, ми стратегічно націлені на загальну низьку повітряну швидкість 1-2 метри на секунду в усьому космосі.

Підтримання цієї контрольованої швидкості повітря дозволяє нам усунути турбулентність. Вища швидкість може призвести до нерівномірності руху повітря. Дотримуючись діапазону 1-2 метри на секунду, ми забезпечуємо плавний рівномірний потік повітря, уникаючи локального перегріву. Цей делікатний баланс забезпечує оптимальне охолодження ІТ-обладнання, обходячи пастки, пов’язані з високошвидкісними потоками повітря.

Як можна побачити, підхід до вільного охолодження обертається навколо ефективного використання зовнішнього повітря, водночас віддаючи пріоритет контрольованій низькій внутрішній швидкості повітря. Ця продумана стратегія допомагає підтримувати ламінарний і рівномірний потік повітря, забезпечуючи ефективне охолодження ІТ-обладнання.

Концепція будівництва

У парадигмі вільного охолодження традиційні повітроводи не використовуються в конструкції будівлі. На відміну від звичайних установок із виділеними повітроводами в стінах, стелях або в окремих зонах, центри обробки даних використовують нетрадиційний підхід. Сама будівля задумана як повітропровід, що робить традиційні кондиціонери застарілими. Великі розміри цих повітропроводів перетворюють їх на невід’ємні компоненти кімнат і підлог.

Процес повітряного потоку починається, коли зовнішнє повітря потрапляє в будівлю, проходячи через два типи фільтрів – фільтри грубої очистки та фільтри тонкого очищення. Після того, як повітря проходить процес очищення, воно направляється вентиляторами у великі об’єми будівлі, приблизно еквівалентні чотирьом поверхам у висоту. Цей значний об’єм служить для власної мети: уповільнювати повітряний потік, зменшуючи його швидкість до необхідного діапазону 1-2 метрів на секунду. Згодом повітря опускається до машинного відділення.

Після проходження машинного відділення повітря продовжує свою подорож через ІТ-стійки, просуваючись у гарячий коридор. Звідти він потрапляє в колектор гарячого повітря, а потім викидається назовні через витяжні вентилятори. Цей структурований шлях повітряного потоку забезпечує ефективний процес охолодження, зберігаючи контрольовану швидкість повітря.

Повітряна швидкість і об'єм

Навмисний вибір проекту використання великих будівельних об’ємів служить подвійній меті. Перш за все, це дозволяє поступово зменшувати швидкість повітря, гарантуючи, що повітряний потік досягає бажаної швидкості 1-2 метри на секунду. Ця контрольована швидкість повітря необхідна для запобігання турбулентності та підтримки ламінарного потоку, особливо важливого, коли повітря просувається через чутливе ІТ-обладнання. По-друге, значний об’єм вміщує необхідний об’єм повітря для ефективного розсіювання виробленого тепла. Синхронізована взаємодія повітряної швидкості та обсягу сприяє загальному успіху системи.

Диференціальний тиск як єдиний рушійний фактор керування

У налаштуваннях вільного охолодження ми не можемо контролювати температуру зовнішнього повітря, що призводить до коливань температури повітря, що надходить до центру обробки даних (DC). Незважаючи на це, оцінка необхідного повітряного потоку для охолодження обладнання є важливою. Щоб вирішити це, ми покладаємося на метод диференціального тиску.

У кожній ІТ-стійці сервери з внутрішніми вентиляторами працюють з різною швидкістю, спільно створюючи різницю тиску між передньою та задньою сторонами стійки. Завдяки численним серверам, кожен з яких сприяє загальному потоку повітря, ця різниця тиску поступово накопичується між холодним і гарячим проходами. Використовуючи датчики тиску в обох проходах і поза будівлею DC, ми можемо виміряти цей перепад тиску.

Розрахунок передбачає віднімання даних датчика тиску в гарячому проході від атмосферного тиску та віднімання даних датчика тиску в холодному проході від атмосферного тиску. Таким чином, як у прикладі нижче:

Приклад реального світу

Потім отримані значення скеровують нас у визначенні необхідної подачі повітря до DC і необхідної витяжки для компенсації роботи серверних вентиляторів. Простіше кажучи, ми вимірюємо наші потреби в потоці повітря на основі різниці тиску, що дозволяє нам ефективно керувати процесом охолодження в DC.

Камера нагріву та змішування

Традиційні системи опалення зазвичай не впроваджуються в дата-центрах із природним охолодженням. Використання води вважається нераціональним через вартість і потенційні ризики для обладнання. Це є проблемою під час сильних холодів, коли надворі досягає -20–30 градусів. У той час як обладнання справляється з цим добре, інженери шукають більш м’який підхід. Найбільш елегантним і логічним рішенням тут є повторне використання гарячого повітря, створюваного ІТ-обладнанням. Направляючи гаряче повітря від серверів в камеру змішування, а частину повертаючи в основний повітряний потік, система зберігає тепло в приміщенні взимку і дозволяє економити витрати на опалення.

Простота і надійність

Ключова теза в теорії надійності стверджує, що простота породжує надійність. Це стосується системи вільного охолодження, яка є надзвичайно простою концепцією. Система функціонує як барикада, пропускаючи повітря ззовні через фільтри, пропускаючи його через ІТ-обладнання, а потім просто видаляючи його.

Відсутність складних систем підвищує надійність, лише вентилятори становлять уразливість у жарку погоду. Підхід вільного охолодження є прикладом радикального спрощення системи, суттєво покращуючи надійність за рахунок зменшення кількості елементів.

Фанати DC проти фанатів сервера

Ієрархічний авторитет вентиляторів є ще одним фундаментальним питанням у динаміці повітряного потоку в DC. Як ми вже обговорювали, існують великі фанати на рівні DC і на рівні сервера. Виникає питання: чи вентилятори центру обробки даних просто подають повітря, залишаючи вентиляторам сервера споживати стільки, скільки потрібно? Або попит походить від фанатів серверів, що змушує фанатів DC виконувати їхні вимоги?

Механізм такий: серверні вентилятори відіграють домінуючу роль у цьому процесі, визначаючи необхідний потік повітря. Згодом вентилятори постійного струму реагують, подаючи необхідний об’єм повітря. Стає очевидним, що якщо сукупний попит від усіх серверів перевищує потужність постачання вентилятора постійного струму, це може призвести до потенційного перегріву.

Отже, відповідь полягає в тому, що фанати серверів мають першість у цій динаміці. Вони регулюють потік повітря, вказуючи необхідну кількість повітря.

Ефективність і Розрахунок ПУЕ

Для оцінки ефективності проекту DC традиційно використовується розрахунок ефективності використання електроенергії (PUE). Формула PUE – це відношення загальної потужності об’єкта до потужності ІТ-обладнання:

PUE = Загальна потужність об'єкта / Потужність ІТ-обладнання

В ідеалі він дорівнює 1, що означає, що вся енергія спрямовується на ІТ-обладнання без будь-яких втрат. Однак досягнення такого ідеального сценарію рідко зустрічається в реальних проектах.

Інша проблема виникає, коли ми намагаємося встановити чітку методологію для обчислення ефективності енергоспоживання (PUE). Так, наприклад, в нашій системі є метрика, яка вказує миттєве споживання електроенергії у ватах, що дозволяє розраховувати PUE в режимі реального часу.

Крім того, ми можемо отримати середній PUE за річний період, який пропонує більш повну оцінку з урахуванням сезонних коливань. Це особливо важливо, враховуючи різницю у споживанні енергії між сезонами; наприклад, невідповідність потреб у охолодженні між літніми та зимовими місяцями. Це означає, що якщо ми хочемо отримати більш надійну оцінку, нам потрібно визначити пріоритетність середньорічної оцінки, що забезпечує більш збалансовану та повну оцінку.

Також важливо досліджувати ПУЕ не лише в енергетичних, а й у грошових одиницях, враховуючи тим самим сезонні коливання цін на електроенергію. Оцінка PUE у грошовому еквіваленті дає більш цілісну перспективу операційної ефективності.

Крім того, цей підхід відкриває можливості для досягнення значення PUE менше 1, якщо виміряти його в доларах. Це стає можливим, наприклад, коли ми використовуємо відпрацьоване тепло для підігріву води і продаємо його далі в найближчі міста. Варті уваги приклади, такі як дата-центр Google у США та об’єкт Яндекса у Фінляндії, демонструють життєздатність такої практики, особливо в регіонах з високою вартістю електроенергії.

Ефективність проти надійності

Занепокоєння скороченням витрат і підвищенням ефективності часто викликає питання про потенційний негативний вплив на надійність. Однак я хотів би підкреслити, що при вільному охолодженні гонитва за ефективністю не ставить під загрозу надійність. Натомість його технологічні побічні ефекти можуть навіть підвищити ефективність. Наприклад, як ми вже обговорювали, перенаправлення надлишкового тепла на теплові насоси для отримання додаткових переваг, таких як генерація гарячої води для сусідніх міст, стає фінансово вигідною практикою без шкоди для надійності.

Майбутнє вільного охолодження

Незважаючи на всі переваги вільного охолодження, індустрія центрів обробки даних все ще керується консервативним підходом і вимагає перевіреної надійності з тенденцією протистояти інноваційним рішенням. Покладення на сертифікати таких організацій, як Uptime Institute для маркетингу створює ще одну перешкоду для рішень вільного охолодження, оскільки вони не мають встановленої сертифікації, що змушує комерційних постачальників дивитися на них скептично.

Тим не менш, серед корпоративних гіперскейлерів існує тенденція використовувати вільне охолодження як основне рішення для своїх DC. Оскільки все більше компаній визнають економічну ефективність і експлуатаційні переваги цієї технології, ми очікуємо, що в найближчі 10-20 років з’явиться більше центрів обробки даних без корпоративного охолодження.