Back Ко всем статьям

ЦОД: устройство, инженерные системы и принципы работы

ЦОД: устройство, инженерные системы и принципы работы

ЦОД — специализированный объект для размещения серверов, систем хранения данных и сетевого оборудования. В отличие от обычной серверной, центр обработки данных располагает собственной инженерной инфраструктурой: резервным электроснабжением, охлаждением, каналами связи, системами пожарной и физической безопасности, а также круглосуточным мониторингом. Серверы в ЦОД работают, пока работают питание, охлаждение и связь.

Содержание:

Что такое ЦОД простыми словами

Центр обработки данных представляет собой здание или специализированный комплекс помещений, созданный для непрерывной работы вычислительного оборудования. В машинных залах устанавливают серверные стойки, системы хранения данных, коммутаторы, маршрутизаторы и другое оборудование клиентов или владельца площадки.

Главное отличие ЦОД от комнаты с серверами — инженерная инфраструктура. Если пропадет внешнее электричество, питание поддерживают источники бесперебойного питания и резервные генераторы. При отказе одного элемента системы охлаждения нагрузку могут принять резервные агрегаты, если такая схема предусмотрена проектом.

Расшифровка: ЦОД, дата-центр, data center

Аббревиатура ЦОД расшифровывается как «центр обработки данных». Термин «дата-центр» происходит от английского data center и используется как равнозначное название.

В технических и официальных материалах чаще встречается «центр обработки данных». В коммерческих описаниях распространены оба варианта.

Чем ЦОД отличается от серверной в офисе

Серверная может быть достаточно надежной, однако обычно она является частью офисного здания и зависит от его инженерных систем. ЦОД проектируют специально для размещения вычислительной инфраструктуры.

ПараметрОфисная сервернаяЦОД
ЭлектропитаниеОт сети зданияВыделенная схема с резервированием
ОхлаждениеЛокальные кондиционерыСпециализированная климатическая система
Контроль доступаОбщий для всего офисаМногоуровневый контроль доступа
Каналы связи1–2 оператораНесколько операторов, разные точки ввода
ПерсоналСистемные администраторы компанииСпециалисты по ИТ и инженерным системам
Стоимость входаНизкаяВысокая при строительстве, низкая при аренде
МасштабированиеОграничено помещениемДобавляют стойки и мощность по договору
Резервирование инженерных системКак правило, отсутствуетN+1 или 2N по питанию и охлаждению

ЦОД, облако и хостинг: в чем разница

ЦОД — физическая инфраструктура, в которой находится оборудование. Облачная инфраструктура — вычислительные ресурсы по запросу. Гипервизор делит физические серверы на виртуальные машины, а платформа управления выдает их клиентам через портал или API.

Хостинг — услуга по размещению сайтов, приложений или серверов на инфраструктуре провайдера. Хостинговая компания может эксплуатировать собственный ЦОД или арендовать мощности у другого оператора.

Поэтому облако и хостинг не являются альтернативным названием дата-центра. Они используют вычислительную инфраструктуру, которая физически где-то размещена.

Зачем нужен дата-центр

ЦОД создает контролируемые условия для работы критичного ИТ-оборудования. Бизнес получает электроэнергию, охлаждение, сетевую связность, физическую защиту и возможность резервирования основных инженерных систем.

Централизация также упрощает эксплуатацию. Серверы, системы хранения и сетевое оборудование размещаются в подготовленном помещении, где параметры среды и состояние инфраструктуры постоянно контролируются.

Какие задачи бизнеса он решает

На площадке ЦОД можно размещать:

  • корпоративные системы: ERP, CRM, 1С, почта;
  • базы данных и системы хранения;
  • виртуальную инфраструктуру и VDI;
  • сайты и интернет-сервисы;
  • резервные копии и площадку аварийного восстановления.

Для распределенного бизнеса дата-центр может стать центральной площадкой, к которой подключаются филиалы и удаленные сотрудники.

Кому нужен ЦОД, а кому хватит серверной

Собственная серверная подходит, если оборудования немного, требования к непрерывности умеренные, а компания способна самостоятельно обеспечить приемлемые условия эксплуатации.

Размещение в ЦОД становится более оправданным, когда простой ИТ-сервисов непосредственно влияет на работу бизнеса, требуется резервирование электропитания и связи, быстро растет количество оборудования или необходимо обеспечить высокий уровень физической защиты.

Строить собственный дата-центр требуется далеко не всегда. Даже крупная компания может использовать коммерческий ЦОД, если владение инженерной площадкой не относится к ее основным задачам.

Как устроен центр обработки данных

ЦОД состоит из вычислительного оборудования и комплекса обеспечивающих инженерных систем. Серверы не смогут работать стабильно без питания, отвода тепла, сетевой связи, противопожарной защиты и постоянного контроля состояния инфраструктуры.

Здание и машинный зал

В машинных залах устанавливают серверные шкафы и стойки. Планировка должна учитывать распределение нагрузки на перекрытия, прокладку силовых и сетевых кабелей, подачу охлажденного воздуха и обслуживание оборудования.

Стойки располагают так, чтобы организовать предсказуемое движение воздушных потоков. Распространенная схема предусматривает чередование холодных и горячих коридоров: оборудование забирает холодный воздух с одной стороны и выбрасывает нагретый с другой.

В крупных ЦОД отдельные помещения выделяют под электротехническое оборудование, аккумуляторные системы, сетевые узлы, склад запасных компонентов и инженерные установки.

Электроснабжение и резервное питание

Серверное оборудование чувствительно даже к кратковременным нарушениям питания. Поэтому между внешней сетью и ИТ-нагрузкой устанавливают источники бесперебойного питания.

При пропадании внешней сети ИБП мгновенно переходит на питание от аккумуляторов. Одновременно запускается дизель-генераторная установка (ДГУ): она выходит на рабочий режим за десятки секунд. После этого устройство автоматического ввода резерва (АВР) переключает нагрузку на генератор. Аккумуляторы рассчитывают с запасом на это время, топливо для ДГУ — на часы или сутки автономной работы.

Степень резервирования обозначают формулами. N — ровно столько оборудования, сколько нужно для нагрузки. N+1 — один запасной элемент: например, 4 ИБП там, где хватило бы 3. 2N — две полностью независимые системы, каждая способна держать всю нагрузку.

Архитектура может включать несколько независимых линий питания. Серверы с 2 блоками питания подключают к разным линиям, чтобы отказ одного пути не обязательно приводил к остановке оборудования.

Резервирование само по себе не гарантирует непрерывность. Если обе линии зависят от общего незащищенного элемента, его отказ способен отключить сразу несколько ветвей.

Охлаждение и микроклимат

Практически вся электроэнергия, которую потребляют серверы, превращается в тепло, которое необходимо непрерывно отводить. Перегрев повышает риск сбоев и может привести к аварийному отключению оборудования.

Тепло из зала забирают прецизионные кондиционеры. Они работают на фреоне или на охлажденной воде, которую готовят чиллеры. В холодное время года часть установок охлаждает воздух или воду наружным воздухом без работы компрессора — это фрикулинг, он снижает энергопотребление. Схему охлаждения выбирают по мощности объекта, климату, плотности оборудования и требованиям к резервированию.

Контролируются не только температура, но и влажность, состояние воздушных потоков и работа климатического оборудования. При высокой плотности вычислений могут применяться более эффективные способы теплоотвода, включая жидкостное охлаждение.

Эффективность площадки оценивают коэффициентом PUE — отношением всей потребляемой мощности к мощности ИТ-оборудования. Чем ближе PUE к 1, тем меньше энергии уходит на охлаждение и потери.

Сеть и каналы связи

ЦОД должен обеспечивать связь серверов друг с другом, с корпоративными сетями и интернетом. Для этого используются маршрутизаторы, коммутаторы, оптические линии и оборудование операторов связи.

Надежная площадка не должна зависеть от одного физического маршрута передачи данных. Поэтому применяют несколько каналов и, когда это необходимо, разные точки ввода линий связи.

Наличие 2 операторов само по себе не гарантирует независимость. Их кабели могут проходить через один коллектор или общий узел, поэтому при выборе площадки важно оценивать физическое разнесение маршрутов.

Пожарная безопасность

В ЦОД устанавливают системы раннего обнаружения пожара, сигнализацию и средства пожаротушения. Аспирационные извещатели прокачивают воздух из зала через датчик и замечают дым на стадии тления изоляции. В машинных залах обычно применяют газовое пожаротушение: газ вытесняет кислород или прерывает реакцию горения и не повреждает оборудование, в отличие от воды.

Пожарная защита охватывает не только машинные залы. Источниками риска также могут быть аккумуляторные, электрические установки, кабельные трассы и вспомогательные помещения.

Физическая безопасность и контроль доступа

Доступ к оборудованию ограничивают по зонам. В дата-центрах применяют электронные пропуска, видеонаблюдение, охранную сигнализацию, шлюзовые кабины и другие средства в зависимости от уровня защиты объекта.

Для коммерческого ЦОД особенно важно разделение оборудования разных клиентов. Серверы могут находиться в отдельных стойках, закрытых шкафах или изолированных клетках.

Физическая безопасность включает и процедуры: регистрацию посетителей, сопровождение, учет работ и контроль доступа технического персонала.

Мониторинг и управление

Инженерные системы контролируются круглосуточно. Диспетчеризация собирает сведения об электропитании, температуре, охлаждении, состоянии ИБП, генераторов и других компонентов.

Системы диспетчеризации здания (BMS) и управления инфраструктурой ЦОД (DCIM) помогают обнаружить отклонение до того, как оно приведет к остановке серверов. Для ИТ-оборудования применяются отдельные средства сетевого мониторинга.

Одного сбора показателей недостаточно. Для аварийных событий должны быть определены пороги, оповещения, ответственные сотрудники и порядок действий.

Кто работает в ЦОД

Эксплуатацией занимаются несколько групп специалистов. Инженеры отвечают за энергоснабжение, охлаждение и другие системы здания, сетевые специалисты — за связность, а администраторы — за серверную инфраструктуру.

ГОСТ Р 58812-2020 требует выделить диспетчерскую службу в отдельное подразделение или передать эти задачи подрядчику. Диспетчерская служба организует работу дежурной смены, контролирует состояние объекта и запускает процедуры оповещения и эскалации при отклонениях.

Часть работ выполняют специалисты производителей оборудования и сервисных подрядчиков — по договору на техническое обслуживание и ремонт.

Какие бывают ЦОД

Дата-центры различаются по владельцу, назначению, размеру и способу строительства. Архитектура определяется задачами и требованиями к размещаемой инфраструктуре.

По принадлежности: корпоративные, коммерческие, государственные

  • Корпоративный ЦОД принадлежит организации и обслуживает ее собственные системы. Такой вариант дает высокий уровень контроля, но требует капитальных вложений и собственной эксплуатации.
  • Коммерческий ЦОД предоставляет площади, стойки, питание, связь и другие услуги сторонним клиентам. Один объект может обслуживать множество компаний.
  • Отдельно выделяют государственные ЦОД. Формально это корпоративные площадки органов власти, но к ним предъявляют особые требования: информационные системы в них аттестуют по приказам ФСТЭК №17 и №21.

По исполнению: капитальные, модульные и контейнерные, периферийные

  • Капитальный ЦОД размещается в специально построенном или подготовленном здании. Такая схема позволяет создавать крупные площадки и заранее проектировать инженерные системы.
  • Модульный ЦОД собирается из стандартизированных блоков, которые можно добавлять по мере роста нагрузки. Контейнерные решения размещают оборудование и инженерные системы в готовых транспортабельных модулях.
  • Периферийные, или edge-ЦОД, располагают ближе к месту возникновения и потребления данных. Это позволяет уменьшить задержку для сервисов, которым важна близость вычислительных ресурсов к пользователям или оборудованию.

Уровни надежности Tier I–IV

Классификация Tier, разработанная Uptime Institute, описывает возможности инженерной инфраструктуры ЦОД. Уровни идут от Tier I до Tier IV и различаются требованиями к резервированию, обслуживанию без остановки и устойчивости к отдельным отказам.

Кроме Tier есть стандарт ANSI/TIA-942 с уровнями Rated 1–4. В России действует серия национальных стандартов ТК 120: ГОСТ Р 58811-2020 описывает стадии создания инженерной инфраструктуры, ГОСТ Р 58812-2020 — процессы ее эксплуатации. Уровней надежности по образцу Tier они не вводят.

Сравнение уровней

УровеньЧто зарезервированоПлановое обслуживаниеОдиночный отказДля каких задач
Tier IНичегоОстанавливает ИТ-нагрузкуОстанавливает площадкуНекритичные системы
Tier IIКомпоненты (N+1): ИБП, кондиционеры, генераторыОстанавливает ИТ-нагрузкуОтказ тракта распределения останавливает площадкуУмеренные требования
Tier IIIКомпоненты и тракты распределения; питание двумя путямиЛюбой элемент выводят в ремонт без остановкиЧасть отказов все же останавливает площадкуБольшинство критичных бизнес-систем
Tier IVДве независимые системы (2N), физически разделенныеБез остановкиНе нарушает работу ИТМаксимальные требования

В старых публикациях уровням Tier иногда приписывают конкретное количество часов допустимого простоя в год. Uptime Institute исключил такие прогнозы из стандарта еще в 2009 году, поэтому современную классификацию некорректно сводить к фиксированным значениям доступности.

Сертификация Uptime Institute: что означает и как проверить

Tier — не просто произвольное обозначение уровня дата-центра. Uptime Institute проводит сертификацию проектной документации и построенной инфраструктуры по собственному стандарту.

Если оператор заявляет наличие сертификации, следует проверять не только упоминание Tier на сайте, но и конкретный объект, вид сертификата и его статус. Uptime Institute публикует перечень сертифицированных площадок.

Формулировки вроде «соответствует Tier III» и официальная сертификация Tier III — не одно и то же. Самооценка оператора не заменяет процедуру сертификации.

Какие услуги оказывает ЦОД

Коммерческий дата-центр может предоставлять от простого места в стойке до полностью виртуальной инфраструктуры с управлением и резервным копированием.

Colocation: стойка, юнит, выделенная клетка

Colocation — размещение оборудования клиента на площадке оператора ЦОД. Компания привозит собственные серверы, а оператор предоставляет место, электропитание, охлаждение и сетевую инфраструктуру.

Можно арендовать отдельные юниты в шкафу, целую стойку или изолированную зону. Чем больше оборудования и выше требования к физическому разграничению, тем больше пространства требуется клиенту.

Аренда выделенного сервера

При аренде выделенного сервера оборудование принадлежит провайдеру, но физический сервер предоставляется одному клиенту. Клиенту не нужно закупать сервер и самостоятельно размещать его в стойке.

Виртуальная инфраструктура

Виртуальная инфраструктура предоставляет вычислительные ресурсы без привязки клиента к конкретному физическому серверу. Можно арендовать виртуальные машины, процессорные ресурсы, оперативную память, дисковое пространство и сети.

Резервное копирование и аварийное восстановление

ЦОД или облачный провайдер может предоставлять площадку для хранения резервных копий и восстановления систем после аварии. Для критичных сервисов резервную инфраструктуру размещают отдельно от основной, чтобы единичное событие не затронуло обе площадки.

Дополнительные услуги

Операторы могут предоставлять интернет-каналы, защиту от сетевых атак, администрирование, мониторинг и услуги удаленных технических специалистов. Состав сервиса зависит от конкретного дата-центра и договора.

Сколько стоит размещение в дата-центре

Цена зависит не только от физического места в стойке. Существенную часть стоимости формируют потребляемая мощность, резервирование и телекоммуникационные услуги.

От чего зависит цена

На стоимость обычно влияют:

  • число занимаемых юнитов или стоек;
  • выделенная электрическая мощность;
  • фактическое или расчетное энергопотребление;
  • число и скорость каналов связи;
  • требования к резервированию;
  • объем сетевого трафика;
  • дополнительные IP-адреса;
  • работы технического персонала;
  • резервное копирование и администрирование.

Два одинаковых по размеру сервера могут иметь разную стоимость размещения, если значительно различаются по энергопотреблению и сетевой нагрузке.

Свой ЦОД или коммерческий: что сравнивать

ПараметрСобственный ЦОДКоммерческий ЦОД
Структура затратКрупные разовые вложения в стройку и оборудованиеЕжемесячный платеж по договору
Инженерное оборудованиеПокупает и обновляет компанияПредоставляет оператор
ЭксплуатацияСвоя круглосуточная смена инженеровИнженерка на операторе, серверы на клиенте
Срок запускаОт года до нескольких летНедели
МасштабированиеОграничено заложенной мощностьюДополнительные стойки и мощность по договору
Ответственность за простойВнутренняя, компенсаций нетSLA с финансовой ответственностью оператора
КонтрольПолныйВ рамках договора

Собственный объект оправдан, когда масштаб, требования безопасности или особенности бизнеса делают постоянное владение инфраструктурой рациональным. В остальных случаях аренда позволяет превратить крупные капитальные затраты в регулярные расходы.

Как выбрать дата-центр: чек-лист

Оценивать площадку следует не по одному показателю Tier или цене. Для выбора полезно проверить:

  • расположение объекта и доступность для специалистов;
  • схему и резервирование электропитания;
  • организацию охлаждения;
  • количество и независимость каналов связи;
  • возможности увеличения мощности;
  • физическую защиту и порядок доступа;
  • пожарную безопасность;
  • наличие подтвержденных сертификатов;
  • условия соглашения об уровне сервиса;
  • порядок проведения аварийных работ;
  • техническую поддержку;
  • стоимость дополнительных услуг.

Перед переносом критичных систем полезно осмотреть площадку и уточнить, какие элементы инфраструктуры действительно зарезервированы. Маркетинговое слово «резервирование» без описания схемы мало говорит о реальной устойчивости.

История и тренды рынка ЦОД

Первые центры обработки данных выросли из специализированных машинных залов, где размещались крупные вычислительные системы. С развитием интернета и серверной инфраструктуры появились коммерческие площадки, позволившие компаниям размещать оборудование вне собственных офисов.

Современные ЦОД становятся крупнее и одновременно распределеннее. Растет плотность вычислений, увеличивается значение энергоэффективности, развиваются жидкостное охлаждение, модульные площадки и периферийные вычисления.

Дополнительным фактором становится рост высокопроизводительных вычислений и систем искусственного интеллекта. Они требуют высокой мощности на стойку и заставляют пересматривать традиционные подходы к электроснабжению и отводу тепла.

Коротко о главном

ЦОД — комплекс вычислительных и инженерных систем. Его работа зависит от электропитания, охлаждения, сетевой связности, пожарной и физической безопасности.

Уровни Tier описывают архитектурные возможности инженерной инфраструктуры, а не гарантированное число часов безотказной работы. Для бизнеса выбор между собственной серверной, коммерческим ЦОД и облаком определяется критичностью систем, масштабом инфраструктуры, бюджетом и требованиями к контролю.

Частые вопросы

Что произойдет с ЦОД при отключении электричества?

Кратковременный разрыв питания компенсируют источники бесперебойного питания. При более длительном отключении нагрузка переводится на резервные генераторы, если такая схема предусмотрена проектом и оборудование находится в исправном состоянии.

Может ли ЦОД полностью работать без людей?

Автоматизация позволяет контролировать большинство параметров удаленно, и часть площадок работает без постоянной смены. Но инженеры все равно приезжают на регламентное обслуживание, замену компонентов и аварии.

Почему серверы в ЦОД размещают в стойках?

Стандартные стойки позволяют компактно размещать совместимое оборудование, организовывать кабели, питание и воздушные потоки. Они также упрощают обслуживание и учет занимаемого пространства.

Что такое юнит в ЦОД?

Юнит, обозначаемый U, — единица высоты оборудования в стандартной 19-дюймовой стойке, 44,45 мм. Типовая стойка вмещает 42–47U. Сервер может занимать 1, 2, 4 и более юнитов в зависимости от корпуса.

Можно ли приехать в ЦОД и самостоятельно работать со своим сервером?

При размещении собственного оборудования такая возможность обычно существует, но доступ регулируется правилами площадки. Посетителю могут потребоваться предварительная заявка, документы, электронный пропуск и сопровождение.

Где физически хранятся данные при использовании облака?

Облачные данные находятся на физических накопителях в одном или нескольких ЦОД. Пользователь работает с виртуальным ресурсом, поэтому конкретный сервер или диск обычно скрыт уровнем облачной платформы.

Заполните информацию ниже и мы свяжемся с вами
Выберите дистрибьютора
* Отправляя заявку, вы соглашаетесь с условиями политики обработки персональных данных
Заполните информацию ниже и мы свяжемся с вами
Выберите дистрибьютора
* Отправляя заявку, вы соглашаетесь с условиями политики обработки персональных данных
SpaceVDI
Заявка на демоверсию Space VDI
Заполните информацию ниже и мы свяжемся с вами
Выберите дистрибьютора
* Отправляя заявку, вы соглашаетесь с условиями политики обработки персональных данных
SpaceVDI
Заявка
на покупку
Space VDI
Заполните информацию ниже и мы свяжемся с вами
Выберите дистрибьютора
* Отправляя заявку, вы соглашаетесь с условиями политики обработки персональных данных
Space
Станьте
партнером —
Space
Заполните информацию ниже и мы свяжемся с вами
* Отправляя заявку, вы соглашаетесь с условиями политики обработки персональных данных
Оставить на сайте
заявку на демо-версию
Выберите продукт
Выберите дистрибьютора
* Отправляя заявку, вы соглашаетесь с условиями политики обработки персональных данных
Заявка успешно отправлена!
Скоро с вами свяжется наш менеджер
Произошла ошибка!
При отправке произошла ошибка.
Попробуйте обновить страницу и отправить заявку заново