Схема инфраструктуры для построения отказоустойчивого кластера

Построение надежного и отказоустойчивого кластера платформы виртуализации начинается на этапе проектирования физической инфраструктуры узлов, СХД и сетевого оборудования. Основными целями отказоустойчивости являются:

• Минимизация простоев.

• Сохранность данных.

• Быстрое восстановление.

• Предотвращение единичных точек отказа.

Эти цели достигаются подготовкой физической инфраструктуры и использованием реализованных в SpaceVM инструментов.

Для предотвращения аварийных ситуаций, связанных с питанием кластера, необходимо обеспечить две линии подачи питания к узлам через разные источники бесперебойного питания.

При построении отказоустойчивого кластера SpaceVM рекомендуется создавать изолированные сети для разных типов трафика:

• Встроенная сеть управления mgmt — для администрирования и мониторинга кластера.
• Кластерный транспорт GFS2 — для обеспечения работы файловой системы и синхронизации данных между узлами кластера.
• Сеть для переноса виртуальных машин (ВМ) и копирования дисков — для операций, связанных с миграцией ВМ и управлением данными.
• Сеть СХД (iSCSI) — для подключения к внешней системе хранения данных через протокол iSCSI.
• Сеть ВМ — для трафика, генерируемого виртуальными машинами.
• Сеть BACKUP (NFS) — для создания и хранения резервных копий ВМ.

Представленная сегментация сетей позволяет повысить надёжность и производительность кластера, а также обеспечить безопасность данных.

Для всех сетей рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов. Для сетей внутри SpaceVM (mgmt, перенос ВМ и дисков, кластерный транспорт GFS2) дублирование должно выполняться с использованием агрегированных интерфейсов типа Active-Backup средствами SpaceVM.

Для сетей СХД рекомендуется использование технологии Multipath.

Для уменьшения возросшей нагрузки по переносу ВМ на другие узлы в случае отказа одного из узлов рекомендуется равномерно распределить ресурсы в кластере при помощи DRS.

Рекомендованная схема инфраструктуры

Созданный отказоустойчивый кластер состоит из 5 узлов, 2 из которых имеют тип установки Controller+Node. Каждый физический сервер оснащен:

• Двумя блоками питания для подключения питания от разных источников бесперебойного питания.
• 4x10G Ethernet или 2x10G FibreChannel и 2x10G Ethernet сетевой картой для подключения внешней СХД.
• 4x1G Ethernet картой для mgmt сетей и сетей ВМ.
• 2x1G Ethernet картой для сетей кластерного транспорта.
• RAID-контроллером для установки ПО на RAID 1 том.

Ограничения

В кластере SpaceVM рекомендуется использование режима Active-Backup на интерфейсах, агрегированных средствами SpaceVM.

Потеря сетевого соединения между серверами и хранилищем в процессе записи данных может привести к повреждению файловой системы. Чтобы минимизировать любые разрывы, не рекомендуется использование механизмов LACP/LAGG на уровне коммутаторов, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2 или повредить данные, передаваемые по протоколу iSCSI.

1. Совместная работа коммутаторов в режиме стекирования и агрегации каналов (LACP) способна вызвать одновременный выход из строя обоих устройств.

   При независимой друг от друга работе коммутаторов перезагрузка одного устройства не может привести к перезагрузке второго устройства. В таком сценарии отказа одного из коммутаторов автоматически активировался бы запасной канал, обеспечивая непрерывность сетевого подключения.

2. Использование протокола LACP способно нарушить последовательность доставки пакетов iSCSI, что может привести к ошибкам записи и возможному повреждению данных.

   Примечание

   При этом SpaceVM поддерживает режим агрегации LACP. Если нужно добиться высокой пропускной способности путем объединения каналов, и не требуется безусловная отказоустойчивость на уровне сети (например, для трафика ВМ или трафика переноса дисков и ВМ в выделенной сети), то возможно использование такого варианта на выделенном для этого коммутаторе или стеке коммутаторов.