Перейти к содержанию

Схемы инфраструктуры для КТ GFS2

Общая информация

При построении кластера SpaceVM с использованием разделяемого хранилища GFS2 и внешней системы хранения данных (СХД), подключённой через протокол FC, рекомендуется организовать изолированные сети для различных типов трафика:

  • Встроенная сеть управления mgmt - для администрирования и мониторинга кластера.
  • Кластерный транспорт GFS2 - для обеспечения работы файловой системы и синхронизации данных между узлами кластера.
  • Сеть для переноса виртуальных машин (ВМ) и копирования дисков — для операций, связанных с миграцией ВМ и управлением данными.
  • Сеть СХД (FC) - для подключения к внешней системе хранения данных через протокол FC.

Представленная сегментация сетей позволяет повысить надёжность и производительность кластера, а также обеспечить безопасность данных.

Для всех сетей рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов. Для сетей внутри SpaceVM (mgmt, перенос ВМ и дисков, кластерный транспорт GFS2) дублирование должно выполняться с использованием агрегированных интерфейсов типа Active-Backup средствами SpaceVM.

Использование механизмов LACP/LAGG на уровне коммутаторов не рекомендуется, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2.

Для сетей СХД рекомендуется использование технологии Multipath.

Для обеспечения корректной и надёжной работы кластера SpaceVM с разделяемым хранилищем GFS2, которое базируется на внешней СХД, подключённой через протокол FC, необходимо создать отказоустойчивую сетевую инфраструктуру. Это позволит минимизировать риски сбоев и обеспечить непрерывность работы кластера.

Схемы инфраструктуры с использованием FC

Примечание

На схемах IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами.
Необходимо производить настройку в соответствии с существующей инфраструктурой.

1. Рекомендованная схема

Рекомендованная схема инфраструктуры

img

Типы портов FC

С информацией о типах портов FC можно ознакомиться по ссылке.

2. Схема без дублирования коммутаторов

Схема без дублирования коммутаторов

img

Риски отсутствия дублирования коммутатора

  1. Отсутствие резервирования делает коммутатор единственной точкой отказа для всей сетевой инфраструктуры, объединяющей узлы кластера и систему хранения данных.

  2. Выход коммутатора "из строя" приведет к потере всеми узлами кластера доступа к общему хранилищу, что вызовет немедленное прекращение работы файловой системы GFS2. Это может стать причиной потери данных, нарушения целостности файловой системы и недоступности сервисов.

  3. Обслуживание или обновление единственного коммутатора потребует полного отключения сети между кластером и СХД. В высокодоступных средах важно поддерживать работоспособность сервисов даже при техническом обслуживании. Наличие нескольких коммутаторов позволит обновлять оборудование последовательно, сохраняя непрерывность сетевого соединения.

Разделение сетей и QoS

Рекомендуется разделять трафик по VLAN и настраивать механизм QoS для приоритизации передачи данных на каждой сети.

Риски отсутствия разделения по коммутаторам, VLAN и QoS

  1. Потери или задержки в трафике FC могут привести к ошибкам записи в файловую систему GFS2 ("грязная запись"). Это может вызвать:

    • срабатывание защитной функции (перезапуск узлов);

    • повреждение файловой системы с риском утраты данных.

  2. Задержки в трафике сети mgmt могут нарушить доступность узлов для контроллера управления, что может привести к их перезапуску.

  3. Проблемы в кластерном транспорте могут вызвать потерю кворума кластера GFS2, что также приведет к перезагрузке узлов.

  4. Потеря или задержки в сети для переноса дисков или ВМ могут остановить важные сервисы во время выполнения операции "живой" миграции.

Варианты построения инфраструктуры с использованием FC

1. Вариант с четырьмя коммутаторами

Вариант с четырьмя коммутаторами основан на рекомендованной схеме.

Предлагаемый вариант включает использование двух Ethernet-коммутаторов 1G и двух коммутаторов Fibre Channel:

  1. Два дублирующих коммутатора для сети FC (Fibre Channel).

  2. Два коммутатора 1G для следующих сетей:

    • mgmt + перенос ВМ и дисков.

      Первый порт каждого серверного узла подключается к первому коммутатору в режиме Active, а второй — ко второму коммутатору в резервном режиме Backup. Агрегация каналов осуществляется средствами SpaceVM в режиме Active-backup, и не требует специальной настройки коммутаторов.

      Коммутаторы должны быть соединены между собой.

    • Кластерный транспорт GFS2.

      Каждый узел подключается к отдельному порту первого коммутатора. Подключение к узлам на втором коммутаторе не требуется.

      В случае сбоя первого коммутатора сеть автоматически переключится в совмещенный режим с сетью управления mgmt и переноса ВМ/дисков. Переключение обеспечивается средствами SpaceVM и протоколом SCTP.

2. Альтернативный вариант с двумя коммутаторами (1G и FC)

Примечание

Возможно построить кластер SpaceVM с разделяемым хранилищем GFS2 на базе внешней СХД, подключенной по протоколу FC, используя всего два коммутатора: один Ethernet 1G и один FC. Этот подход экономичнее предыдущего, однако менее отказоустойчив.

Вариант с одним коммутатором 1G и одним FC основан на схеме без дублирования коммутаторов.

Описание схемы:

  1. Коммутатор 1G используется для следующих целей:

    • mgmt + перенос ВМ и копирование дисков.

    • Кластерный транспорт GFS2.

      Рекомендуется выделять отдельные порты на каждом узле либо создавать отдельный VLAN.

  2. Коммутатор FC предназначен исключительно для работы с сетью хранения данных Fibre Channel.