Перейти к содержанию

Схема инфраструктуры для КТ GFS2

Общая информация

При построении кластера SpaceVM с разделяемым хранилищем GFS2 и внешней системой хранения данных (СХД), подключенной через протокол iSCSI, рекомендуется создавать изолированные сети для следующих типов трафика:

  • Встроенная сеть управления mgmt - для администрирования и мониторинга кластера.
  • Кластерный транспорт GFS2 - для обеспечения работы файловой системы и синхронизации данных между узлами кластера.
  • Сеть для переноса виртуальных машин (ВМ) и копирования дисков — для операций, связанных с миграцией ВМ и управлением данными.
  • Сеть СХД (iSCSI) - для подключения к внешней системе хранения данных через протокол iSCSI.

Представленная сегментация сетей позволяет повысить надёжность и производительность кластера, а также обеспечить безопасность данных.

Для всех сетей рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов. Для сетей внутри SpaceVM (mgmt, перенос ВМ и дисков, кластерный транспорт GFS2) дублирование должно выполняться с использованием агрегированных интерфейсов типа Active-Backup средствами SpaceVM.

Использование механизмов LACP/LAGG на уровне коммутаторов не рекомендуется, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2.

Для сетей СХД рекомендуется использование технологии Multipath.

Для обеспечения корректной и надёжной работы кластера SpaceVM с разделяемым хранилищем GFS2, которое базируется на внешней СХД, подключённой через протокол iSCSI, необходимо создать отказоустойчивую сетевую инфраструктуру. Это позволит минимизировать риски сбоев и обеспечить непрерывность работы кластера.

Схемы инфраструктуры с использованием iSCSI

Примечание

На схемах IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с существующей инфраструктурой.

1. Рекомендованная схема

Рекомендованная схема инфраструктуры

img

2. Схема без использования выделенных коммутаторов для организации mgmt

Схема без использования выделенных коммутаторов для организации mgmt

img

Риски отсутствия выделенных коммутаторов для организации mgmt

  1. Задержки в трафике сети mgmt могут нарушить доступность узлов для контроллера управления, что может привести к их перезапуску.

  2. Проблемы в кластерном транспорте могут вызвать потерю кворума кластера GFS2, что также приведет к перезагрузке узлов.

  3. Потеря или задержки в сети для переноса дисков или ВМ могут остановить важные сервисы во время выполнения операции "живой" миграции.

3. Не рекомендованная схема

Не рекомендованная схема инфраструктуры с использованием единственного коммутатора между кластерами СХД и виртуализации.

Не рекомендованная схема инфраструктуры

img

Риски отсутствия дублирования коммутатора

  1. Отсутствие резервирования делает коммутатор единственной точкой отказа для всей сетевой инфраструктуры, объединяющей узлы кластера и систему хранения данных.

  2. Выход коммутатора "из строя" приведет к потере всеми узлами кластера доступа к общему хранилищу, что вызовет немедленное прекращение работы файловой системы GFS2. Это может стать причиной потери данных, нарушения целостности файловой системы и недоступности сервисов.

  3. Обслуживание или обновление единственного коммутатора потребует полного отключения сети между кластером и СХД. В высокодоступных средах важно поддерживать работоспособность сервисов даже при техническом обслуживании. Наличие нескольких коммутаторов позволит обновлять оборудование последовательно, сохраняя непрерывность сетевого соединения.

Разделение сетей и QoS

Рекомендуется разделять трафик по VLAN и настраивать механизм QoS для приоритизации передачи данных на каждой сети.

Допустимо совмещать сеть для переноса ВМ и копирования дисков с сетью mgmt.

Риски отсутствия разделения по коммутаторам, VLAN и QoS

  1. Потери или задержки в трафике iSCSI могут привести к ошибкам записи в файловую систему GFS2 ("грязная запись"). Это может вызвать:

    • срабатывание защитной функции (перезапуск узлов);

    • повреждение файловой системы с риском утраты данных.

  2. Задержки в трафике сети mgmt могут нарушить доступность узлов для контроллера управления, что может привести к их перезапуску.

  3. Проблемы в кластерном транспорте могут вызвать потерю кворума кластера GFS2, что также приведет к перезагрузке узлов.

  4. Потеря или задержки в сети для переноса дисков или ВМ могут остановить важные сервисы во время выполнения операции "живой" миграции.

Варианты построения инфраструктуры c использованием iSCSI

1. Вариант с четырьмя Ethernet-коммутаторами

Вариант с четырьмя Ethernet-коммутаторами основан на рекомендованной схеме.

Описание схемы:

  • Два коммутатора 10G для сети СХД:

    Первый интерфейс каждого серверного узла подключается к первому коммутатору в режиме Active, второй — ко второму в режиме Backup. Агрегирование интерфейсов Active-Backup осуществляется средствами SpaceVM и не требует специальных настроек на стороне коммутаторов.

    Коммутаторы должны быть связаны друг с другом.

    Со стороны СХД рекомендуется использовать технологию Multipath.

  • Два коммутатора 1G для следующих сетей:

    • mgmt + перенос ВМ и дисков.

      Первый интерфейс каждого узла подключается к первому коммутатору в режиме Active, второй — ко второму в режиме Backup. Агрегирование выполняется средствами SpaceVM.

    • Кластерный транспорт GFS2.

      Каждый узел подключается к отдельному порту первого коммутатора. Подключение ко второму коммутатору не требуется. В случае сбоя первого коммутатора сеть автоматически переключится на режим совмещения с сетями mgmt и перенос ВМ/дисков (это обеспечивается средствами SpaceVM и протоколом SCTP).

2. Альтернативные варианты с двумя коммутаторами

Примечание

Возможно построить кластер SpaceVM с использованием только двух Ethernet-коммутаторов. Этот подход экономичнее, но менее надежен.

Два коммутатора (1G + 10G)

Вариант с двумя коммутаторами (1G и 10G) основан на рекомендованной схеме инфраструктуры.

Описание схемы с двумя коммутаторами:

  1. Один 1G-коммутатор используется для сетей:

    • mgmt + перенос ВМ и копирование дисков.

    • Кластерный транспорт GFS2.

      Рекомендуется выделять отдельные порты на каждом узле либо создавать отдельный VLAN.

  2. Один 10G-коммутатор применяется для сети СХД iSCSI.

Этот вариант аналогичен предыдущим схемам, но не обеспечивает отказоустойчивость.

Два коммутатора 10G

Вариант с двумя 10G-коммутаторами основан на схеме с ограничениями.

Описание схемы:

  1. Один 10G-интерфейс каждого узла подключается к первому коммутатору в режиме Active, второй — к другому коммутатору в режиме Backup.

  2. Рекомендуется создание отдельных внешних сетей для следующих целей помимо сети mgmt:

    • Кластерный транспорт GFS2.
    • Перенос ВМ и копирование дисков.
    • iSCSI.

    Все сети необходимо разделить по VLAN.

    Необходимо настроить QoS с ограничениями на скорость передачи данных: 50% — для iSCSI, 30% — для переноса ВМ и дисков, 10% — для кластерного транспорта GFS2, 10% — для mgmt. Несоблюдение этих рекомендаций может привести к проблемам с доступностью кластеров и потерям данных.

3. Не рекомендуемая схема

Вариант данной схемы коммутации сети является критической точкой отказа всего кластера.

  1. При отказе коммутатора происходит полная потеря доступности кластера.
  2. Все сервисы и данные становятся недоступными до устранения неисправности.
  3. Любой сбой в работе коммутатора приведет к полной остановке работы кластера.
  4. Один коммутатор становится единственной точкой отказа всей системы.
  5. Нарушается доступность сервисов.

Для минимизации рисков необходимо использовать рекомендованную схему инфраструктуры или схему с ограничениями.