Перейти к содержанию

Построение кластера SpaceVM с использованием хранилища GFS2 (iSCSI) и коммутаторов MES Eltex

Общая информация

При построении кластера SpaceVM с разделяемым хранилищем GFS2 и внешней системой хранения данных (СХД), подключенной через протокол iSCSI, рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов.

Внимание

Для корректной работы разделяемого хранилища GFS2 не должны быть использованы HDD диски.

Рекомендованная схема инфраструктуры

img

Примечание

На схеме и в тексте статьи список портов, IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с существующей инфраструктурой.

Описание схемы:

  • Два коммутатора 10G Eltex для сети СХД:

    Первый интерфейс каждого серверного узла подключается к первому коммутатору в режиме Active, второй — ко второму в режиме Backup. Агрегирование интерфейсов Active-Backup осуществляется средствами SpaceVM и не требует специальных настроек на стороне коммутаторов.

    Коммутаторы должны быть связаны друг с другом.

    Со стороны СХД рекомендуется использовать технологию Multipath.

  • Два коммутатора 1G Eltex для следующих сетей:

    • mgmt + перенос ВМ и дисков.

      Первый интерфейс каждого узла подключается к первому коммутатору в режиме Active, второй — ко второму в режиме Backup. Агрегирование выполняется средствами SpaceVM.

    • Кластерный транспорт GFS2.

      Каждый узел подключается к отдельному порту первого коммутатора. Подключение ко второму коммутатору не требуется. В случае сбоя первого коммутатора сеть автоматически переключится на режим совмещения с сетями mgmt и перенос ВМ/дисков (это обеспечивается средствами SpaceVM и протоколом SCTP).

Настройка двух коммутаторов MES Eltex

Для настройки двух коммутаторов MES Eltex 5324, которые используются для создания отказоустойчивой сетевой связности между серверами и СХД, необходимо выполнить описанные ниже действия.

Первое подключение к коммутатору

  1. Настроить подключение по RS-232 к коммутатору Eltex через Putty. Для подключения к терминалу коммутатора в разделе Сеанс необходимо установить:

    • Скорость: 115200 бит/с
    Раздел Сеанс в настройках PuTTY

    img

    В разделе Serial установить:

    • Биты данных: 8 бит
    • Стоп биты: 1
    • Четность: нет
    • Управление потоком: нет
    Раздел Serial в настройках PuTTY

    img

  2. Нажать кнопку Соединиться, откроется терминал коммутатора.

  3. Ввести учетные данные для входа.

    Стандартный логин/пароль для входа в терминал коммутатора Eltex: admin/admin.

Подготовка коммутатора к работе

  1. Перейти в конфигурацию терминала с помощью команды: 
    Configure

  2. Изменить имя хоста (не обязательно): 

    hostname Eltex-1

  3. Включить ssh: 

    ip ssh server

  4. Отключить автоматическую конфигурацию с помощью команд: 

    no boot host auto-config
no boot host auto-update

  5. Указать возможность опроса SNTP-сервера для синхронизации времени: 

    sntp unicast client enable
sntp unicast client poll
sntp server <адрес sntp-сервера в сети>

  6. Изменить временную зону: 

    clock timezone MSK +3
clock source sntp

  7. Включить функцию обнаружения петель: 

    loopback-detection enable

  8. Установить поддержку кадров большого размера: 

    port jumbo-frame
exit

Настройка VLAN

  1. Находясь в конфигурации терминала, установить приоритет сбора статистики (опционально): 

    vlan statistics ingress low

  2. Перейти в редактирование базы VLAN, создать VLANs, которые используются в сети, с помощью команд:

    vlan database
vlan <диапазон VLAN через дефис>, например vlan 100-101
exit

Настройка портов коммутатора

  1. Настроить группу портов для соединения между коммутаторами с помощью команд: 

    interface port-channel 1   
description CORE   
mtu 9000 
switchport mode trunk
switchport trunk allowed vlan add 100-101

  2. Настроить оптические интерфейсы, которые используются для связи с серверами и СХД, с помощью команд: 

    interface range tengigabitethernet1/0/1-7
switchport mode trunk
switchport trunk allowed vlan add 100-101
mtu 9000
interface range tengigabitethernet1/0/13-16
switchport mode trunk
switchport trunk allowed vlan add 100-101
mtu 9000
interface range tengigabitethernet1/0/19-21
switchport mode trunk
switchport trunk allowed vlan add 100-101
mtu 9000

  3. Далее необходимо настроить соединение между двумя коммутаторами, чтобы при отключении одного коммутатора второй мог работать независимо. Для этого нужно настроить интерфейсы между двумя коммутаторами, добавив их в группу портов, созданную ранее. Затем настроить режим порта для пропуска тегированного трафика.

    Внимание

    Перед выполнением настройки необходимо отключить интерфейсы. Запускать интерфейсы можно только после настройки обоих коммутаторов, настройка второго коммутатора проводится аналогично.

    Для настройки интерфейса коммутатора необходимо выполнить команды: 

    interface fortygigabitethernet1/0/3 
shutdown
channel-group 1 mode auto
switchport mode trunk
exit
interface fortygigabitethernet1/0/4
shutdown
lacp port-priority 2
channel-group 1 mode auto
exit
    Аналогично необходимо настроить второй коммутатор.

  4. Запустить интерфейсы между коммутаторами (команды выполняются на обоих коммутаторах): 

    interface fortygigabitethernet1/0/3-4
no shutdown
end

Сохранение конфигурации

Чтобы настройки были применены после перезапуска коммутатора, необходимо их сохранить с помощью команды:

write memory

Настройка дополнительных физических интерфейсов на стороне SpaceVM

После создания кластера из серверов в Web-интерфейсе SpaceVM необходимо настроить дополнительные физические интерфейсы (внешние сети СХД и КТ).

  1. В Web-интерфейсе SpaceVM перейти в раздел Сети - Внешние сети и нажать кнопку Создать.

  2. В открывшемся окне необходимо указать название сети и адрес подсети (после включения опции Указать адрес подсети).

    Создание внешней сети

    img

  3. Нажать кнопку Добавить сервер. Необходимо добавить все серверы, которые подключены к данной сети. В открывшемся окне выполнить действия:

    • Выбрать сервер.
    • Указать интерфейс подключения.
    • Добавить внутренний интерфейс с адресом данной сети, который будет использоваться сервером.

      Указать название, остальные поля оставить по умолчанию.

    • Создать агрегированный интерфейс с типом агрегации active-backup.

      Указать название и выбрать минимум два физических интерфейса. В поле Связь протокола управления агрегации каналов выбрать выключено.

    • Нажать на кнопку Добавить.

    Добавление сервера и внутреннего интерфейса

    img

    Создание агрегированного интерфейса

    img

  4. Указать VLAN.

    Номера VLAN указываются через запятую. MTU оставить по умолчанию.

    Добавление VLAN

    img

  5. На последнем этапе создания внешней сети проверить верность указанных данных и нажать кнопку ОК.

Создание iSCSI-хранилища

Для создания iSCSI-хранилища внутри SpaceVM необходимо:

  1. Создать iSCSI storage.
  2. Создать iSCSI target.
  3. Создать порт-группу, добавить LUNs и Portals.

Создание iSCSI storage

  1. Перейти в раздел Хранилища - iSCSI сервер - iSCSI storage и нажать кнопку Создать.
  2. В открывшемся окне необходимо:
    • Выбрать сервер.
    • Выбрать локальное устройство.

      Диск, добавленный к виртуальной машине/физическому серверу с установленным SpaceVM.

    • Выбрать plugin: block.
    • Опцию readonly оставить выключенной.
    • Включить опцию write_back.
  3. Нажать кнопку ОК.
Создание iSCSI storage

img

Создание iSCSI target

  1. Перейти в раздел Хранилища - iSCSI сервер - iSCSI target и нажать кнопку Создать.

  2. В открывшемся окне необходимо:

    • Выбрать сервер.
    • Указать название.
    • Указать описание.

      Необязательное поле.

    • Указать WWN.

      Ввести IQN (iSCSI Qualified Name) — идентификатор, используемый в протоколе iSCSI для обозначения целевых устройств.

      Формат IQN включает в себя следующие элементы:

      • Префикс iqn, который указывает на то, что это имя iSCSI.

      • Дата в формате год-месяц, указывающая на момент создания имени.

      • Обратный домен, который обычно представляет организацию или компанию.

      • Уникальный идентификатор, который может содержать произвольные символы, чтобы обеспечить уникальность.

      Пример IQN

      iqn.2025-11.com.example:storage.disk1

  3. Нажать кнопку ОК.

Создание iSCSI target

img

Создание порт-группы. Добавление LUNs и Portals.

  1. Перейти в раздел Хранилища - iSCSI сервер - iSCSI target - <Название созданного target>.
  2. В окне подробного просмотра созданного target перейти в раздел Порт-группы и нажать на кнопку Добавить.
  3. В открывшемся окне оставить все значения полей и опции по умолчанию, нажать на кнопку ОК.
  4. Перейти в окно подробного просмотра созданной порт-группы.
  5. Перейти в раздел LUNs и нажать кнопку Добавить.
  6. В открывшемся окне выбрать ранее созданный iSCSI storage и нажать кнопку ОК.
  7. В разделе Portals нажать на кнопку Добавить.
  8. В открывшемся окне указать IP-адрес и номер порта, нажать кнопку ОК.

Подключение блочного хранилища

Для подключения блочного хранилища, созданного внутри системы виртуализации SpaceVM, к другому серверу SpaceVM необходимо:

  1. Добавить блочное хранилище.
  2. Создать кластерный транспорт GFS2.
  3. Форматировать LUN в файловую систему GFS2.
  4. Создать пул данных GFS2.

Добавление блочного хранилища

  1. Подключиться к Web-интерфейсу, перейдя по IP-адресу контролера, управляющего кластером, к которому необходимо добавить блочное хранилище.
  2. Перейти в раздел Хранилища - Сетевые хранилища - Блочные и нажать на кнопку Добавить хранилище.
  3. В открывшемся окне необходимо:
    • Указать название хранилища.
    • Выбрать тип подключения: iscsi.
    • Выбрать локацию.
    • Выбрать все серверы.
    • Указать IP-адрес сервера SpaceVM с созданным iSCSI-хранилищем.
  4. Нажать кнопку Получить доступные таргеты (target). Отобразится ранее созданный iSCSI target.
  5. Для остальных полей оставить значения по умолчанию.
  6. Нажать кнопку ОК.
Добавление сетевого хранилища

img

Создание кластерного транспорта GFS2

  1. Перейти в раздел Хранилища - Кластерные хранилища - Кластерные транспорты и нажать кнопку Создать.

  2. В открывшемся окне необходимо:

    • Указать название.
    • Указать описание

      Необязательное поле.

    • Выбрать кластер.
    • Выбрать тип: GFS2.
    • Активировать опцию Выбрать внешнюю сеть и выбрать любую из доступных сетей для кластерного транспорта.
    • Нажать кнопку ОК.
Создание кластерного транспорта

img

Форматирование LUN в файловую систему GFS2

  1. Перейти в раздел Хранилища - Сетевые хранилища - Блочные - <Название блочного хранилища> - LUNs - <имя LUN> и нажать кнопку
    Форматировать в ФС.
  2. В открывшемся окне выбрать тип файловой системы gfs2, количество узлов оставить по умолчанию.
  3. Нажать кнопку ОК.
Форматирование в ФС

img

Внимание

Форматирование LUN удалит все данные на нем.

Создание пула данных GFS2

  1. Перейти в раздел Хранилища - Пулы данных и нажать кнопку Добавить пул.
  2. В открывшемся окне необходимо:
    • Выбрать тип пула: gfs2.
    • Выбрать кластер.
    • Выбрать пул ресурсов.
    • Выбрать кластерный транспорт, созданный ранее.
    • Указать название пула данных.
    • Выбрать LUN из добавленного блочного хранилища.
    • Указать название каталога.

      Латинские буквы и цифры (не более 20).

    • Указать описание пула.

      Необязательное поле.

  3. Опции Форматировать LUN и Режим отладки оставить выключенными.

    C выключенной опцией Режим отладки LUN монтируется в режиме errors=panic, который рекомендуется использовать для рабочих систем.

  4. Нажать кнопку ОК, LUN примонтируется к узлам кластера.
Создание пула данных GFS2

img