Перейти к содержанию

Подключение хранилищ и создание пулов данных

Важным аспектом обеспечения отказоустойчивости кластера является использование разделяемого хранилища GFS2, которое базируется на внешней СХД, подключенной по протоколам iSCSI или FC. Для устранения единичной точки отказа в подключении СХД рекомендуется дублирование коммутаторов и использование технологии Multipath.


Подключение блочного хранилища

С использованием iSCSI

Для создания блочного хранилища iSCSI необходимо перейти в раздел Хранилища - Сетевые хранилища - Блочные основного меню и нажать кнопку Добавить хранилище.

В открывшемся окне необходимо выполнить следующие действия:

  • Указать название сетевого хранилища.

  • Включить опцию Multipath I/O.

    Определить возможность подключения узлов сети хранения данных с использованием нескольких маршрутов (состояние Multipath I/O).

    Примечание

    С версии SpaceVM 6.5.7 опция Multipath I/O отсутствует в окне создания блочного хранилища. Включение технологии Multipath будет происходить автоматически на основе подключаемой СХД.

  • Выбрать режим использования Multipath I/O - failover.

    При подключении узлов будет проверяться наличие хотя бы одного активного пути из всех.

  • Выбрать тип подключения.

  • Выбрать локацию.

  • Выбрать сервер для монтирования сразу после создания.

  • Добавить IP-адрес или доменное имя сервера хранения и порт.

    Если указать несколько адресов, то в окне Опции необходимо указать, к какому адресу относится каждый таргет.

  • Проверить доступность сервера и получить список доступных таргетов с помощью кнопки Получить доступные таргеты (target).

  • Указать имя iSCSI Target.

  • Указать логин и пароль для подключения (если требуется).

  • Выбрать производителя.

  • Выполнить настройку в окне Опции.

    После нажатия кнопки Опции в открывшемся окне нужно выполнить действия:

    • Выбрать таргет.

    • Выбрать адрес (ip-адрес/доменное имя), относящийся к выбранному таргету.

    • С помощью кнопки image добавить еще таргет и его адрес (если это необходимо). Чтобы удалить путь к сетевому хранилищу (убрать пару Таргет – Адрес), нужно нажать на кнопку image.

    После заполнения полей подтвердить действия с помощью кнопки Сохранить.

  • Добавить описание хранилища.

    Необязательное поле.

Для подтверждения операции необходимо нажать кнопку ОК.


С использованием FC

При физическом подключении блочного хранилища по FC к серверу контроллер выдаст предупреждение серверу о том, что есть неизвестные блочные хранилища.

Если есть предупреждение, то необходимо перейти в раздел Серверы - <Имя сервера> - ХранилищаБлочные хранилища и нажать кнопку Сканировать. Если на сервере найдутся незарегистрированные в базе контроллера хранилища, то они создадутся в базе или обновится связь с теми, что есть в базе.

Примечание

В некоторых случаях (например, этого требуют FCoE адаптеры HPE630FLB) для включения FC функционала на адаптерах необходимо перейти в CLI узлов и выполнить команду CLI net fcoe enable {имя адаптера}.


Настройки multipath

Для просмотра настроек multipath в CLI узла необходимо выполнить команду:

storage multipath-conf

Внимание

Если для нужного устройства нет предустановленного файла конфигурации, необходимо найти его у производителя СХД и добавить вручную через CLI с помощью команд:

  1. Команда для редактирования конфигурационного файла.

    storage multipath-edit
    
  2. Команда для сброса файла конфигурации multipath до базового.

    storage multipath-conf-set-default
    

Для сканирования доступных путей в CLI используется команда:

storage scsi-host-discovery

Для изменения политики группировки путей LUN в CLI используется команда:

storage modify-multipath-path-grouping-policy [policy]

Для обеспечения отказоустойчивости рекомендуется использоватьpath_grouping_policy = failover.

Варианты path_grouping_policy
  • failover — один путь для каждой группы приоритетов.
  • multibus — все пути в одной группе приоритетов.
  • group_by_serial — одна группа приоритетов для каждого серийного номера.
  • group_by_prio — одна группа приоритетов для каждого значения приоритета. Приоритеты путей определяются при помощи программ callout, которые передают значения приоритетов, указанных в соответствующих секциях (глобальной, для определенных контроллеров хранения, для определенных путей) конфигурационного файла.
  • group_by_node_name — одна группа приоритетов для каждого имени целевого узла. Имена целевых узлов читаются из /sys/class/fc_transport/target*/node_name.

Для изменения политики выбора путей LUN в CLI используется команда:

storage modify-multipath-path-selector [path_selector]

Рекомендуется использовать path_selector = service-time 0.

Варианты path_selector
  • service-time 0 — отправляет следующую часть операций I/O по пути с наименьшим расчетным временем обслуживания, которое определяется делением общего объема ожидающих операций I/O для каждого пути на его относительную пропускную способность.
  • round-robin 0 — поочередно перебирает все пути в группе, отправляя одинаковый объем операций I/O на каждый путь.
  • queue-length 0 — выбирает путь для следующей части операций I/O на основе количества ожидающих операций I/O на этом пути.

Создание пула данных GFS2

Самостоятельное создание КТ и пула данных GFS2

Для создания кластерного транспорта необходимо:

  1. Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты.

  2. Нажать кнопку Создать.

  3. Выполнить действия:

    • Указать название.

    • Указать описание (опционально).

    • Выбрать кластер.

    • Выбрать тип.

      Необходимо указать тип файловой системы gfs2.

    Внимание

    Для кластерного транспорта необходимо активировать опцию Выбрать внешнюю сеть и указать созданную ранее внешнюю сеть GFS2.

После создания кластерного транспорта необходимо создать пул данных GFS2. Для этого необходимо:

  1. Перейти в раздел основного меню Хранилища - Пулы данных и нажать кнопку Добавить пул.

  2. В открывшемся окне выполнить действия:

    • Выбрать тип пула.

      Установить значение: gfs2.

    • Выбрать кластер.

    • Выбрать пул ресурсов.

    • Кластерный транспорт.

      Будет выбран автоматически.

    • Указать название пула данных.

    • Выбрать LUNs.

      Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN.

      Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.

    • Указать название каталога.

      Название каталога для пула данных.

    • Указать описание пула.

      Необязательное поле.

    • Форматировать LUN.

      При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.

      Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.

      Внимание

      Форматирование LUN удалит все данные на нем.

    • Режим отладки.

      Включение отладочного режима для диагностики GFS2.

      Опция доступна только в ситуации, когда LUN не примонтирован.

      Внимание

      Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2.

      Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных.

  3. Нажать кнопку ОК.


Создание КТ и пула данных GFS2 из единого интерфейса

Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.

Для создания кластерного транспорта и пула данных GFS2 из единого интерфейса необходимо:

  1. Перейти в раздел Хранилища - Пулы данных.

  2. Нажать кнопку Добавить пул.

  3. В открывшемся окне выполнить действия:

    • Выбрать тип пула.

      Установить значение: gfs2.

    • Выбрать кластер.

    • Выбрать пул ресурсов.

    • Указать название кластерного транспорта.

      Если на выбранном кластере нет КТ типа GFS2, то он будет создан. Возможно указание названия для нового КТ. При оставлении поля пустым название будет задано автоматически.

    • Указать название пула данных.

    • Выбрать LUN.

      Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN.

      Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.

    • Указать название каталога.

      Название каталога для пула данных.

    • Указать описание пула.

      Необязательное поле.

    • Выбрать внешнюю сеть.

      Необходимо выбрать ранее созданную внешнюю сеть GFS2.

    • Форматировать LUN.

      При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.

      Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.

      Внимание

      Форматирование LUN удалит все данные на нем.

    • Режим отладки.

      Включение отладочного режима для диагностики GFS2.

      Опция доступна только в ситуации, когда LUN не примонтирован.

      Внимание

      Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2.

      Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных.

  4. Нажать кнопку ОК.


Подключение NFS хранилища для резервных копий

Подключение файлового хранилища

Для хранения резервных копий будет создан отдельный пул данных, расположенный на NFS-хранилище. Для подключения хранилища необходимо перейти в раздел Хранилища - Сетевые хранилища - Файловые основного меню и нажать кнопку Добавить хранилище. В открывшемся окне необходимо выполнить следующие действия:

  1. Указать название сетевого хранилища.

  2. Выбрать тип подключения.

    Установить значение: nfs.

  3. Выбрать локацию.

  4. Выбрать все серверы для монтирования сразу после создания.

  5. Указать IP-адрес или доменное имя СХД.

  6. Проверить доступность сервера с помощью кнопки Проверить соединение и получить доступные тома (volumes).

  7. Указать каталог на сетевом хранилище (volume).

  8. Указать каталог монтирования в SpaceVM (mount_point, имя конечной директории для монитирования).

  9. Убедиться, что опция Только чтение выключена.

  10. Включить опцию No_root_squash, если на сервере включена опция No_root_squash (для NFS).

  11. Включить опцию All_squash, если на сервере включена опция All_squash (для NFS).

  12. Раскрыть опции монтирования, нажав кнопку Опции монтирования nfs, и заполнить параметры для NFS.

    Параметры для NFS
    • Выбрать sec.

      Может принимать значения: none, sys, krb5, krb5i, krb5p.

    • Выбрать lookupcache.

      Может принимать значения: all, none, pos, positive.

    • Выбрать proto.

      Может принимать значения: tcp, tcp6, rdma.

    • Выбрать версию nfs.

      Может принимать значения: 3, 4.

    • Указать clientaddr.

    • Включить или выключить опции.

      Опции: noac, bg, nordirplus, nosharecache, noresvport, fsc, nointr, nocto, soft.

    • Указать параметры.

      Параметры: timeo, retrans, rsize, wsize, acregmin, acregmax, acdirmin, acdirmax, actimeo, retry, port.

  13. Указать описание

    Необязательное поле.

После внесения изменений необходимо подтвердить операцию, нажав кнопку ОК.


Создание пула данных NFS

Для создания пула данных NFS необходимо:

  1. Перейти в раздел Хранилища - Пулы данных основного меню.

  2. Нажать кнопку Добавить пул.

  3. В открывшемся окне выполнить действия:

    • Выбрать тип пула.

      Установить значение: nfs.

    • Выбрать пул ресурсов.

    • Указать название пула.

    • Выбрать сетевое хранилище.

      Необходимо выбрать ранее созданное файловое NFS-хранилище.

    • Указать название каталога.

      Название каталога для пула данных.

    • Указать описание пула.

      Необязательное поле.

  4. Нажать кнопку ОК.