Подключение хранилищ и создание пулов данных
Важным аспектом обеспечения отказоустойчивости кластера является использование разделяемого хранилища GFS2, которое базируется на внешней СХД, подключенной по протоколам iSCSI или FC. Для устранения единичной точки отказа в подключении СХД рекомендуется дублирование коммутаторов и использование технологии Multipath.
Подключение блочного хранилища
С использованием iSCSI
Для создания блочного хранилища iSCSI необходимо перейти в раздел Хранилища - Сетевые хранилища - Блочные основного меню и нажать кнопку Добавить хранилище.
В открывшемся окне необходимо выполнить следующие действия:
-
Указать название сетевого хранилища.
-
Включить опцию Multipath I/O.
Определить возможность подключения узлов сети хранения данных с использованием нескольких маршрутов (состояние Multipath I/O).
Примечание
С версии SpaceVM 6.5.7 опция Multipath I/O отсутствует в окне создания блочного хранилища. Включение технологии Multipath будет происходить автоматически на основе подключаемой СХД.
-
Выбрать режим использования Multipath I/O -
failover
.При подключении узлов будет проверяться наличие хотя бы одного активного пути из всех.
-
Выбрать тип подключения.
-
Выбрать локацию.
-
Выбрать сервер для монтирования сразу после создания.
-
Добавить IP-адрес или доменное имя сервера хранения и порт.
Если указать несколько адресов, то в окне Опции необходимо указать, к какому адресу относится каждый таргет.
-
Проверить доступность сервера и получить список доступных таргетов с помощью кнопки Получить доступные таргеты (target).
-
Указать имя iSCSI Target.
-
Указать логин и пароль для подключения (если требуется).
-
Выбрать производителя.
-
Выполнить настройку в окне Опции.
После нажатия кнопки Опции в открывшемся окне нужно выполнить действия:
-
Выбрать таргет.
-
Выбрать адрес (ip-адрес/доменное имя), относящийся к выбранному таргету.
-
С помощью кнопки
добавить еще таргет и его адрес (если это необходимо). Чтобы удалить путь к сетевому хранилищу (убрать пару Таргет – Адрес), нужно нажать на кнопку
.
После заполнения полей подтвердить действия с помощью кнопки Сохранить.
-
-
Добавить описание хранилища.
Необязательное поле.
Для подтверждения операции необходимо нажать кнопку ОК.
С использованием FC
При физическом подключении блочного хранилища по FC к серверу контроллер выдаст предупреждение серверу о том, что есть неизвестные блочные хранилища.
Если есть предупреждение, то необходимо перейти в раздел Серверы - <Имя сервера> - Хранилища – Блочные хранилища и нажать кнопку Сканировать. Если на сервере найдутся незарегистрированные в базе контроллера хранилища, то они создадутся в базе или обновится связь с теми, что есть в базе.
Примечание
В некоторых случаях (например, этого требуют FCoE адаптеры HPE630FLB) для включения FC функционала на адаптерах необходимо
перейти в CLI узлов и выполнить команду CLI net fcoe enable {имя адаптера}
.
Настройки multipath
Для просмотра настроек multipath
в CLI узла необходимо выполнить команду:
storage multipath-conf
Внимание
Если для нужного устройства нет предустановленного файла конфигурации, необходимо найти его у производителя СХД и добавить вручную через CLI с помощью команд:
-
Команда для редактирования конфигурационного файла.
storage multipath-edit
-
Команда для сброса файла конфигурации multipath до базового.
storage multipath-conf-set-default
Для сканирования доступных путей в CLI используется команда:
storage scsi-host-discovery
Для изменения политики группировки путей LUN в CLI используется команда:
storage modify-multipath-path-grouping-policy [policy]
Для обеспечения отказоустойчивости рекомендуется использовать
path_grouping_policy
=failover
.
Варианты path_grouping_policy
failover
— один путь для каждой группы приоритетов.multibus
— все пути в одной группе приоритетов.group_by_serial
— одна группа приоритетов для каждого серийного номера.group_by_prio
— одна группа приоритетов для каждого значения приоритета. Приоритеты путей определяются при помощи программ callout, которые передают значения приоритетов, указанных в соответствующих секциях (глобальной, для определенных контроллеров хранения, для определенных путей) конфигурационного файла.group_by_node_name
— одна группа приоритетов для каждого имени целевого узла. Имена целевых узлов читаются из /sys/class/fc_transport/target*/node_name.
Для изменения политики выбора путей LUN в CLI используется команда:
storage modify-multipath-path-selector [path_selector]
Рекомендуется использовать
path_selector
=service-time 0
.
Варианты path_selector
service-time 0
— отправляет следующую часть операций I/O по пути с наименьшим расчетным временем обслуживания, которое определяется делением общего объема ожидающих операций I/O для каждого пути на его относительную пропускную способность.round-robin 0
— поочередно перебирает все пути в группе, отправляя одинаковый объем операций I/O на каждый путь.queue-length 0
— выбирает путь для следующей части операций I/O на основе количества ожидающих операций I/O на этом пути.
Создание пула данных GFS2
Самостоятельное создание КТ и пула данных GFS2
Для создания кластерного транспорта необходимо:
-
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты.
-
Нажать кнопку Создать.
-
Выполнить действия:
-
Указать название.
-
Указать описание (опционально).
-
Выбрать кластер.
-
Выбрать тип.
Необходимо указать тип файловой системы
gfs2
.
Внимание
Для кластерного транспорта необходимо активировать опцию Выбрать внешнюю сеть и указать созданную ранее внешнюю сеть GFS2.
-
После создания кластерного транспорта необходимо создать пул данных GFS2. Для этого необходимо:
-
Перейти в раздел основного меню Хранилища - Пулы данных и нажать кнопку Добавить пул.
-
В открывшемся окне выполнить действия:
-
Выбрать тип пула.
Установить значение:
gfs2
. -
Выбрать кластер.
-
Выбрать пул ресурсов.
-
Кластерный транспорт.
Будет выбран автоматически.
-
Указать название пула данных.
-
Выбрать LUNs.
Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN.
Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.
-
Указать название каталога.
Название каталога для пула данных.
-
Указать описание пула.
Необязательное поле.
-
Форматировать LUN.
При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.
Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.
Внимание
Форматирование LUN удалит все данные на нем.
-
Режим отладки.
Включение отладочного режима для диагностики GFS2.
Опция доступна только в ситуации, когда LUN не примонтирован.
Внимание
Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2.
Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных.
-
-
Нажать кнопку ОК.
Создание КТ и пула данных GFS2 из единого интерфейса
Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.
Для создания кластерного транспорта и пула данных GFS2 из единого интерфейса необходимо:
-
Перейти в раздел Хранилища - Пулы данных.
-
Нажать кнопку Добавить пул.
-
В открывшемся окне выполнить действия:
-
Выбрать тип пула.
Установить значение:
gfs2
. -
Выбрать кластер.
-
Выбрать пул ресурсов.
-
Указать название кластерного транспорта.
Если на выбранном кластере нет КТ типа GFS2, то он будет создан. Возможно указание названия для нового КТ. При оставлении поля пустым название будет задано автоматически.
-
Указать название пула данных.
-
Выбрать LUN.
Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN.
Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.
-
Указать название каталога.
Название каталога для пула данных.
-
Указать описание пула.
Необязательное поле.
-
Выбрать внешнюю сеть.
Необходимо выбрать ранее созданную внешнюю сеть
GFS2
. -
Форматировать LUN.
При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.
Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.
Внимание
Форматирование LUN удалит все данные на нем.
-
Режим отладки.
Включение отладочного режима для диагностики GFS2.
Опция доступна только в ситуации, когда LUN не примонтирован.
Внимание
Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2.
Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных.
-
-
Нажать кнопку ОК.
Подключение NFS хранилища для резервных копий
Подключение файлового хранилища
Для хранения резервных копий будет создан отдельный пул данных, расположенный на NFS-хранилище. Для подключения хранилища необходимо перейти в раздел Хранилища - Сетевые хранилища - Файловые основного меню и нажать кнопку Добавить хранилище. В открывшемся окне необходимо выполнить следующие действия:
-
Указать название сетевого хранилища.
-
Выбрать тип подключения.
Установить значение:
nfs
. -
Выбрать локацию.
-
Выбрать все серверы для монтирования сразу после создания.
-
Указать IP-адрес или доменное имя СХД.
-
Проверить доступность сервера с помощью кнопки Проверить соединение и получить доступные тома (volumes).
-
Указать каталог на сетевом хранилище (volume).
-
Указать каталог монтирования в SpaceVM (mount_point, имя конечной директории для монитирования).
-
Убедиться, что опция Только чтение выключена.
-
Включить опцию No_root_squash, если на сервере включена опция No_root_squash (для NFS).
-
Включить опцию All_squash, если на сервере включена опция All_squash (для NFS).
-
Раскрыть опции монтирования, нажав кнопку Опции монтирования nfs, и заполнить параметры для NFS.
Параметры для NFS
-
Выбрать
sec
.Может принимать значения: none, sys, krb5, krb5i, krb5p.
-
Выбрать
lookupcache
.Может принимать значения: all, none, pos, positive.
-
Выбрать
proto
.Может принимать значения: tcp, tcp6, rdma.
-
Выбрать
версию nfs
.Может принимать значения: 3, 4.
-
Указать
clientaddr
. -
Включить или выключить опции.
Опции: noac, bg, nordirplus, nosharecache, noresvport, fsc, nointr, nocto, soft.
-
Указать параметры.
Параметры: timeo, retrans, rsize, wsize, acregmin, acregmax, acdirmin, acdirmax, actimeo, retry, port.
-
-
Указать описание
Необязательное поле.
После внесения изменений необходимо подтвердить операцию, нажав кнопку ОК.
Создание пула данных NFS
Для создания пула данных NFS необходимо:
-
Перейти в раздел Хранилища - Пулы данных основного меню.
-
Нажать кнопку Добавить пул.
-
В открывшемся окне выполнить действия:
-
Выбрать тип пула.
Установить значение:
nfs
. -
Выбрать пул ресурсов.
-
Указать название пула.
-
Выбрать сетевое хранилище.
Необходимо выбрать ранее созданное файловое NFS-хранилище.
-
Указать название каталога.
Название каталога для пула данных.
-
Указать описание пула.
Необязательное поле.
-
-
Нажать кнопку ОК.