Подключение хранилищ и создание пулов данных
Важным аспектом обеспечения отказоустойчивости кластера является использование разделяемого хранилища GFS2, которое базируется на внешней СХД, подключенной по протоколам iSCSI или FC. Для устранения единичной точки отказа в подключении СХД рекомендуется дублирование коммутаторов и использование технологии Multipath.
Подключение блочного хранилища
С использованием iSCSI
Для создания блочного хранилища iSCSI необходимо перейти в раздел Хранилища - Сетевые хранилища - Блочные основного меню и нажать кнопку Добавить хранилище.
В открывшемся окне необходимо выполнить следующие действия:
- 
Указать название сетевого хранилища. 
- 
Включить опцию Multipath I/O. Определить возможность подключения узлов сети хранения данных с использованием нескольких маршрутов (состояние Multipath I/O). Примечание С версии SpaceVM 6.5.7 опция Multipath I/O отсутствует в окне создания блочного хранилища. Включение технологии Multipath будет происходить автоматически на основе подключаемой СХД. 
- 
Выбрать режим использования Multipath I/O - failover.При подключении узлов будет проверяться наличие хотя бы одного активного пути из всех. 
- 
Выбрать тип подключения. 
- 
Выбрать локацию. 
- 
Выбрать сервер для монтирования сразу после создания. 
- 
Добавить IP-адрес или доменное имя сервера хранения и порт. Если указать несколько адресов, то в окне Опции необходимо указать, к какому адресу относится каждый таргет. 
- 
Проверить доступность сервера и получить список доступных таргетов с помощью кнопки Получить доступные таргеты (target). 
- 
Указать имя iSCSI Target. 
- 
Указать логин и пароль для подключения (если требуется). 
- 
Выбрать производителя. 
- 
Выполнить настройку в окне Опции. После нажатия кнопки Опции в открывшемся окне нужно выполнить действия: - 
Выбрать таргет. 
- 
Выбрать адрес (ip-адрес/доменное имя), относящийся к выбранному таргету. 
- 
С помощью кнопки  добавить еще таргет и его адрес (если это необходимо). Чтобы удалить путь к сетевому хранилищу (убрать пару Таргет – Адрес), нужно нажать на кнопку добавить еще таргет и его адрес (если это необходимо). Чтобы удалить путь к сетевому хранилищу (убрать пару Таргет – Адрес), нужно нажать на кнопку . .
 После заполнения полей подтвердить действия с помощью кнопки Сохранить. 
- 
- 
Добавить описание хранилища. Необязательное поле. 
Для подтверждения операции необходимо нажать кнопку ОК.
С использованием FC
При физическом подключении блочного хранилища по FC к серверу контроллер выдаст предупреждение серверу о том, что есть неизвестные блочные хранилища.
Если есть предупреждение, то необходимо перейти в раздел Серверы - <Имя сервера> - Хранилища – Блочные хранилища и нажать кнопку Сканировать. Если на сервере найдутся незарегистрированные в базе контроллера хранилища, то они создадутся в базе или обновится связь с теми, что есть в базе.
Примечание
В некоторых случаях (например, этого требуют FCoE адаптеры HPE630FLB) для включения FC функционала на адаптерах необходимо
перейти в CLI узлов и выполнить команду CLI net fcoe enable {имя адаптера}.
Настройки multipath
Для просмотра настроек multipath в CLI узла необходимо выполнить команду:  
storage multipath-conf
Внимание
Если для нужного устройства нет предустановленного файла конфигурации, необходимо найти его у производителя СХД и добавить вручную через CLI с помощью команд:
- 
Команда для редактирования конфигурационного файла. storage multipath-edit
- 
Команда для сброса файла конфигурации multipath до базового. storage multipath-conf-set-default
Для сканирования доступных путей в CLI используется команда:
storage scsi-host-discovery
Для изменения политики группировки путей LUN в CLI используется команда:
storage modify-multipath-path-grouping-policy [policy]
Для обеспечения отказоустойчивости рекомендуется использовать
path_grouping_policy=failover.
Варианты path_grouping_policy
- failover— один путь для каждой группы приоритетов.
- multibus— все пути в одной группе приоритетов.
- group_by_serial— одна группа приоритетов для каждого серийного номера.
- group_by_prio— одна группа приоритетов для каждого значения приоритета. Приоритеты путей определяются при помощи программ callout, которые передают значения приоритетов, указанных в соответствующих секциях (глобальной, для определенных контроллеров хранения, для определенных путей) конфигурационного файла.
- group_by_node_name— одна группа приоритетов для каждого имени целевого узла. Имена целевых узлов читаются из /sys/class/fc_transport/target*/node_name.
Для изменения политики выбора путей LUN в CLI используется команда:
storage modify-multipath-path-selector [path_selector]
Рекомендуется использовать
path_selector=service-time 0.
Варианты path_selector
- service-time 0— отправляет следующую часть операций I/O по пути с наименьшим расчетным временем обслуживания, которое определяется делением общего объема ожидающих операций I/O для каждого пути на его относительную пропускную способность.
- round-robin 0— поочередно перебирает все пути в группе, отправляя одинаковый объем операций I/O на каждый путь.
- queue-length 0— выбирает путь для следующей части операций I/O на основе количества ожидающих операций I/O на этом пути.
Создание пула данных GFS2
Самостоятельное создание КТ и пула данных GFS2
Для создания кластерного транспорта необходимо:
- 
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты. 
- 
Нажать кнопку Создать. 
- 
Выполнить действия: - 
Указать название. 
- 
Указать описание (опционально). 
- 
Выбрать кластер. 
- 
Выбрать тип. Необходимо указать тип файловой системы gfs2.
 Внимание Для кластерного транспорта необходимо активировать опцию Выбрать внешнюю сеть и указать созданную ранее внешнюю сеть GFS2. 
- 
После создания кластерного транспорта необходимо создать пул данных GFS2. Для этого необходимо:
- 
Перейти в раздел основного меню Хранилища - Пулы данных и нажать кнопку Добавить пул. 
- 
В открывшемся окне выполнить действия: - 
Выбрать тип пула. Установить значение: gfs2.
- 
Выбрать кластер. 
- 
Выбрать пул ресурсов. 
- 
Кластерный транспорт. Будет выбран автоматически. 
- 
Указать название пула данных. 
- 
Выбрать LUNs. Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN. Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно. 
- 
Указать название каталога. Название каталога для пула данных. 
- 
Указать описание пула. Необязательное поле. 
- 
Форматировать LUN. При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2. Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных. Внимание Форматирование LUN удалит все данные на нем. 
- 
Режим отладки. Включение отладочного режима для диагностики GFS2. Опция доступна только в ситуации, когда LUN не примонтирован. Внимание Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2. Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных. 
 
- 
- 
Нажать кнопку ОК. 
Создание КТ и пула данных GFS2 из единого интерфейса
Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.
Для создания кластерного транспорта и пула данных GFS2 из единого интерфейса необходимо:
- 
Перейти в раздел Хранилища - Пулы данных. 
- 
Нажать кнопку Добавить пул. 
- 
В открывшемся окне выполнить действия: - 
Выбрать тип пула. Установить значение: gfs2.
- 
Выбрать кластер. 
- 
Выбрать пул ресурсов. 
- 
Указать название кластерного транспорта. Если на выбранном кластере нет КТ типа GFS2, то он будет создан. Возможно указание названия для нового КТ. При оставлении поля пустым название будет задано автоматически. 
- 
Указать название пула данных. 
- 
Выбрать LUN. Необходимо выбрать LUN ранее подключенного Блочного хранилища. Пул данных будет создан на выбранном LUN. Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно. 
- 
Указать название каталога. Название каталога для пула данных. 
- 
Указать описание пула. Необязательное поле. 
- 
Выбрать внешнюю сеть. Необходимо выбрать ранее созданную внешнюю сеть GFS2.
- 
Форматировать LUN. При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2. Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных. Внимание Форматирование LUN удалит все данные на нем. 
- 
Режим отладки. Включение отладочного режима для диагностики GFS2. Опция доступна только в ситуации, когда LUN не примонтирован. Внимание Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2. Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных. 
 
- 
- 
Нажать кнопку ОК. 
Подключение NFS хранилища для резервных копий
Подключение файлового хранилища
Для хранения резервных копий будет создан отдельный пул данных, расположенный на NFS-хранилище. Для подключения хранилища необходимо перейти в раздел Хранилища - Сетевые хранилища - Файловые основного меню и нажать кнопку Добавить хранилище. В открывшемся окне необходимо выполнить следующие действия:
- 
Указать название сетевого хранилища. 
- 
Выбрать тип подключения. Установить значение: nfs.
- 
Выбрать локацию. 
- 
Выбрать все серверы для монтирования сразу после создания. 
- 
Указать IP-адрес или доменное имя СХД. 
- 
Проверить доступность сервера с помощью кнопки Проверить соединение и получить доступные тома (volumes). 
- 
Указать каталог на сетевом хранилище (volume). 
- 
Указать каталог монтирования в SpaceVM (mount_point, имя конечной директории для монитирования). 
- 
Убедиться, что опция Только чтение выключена. 
- 
Включить опцию No_root_squash, если на сервере включена опция No_root_squash (для NFS). 
- 
Включить опцию All_squash, если на сервере включена опция All_squash (для NFS). 
- 
Раскрыть опции монтирования, нажав кнопку Опции монтирования nfs, и заполнить параметры для NFS. Параметры для NFS- 
Выбрать sec.Может принимать значения: none, sys, krb5, krb5i, krb5p. 
- 
Выбрать lookupcache.Может принимать значения: all, none, pos, positive. 
- 
Выбрать proto.Может принимать значения: tcp, tcp6, rdma. 
- 
Выбрать версию nfs.Может принимать значения: 3, 4. 
- 
Указать clientaddr.
- 
Включить или выключить опции. Опции: noac, bg, nordirplus, nosharecache, noresvport, fsc, nointr, nocto, soft. 
- 
Указать параметры. Параметры: timeo, retrans, rsize, wsize, acregmin, acregmax, acdirmin, acdirmax, actimeo, retry, port. 
 
- 
- 
Указать описание Необязательное поле. 
После внесения изменений необходимо подтвердить операцию, нажав кнопку ОК.
Создание пула данных NFS
Для создания пула данных NFS необходимо:
- 
Перейти в раздел Хранилища - Пулы данных основного меню. 
- 
Нажать кнопку Добавить пул. 
- 
В открывшемся окне выполнить действия: - 
Выбрать тип пула. Установить значение: nfs.
- 
Выбрать пул ресурсов. 
- 
Указать название пула. 
- 
Выбрать сетевое хранилище. Необходимо выбрать ранее созданное файловое NFS-хранилище. 
- 
Указать название каталога. Название каталога для пула данных. 
- 
Указать описание пула. Необязательное поле. 
 
- 
- 
Нажать кнопку ОК.