Перейти к содержанию

Пулы данных типа GFS2

Общие сведения

Пул данных типа GFS2 — это набор физических или логических устройств хранения, к которым файловая система GFS2 предоставляет доступ.

Пул данных GFS2 объединяет хранилища, доступные для всех узлов кластера, обеспечивая возможность совместного использования этих ресурсов. Каждый узел кластера может взаимодействовать с данными в этом пуле через GFS2, а файловая система управляет синхронизацией, блокировками и распределением данных.

Подробнее о кластерных транспортах GFS2.

Внимание

Для корректной работы разделяемого хранилища GFS2 не должны быть использованы HDD диски.

Создание пула данных

Ограничения хранилищ GFS2

  1. Поддерживается создание пулов данных размером до 100 ТБ.

  2. Для обеспечения надежности и удобства управления рекомендуется создавать несколько пулов данных, размером до 30 ТБ каждый (в сумме не больше 100 ТБ). Это позволяет сократить время восстановления, упростить управление и повысить общую производительность системы.

  3. Не рекомендуется использовать максимальный размер (100 ТБ) для создания пула. При повреждении файловой системы большого размера её проверка и восстановление может занять значительное время, что приведет к длительному простою и потере производительности.

  4. При работе пула данных GFS2 разрешен запуск не более 4 параллельных задач и только на одном узле. Если запущена групповая операция над виртуальными дисками, файлами или iso-образами (находящимися на пуле данных GFS2 или при их переносе на него), то выполнение других задач запрещено.

Для создания пула данных типа GFS2 необходимо:

  1. Перейти в раздел Хранилища - Пулы данных.

  2. Нажать кнопку Добавить пул.

  3. В открывшемся окне заполнить следующие поля:

    • Выбрать тип пула.

      Установить значение: gfs2. Поля в окне Создание пула данных изменяются в зависимости от выбранного типа пула.

    • Выбрать кластер.

    • Выбрать пул ресурсов.

    • Кластерный транспорт.

      В зависимости от наличия кластерного транспорта типа GFS2 на выбранном кластере:

      • Если КТ типа GFS2 на выбранном кластере существует, он будет выбран автоматически.

      • Если на выбранном кластере нет КТ типа GFS2, то он будет создан. Возможно указание названия для нового КТ. Если не заполнять поле, имя будет назначено автоматически.

    • Название пула данных.

    • Выбрать LUNs.

      Пул данных будет создан на выбранном LUN.

      Допускается использование только LUN с файловой системой GFS2. Если тип файловой системы другой, то необходимо активировать опцию Форматировать LUN или отформатировать LUN в ФС GFS2 вручную. Чтобы избежать ошибок, перед форматированием необходимо полностью очистить LUN от предыдущих файловых систем и данных.

    • Название каталога.

      Название каталога для пула данных.

    • Описание пула.

    • Выбрать внешнюю сеть.

      Физическая сеть, которая будет использована для обмена данными между участниками кворума.

      Возможен выбор до 7 внешних сетей (дополнительной резервной сетью всегда выступает mgmt).

      При выборе нескольких внешних сетей их приоритет убывает в порядке добавления.

      Пример добавления внешних сетей

      При добавлении сетей в порядке net_first, net_second, наивысший приоритет (8) будет у сети net_first. Следующей по порядку и приоритету (7) станет сеть net_second.

      Кроме того, к списку добавленных сетей всегда добавляется дополнительная резервная сеть mgmt с самым низким приоритетом (1).

      Таким образом, список сетей, задействованных для кластерного транспорта GFS2, всегда содержит как минимум одну сеть (mgmt), как максимум — восемь сетей.

      Опция доступна только при создании нового КТ.
      При выборе существующего КТ его сети не будут изменены.

    • Форматировать LUN.

      При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.

      Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.

      Внимание

      Форматирование LUN удалит все данные на нем.

    • Режим отладки.

      Включение отладочного режима для диагностики GFS2.

      Опция доступна только в ситуации, когда LUN не примонтирован.

      Внимание

      Во время монтирования можно включить режим отладки, который предотвратит перезагрузку узла при возникновении ошибок с файловой системой GFS2.

      Не рекомендуется включать этот режим на рабочих кластерах, так как это может привести к потере данных.

  4. Нажать кнопку ОК.

Проверка дисков на пулах данных типа GFS2

Автоматическая проверка

Автоматическая проверка наличия и состояния дисков выполняется с помощью libvirt (инструмент для управления виртуализацией). Проверка проводится только для дисков, подключённых к запущенным ВМ.

Преимущества подхода:

  • Уменьшается количество обращений к GFS2.
  • Исключаются лишние операции блокировок.
  • Снижается нагрузка на кластер.

Получение статуса не подключенных дисков

Получение актуальной информации о дисках, не подключенных к запущенным ВМ, осуществляется с помощью ручного сканирование пула данных. Для этого необходимо перейти в раздел Сервер - <Имя сервера> - Хранилище - Пулы данных - <Имя пула данных> - Диски и нажать кнопку Сканировать.

Внимание

Ручное сканирование следует выполнять только при необходимости, так как эта операция создает повышенную нагрузку на файловую систему.

Рекомендации по оптимизации работы GFS2

1. Разделение данных по пулам

Не рекомендуется размещать большой объём однотипных данных (например, все виртуальные диски кластера) в едином пуле хранения типа GFS2. В GFS2 используются внутренние механизмы блокировок доступа к данным (glock). При высокой концентрации данных в одном пуле увеличивается конкуренция за эти блокировки, что снижает производительность.

Рекомендуется:

  • Создавать несколько пулов данных.

  • Равномерно распределять сущности между пулами.

    Пример распределения сущностей

    При наличии 500 ВМ (каждая с одним виртуальным диском) лучше создать 10 пулов данных типа GFS2 и распределить их равномерно - по 50 дисков на пул.

2. Контроль свободного пространства

Не рекомендуется заполнять пул данных более чем на 85%. Это напрямую приводит к деградации производительности.

При высокой заполненности файловой системы:

  • Увеличивается время поиска свободных блоков в пуле данных.
  • Происходит работа с большим количеством групп ресурсов (resource groups).
  • Возрастает количество конфликтов блокировок доступа к данным (glock).

3. Предварительное выделение файлов

Предварительное выделение файлов (preallocation) может повысить эффективность работы файловой системы за счет:

  • Уменьшения фрагментации.
  • Более эффективного распределения блоков в пуле данных.

Внимание

Предварительное выделение файлов также может увеличить временя создания дисков и замедлить операции перемещения.

4. Размещение операций резервного копирования

Создание реплик и резервных копий рекомендуется выполнять на узле, где запущена ВМ. В GFS2 используется распределённая система блокировок (DLM), которая ограничивает доступ к данным с помощью блокировок (glock).

При выполнении операций с одного узла:

  • При локальной работе узел быстрее получает и удерживает необходимые блокировки.
  • Отсутствует необходимость взаимодействия между узлами для получения блокировок.
  • Снижается задержка на операции блокировок и их согласование.

При выполнении операций с разных узлов:

  • Требуется удаленное получение блокировок через DLM.
  • Увеличивается задержка (latency) на каждую операцию.
  • Возрастает вероятность конфликтов и ожиданий (lock contention).