ZFS

Общая информация

В разделе Хранилища - ZFS основного меню содержится информация обо всех хранилищах ZFS, сконфигурированных в системе. ZFS-хранилища являются локальными, но возможности данных хранилищ значительно шире, чем у локальных файловых хранилищ. Создавая хранилище ZFS, необходимо подготовить сервер к созданию на нем пула данных типа zfs.

Создание

Для создания ZFS-хранилища необходимо в разделе Хранилища - ZFS основного меню нажать кнопку Добавить ZFS. В открывшемся окне необходимо выполнить следующие действия:

1. Выбрать сервер размещения ZFS.

2. Выбрать тип пула.

   В типе пула необходимо выбрать режим RAID, который будет применяться к входящим в состав ZFS-хранилища дискам. Доступны следующие режимы: stripe, mirror, raidz1, raidz2. Режимы raidz1 и raidz2 соответствуют RAID5 и RAID6.

3. Выбрать локальные устройства.

4. Выбрать LUN-устройства.

5. Указать название пула.

6. Указать описание пула.

После заполнения полей необходимо подтвердить операцию, нажав кнопку ОК.

Операции

Управление работой ZFS-хранилища происходит в окне подробного просмотра хранилища, которое открывается при нажатии на название хранилища.

Логика управления ZFS соответствует управлению работой RAID-контроллера.

В окне подробного просмотра ZFS-хранилища доступны следующие операции:

• Обновление информации с помощью кнопки .

• Расширение (добавление блочных устройств верхнего уровня). Расширение доступно для ZFS с типом пула stripe. Операция добавляет дополнительные устройства к имеющемуся хранилищу. После нажатия кнопки Расширить в открывшемся окне необходимо выбрать из раскрывающегося списка НЖМД сервера (Локальные устройства) или подключенные к серверу сетевые блочные устройства (LUN-устройства).

• Добавление реплики. Операция доступна для ZFS с типами пула stripe и mirror, в составе которого только один диск. Операция преобразует хранилище в тип mirror. После нажатия кнопки Добавить реплику в открывшемся окне необходимо выбрать из раскрывающегося списка тип блочного устройства и присоединяемое устройство (НЖМД или LUN).

• Добавление устройства горячей замены. Данная операция позволяет отметить неиспользуемое системой устройство как hot-swap для данного хранилища. После нажатия кнопки Добавить устройства горячей замены в открывшемся окне необходимо выбрать из раскрывающегося списка локальные устройства или подключенные к серверу LUN-устройства.

• Добавление устройства под журналы. Операция вызывается нажатием кнопки Добавить устройства под журналы, в открывшемся окне необходимо выбрать из раскрывающегося списка локальные устройства или подключенные к серверу LUN-устройства.

• Добавление устройства кэширования. Операция добавления устройства кэширования позволяет добавить кэш для ZFS RAID-массива. После нажатия кнопки Добавить устройства кэширования в открывшемся окне необходимо выбрать из раскрывающегося списка локальные устройства или подключенные к серверу LUN-устройства.

• Сброс ошибок в пуле.

• Проверка целостности данных (scrub).

• Получение расширенных сведений о ZFS.

• Удаление пула. Операция удаления позволяет расформировать ZFS-хранилище.

В окне подробного просмотра хранилища содержатся сведения, разделенные на следующие группы: Информация, Пулы данных, События, Задачи, Теги.

Информация

В разделе Информация подробного просмотра ZFS-хранилища отображаются сведения о ZFS-хранилище:

1. Название.

2. Описание (редактируемый параметр).

3. Сервер.

4. Состояние.

5. Общий размер.

6. Свободное пространство.

7. Дата и время создания.

8. Дата и время изменения.

9. Локальные устройства (раскрывающийся список). Каждое устройство содержит следующие сведения: Название, Размер, Состояние, Кэширование, Устройства под журналы, Устройства горячей замены.

   Для каждого устройства доступны операции:

   • Включение (выключение) устройства.

   • Замена устройства.

   • Демонтирование устройства.

     Удаление диска из состава ZFS возможно только для хранилища, в составе которого два или более дисков. Если в составе ZFS с типом mirror останется только один диск, то он преобразуется в тип stripe.

10. Устройства LUN (раскрывающийся список).

11. Дополнительные характеристики (раскрывающийся список):

    • Автозамена (вкл/выкл).

    • Точка монтирования.

    • Сдвиг (ashift).

Пулы данных

В разделе Пулы данных подробного просмотра ZFS-хранилища отображаются созданные в хранилище пулы данных в табличном виде, включая для каждого из них следующие сведения: Название, Тип, Количество серверов, Количество виртуальных дисков, Количество образов, Количество файлов, Использованный объем, Приоритет и Статус.

При нажатии на название пула открывается окно подробного просмотра, в котором доступны следующие операции:

• Обновление информации с помощью кнопки .

• Извлечение пула. Операция осуществляется с помощью кнопки Извлечь, также при извлечении можно включить или выключить опцию Форсированное извлечение.

• Очистка пула. Операция осуществляется с помощью кнопки Очистить, также при очистке можно включить или выключить опцию Очистить принудительно.

• Очистка несвязанных снимков дисков и памяти. Операция осуществляется нажатием на кнопку Очистить несвязанные снимки дисков и памяти и производит удаление несвязанных файлов снимков дисков и памяти с расширением .snapshot и .memory.

• Сканирование. Операция осуществляется с помощью кнопки Сканировать и производит сканирование пула данных для обнаружения отсутствующих образов дисков и файлов. Также при сканировании можно включить или выключить опцию Удалять недопустимые.

• Удаление пула данных. Операция осуществляется с помощью кнопки Удалить, также при удалении можно включить или выключить опцию Форсированное удаление.

Подробное описание раздела Пулы данных.

События

В разделе События подробного просмотра ZFS-хранилища отображаются зарегистрированные в системе события, связанные с работой выбранного хранилища.

Возможна их сортировка по признакам:

• По всем типам.

• Ошибки.

• Предупреждения.

• Информационные.

Также можно включить опцию Только непрочитанные, чтобы в списке событий отображались только непрочитанные события.

Задачи

В разделе Задачи отображаются зарегистрированные в системе задачи, возникающие при выполнении действий с выбранным ZFS-хранилищем.

Теги

В разделе Теги содержится список назначенных выбранному хранилищу тегов. Существует возможность создать, удалить, применить тег и обновить список назначенных хранилищу тегов.

ARC-кэш

При создании ZFS-пулов необходимо учитывать адаптивное использование памяти сервера под ARC-кэш.

echo $[ N*1048576*1024 ] > /sys/module/zfs/parameters/zfs_arc_max

3гб: 3221225472
6гб: 6442450944
10гб: 10737418240
15гб: 16106127360

echo options zfs zfs_arc_max=16106127360>> /etc/modprobe.d/zfs.conf

update-initramfs -u

приблизительная скорость записи на устройство:  
[root@04bdd07c-5b93-40b3-9b52-148993161241 ~]#`sync; dd if=/dev/urandom of=tempfile bs=1M count=1024; sync`  
1024+0 records in  
1024+0 records out  
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 6.10459 s, 176 MB/s  
[root@04bdd07c-5b93-40b3-9b52-148993161241 ~]#`sync; dd if=/dev/urandom of=tempfile bs=1M count=1024; sync`  
1024+0 records in  
1024+0 records out  
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 6.31901 s, 170 MB/s  
[root@04bdd07c-5b93-40b3-9b52-148993161241 ~]#`sync; dd if=/dev/urandom of=tempfile bs=1M count=1024; sync`  
1024+0 records in  
1024+0 records out  
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.0737 s, 152 MB/s  
[root@04bdd07c-5b93-40b3-9b52-148993161241 ~]#`sync; dd if=/dev/urandom of=tempfile bs=1M count=1024; sync`  
1024+0 records in  
1024+0 records out  
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 5.9285 s, 181 MB/s  

zpool get all "ваш_пул_zfs" | grep ashift`
"ваш_пул_zfs" ashift 13 local

Импорт ZFS-пулов

Импорт ZFS-пулов осуществляется с помощью следующих команд:

• Получение имен и параметров импортируемых ZFS-пулов:

zpool import

• Импорт в систему ZFS-пулов:

zpool import -C <pool_name> — импорт из файла кэша, если пул там указан, zpool import -d /dev/disk/by-id <pool_name> — при проблемах с файлом кэша или если запись о ZFS-пуле из кэша отсутствует (например, если ZFS-пул не импортировался ввиду отсутствия дисков на этапе загрузки, а потом с исправными пулами проводились какие-либо манипуляции, не импортированные ZFS-пулы «забываются» кэшем).

• Проверка появления пула в системе:

zpool list

• Чтобы пул сохранился после перезагрузки, нужно пересоздать кэш с указанием этого ZFS-пула:

zpool set cachefile=/etc/zfs/zpool.cache <pool_name>

Загрузка системы с неполным набором устройств (дисков, LUN), входящих в ZFS-пулы

Если ZFS-пул, в котором не достаёт устройств, обладает достаточной избыточностью, чтобы компенсировать их отсутствие (для типа mirror должно остаться хотя бы одно устройство, для типа raidz1 возможно остаться без одного, для raidz2 — без двух устройств, устройства горячего резерва и кэша чтения на работоспособность не влияют), то такой ZFS-пул импортируется при старте системы обычным образом. В противном случае этот ZFS-пул не импортируется. Если есть техническая возможность вернуть в систему недостающие устройства под теми же именами, то после их возврата пострадавший ZFS-пул будет импортирован автоматически при перезагрузке узла, либо сразу через CLI — после проверки возможности импорта ZFS-пула командой zpool import или zpool import -d /dev/disk/by-id. Для проверки состояния кэша используют команду CLI zdb. Она отображает сохраненные в кэше ZFS-пулы, входящие в них устройства, их типы, а также некоторую дополнительную информацию.

Также может быть полезна информация из меток устройств, входивших в ZFS-пул — zdb -l <device>. Будет показано, принадлежит ли устройство ZFS-пулу, какому именно, какой GUID у этого устройства и на каком хосте создан данный ZFS-пул.

# zdb
zfs_115:
    version: 5000
    name: 'zfs_115'
    state: 0
    txg: 4
    pool_guid: 879109887279304795
    errata: 0
    hostid: 4212788997
    hostname: 'f96b4837-a7e3-43a1-ab52-37bdc4677b82'
    com.delphix:has_per_vdev_zaps
    vdev_children: 1
    vdev_tree:
        type: 'root'
        id: 0
        guid: 879109887279304795
        create_txg: 4
        children[0]:
            type: 'disk'
            id: 0
            guid: 15989658986416599112
            path: '/dev/disk/by-id/scsi-SATA_ST1000NX0313_S470HK28-part1'
            devid: 'ata-ST1000NX0313_S470HK28-part1'
            phys_path: 'pci-0000:00:1f.2-ata-1.0'
            whole_disk: 1
            metaslab_array: 256
            metaslab_shift: 33
            ashift: 13
            asize: 1000189984768
            is_log: 0
            create_txg: 4
            com.delphix:vdev_zap_leaf: 129
            com.delphix:vdev_zap_top: 130
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data

zdb -l /dev/disk/by-id/scsi-SATA_ST1000NX0313_S470HK28-part1
------------------------------------
LABEL 0
------------------------------------
    version: 5000
    name: 'zfs_115'
    state: 0
    txg: 2321441
    pool_guid: 879109887279304795
    errata: 0
    hostid: 4212788997
    hostname: 'f96b4837-a7e3-43a1-ab52-37bdc4677b82'
    top_guid: 15989658986416599112
    guid: 15989658986416599112
    vdev_children: 1
    vdev_tree:
        type: 'disk'
        id: 0
        guid: 15989658986416599112
        path: '/dev/disk/by-id/scsi-SATA_ST1000NX0313_S470HK28-part1'
        devid: 'ata-ST1000NX0313_S470HK28-part1'
        phys_path: 'pci-0000:00:1f.2-ata-1.0'
        whole_disk: 1
        metaslab_array: 256
        metaslab_shift: 33
        ashift: 13
        asize: 1000189984768
        is_log: 0
        DTL: 50892
        create_txg: 4
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data
    labels = 0 1 2 3