Аспро: ЛайтШоп [тема: fstrim и размер резервной копии]

fstrim и размер резервной копии

Wed, 18 Aug 2021 16:23:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я присоединяюсь к этой теме, так как у меня похожий опыт. Я недавно узнал о функции discard и команде fstrim. Меня интересует, как это влияет на производительность и срок службы жесткого диска. Для справки, я использую PVE 6.4-13 на NVMe с разными виртуальными машинами Ubuntu, все они используют формат RAW. У меня есть синхронизация с удаленным сервером, который постоянно записывает данные на одну из ВМ, из-за чего использование диска увеличивается, если только я не запускаю команду fstrim каждый час. Кроме задания cron, как я могу автоматически освободить место, не используемое гостем? Стоит ли мне конвертировать диск в другой формат? Спасибо за советы.
18.08.2021 16:23:00, daftlink.

fstrim и размер резервной копии

Thu, 29 Apr 2021 13:35:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если вы спрашиваете про HDD, который использует LVM, то нет, он не поддерживает trim. Но почему он должен это поддерживать, если команда fstrim выполняется на гостевой системе? Нет логики в том, чтобы Discard работал только с SSD. Если у вас есть только узел Proxmox с HDD, то резервные копии будут больше, чем фактические данные на ВМ. Я провел дальнейший эксперимент — вручную создал раздел lvm на Proxmox в той же группе объемов, где находится lvm-блок диска VMID 100. Затем монтировал его в /mnt/images и переместил диск в это место в формате .raw. Fstrim сработал отлично, размер резервной копии составил всего 8 МБ. Переместил обратно в LVM блочное хранилище, и fstrim сообщает о сокращении на 9.8 ГБ, но резервная копия все еще 9 ГБ. Таким образом, fstrim в этой конфигурации не уменьшает размер резервной копии: А в этой конфигурации fstrim уменьшает размер резервной копии, как и ожидалось: Я предпочел бы иметь хранилище ВМ в блочных устройствах, а не в файлах с работающим fstrim. Просто не могу понять, почему fstrim не работает на LVM блочных бэкендах.
29.04.2021 13:35:00, Miro_I.

fstrim и размер резервной копии

Wed, 18 Aug 2021 16:33:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ниже конфигурация ВМ: Код: загрузка: порядок=scsi0
ядра: 2
память: 4096
имя: laura
net0: virtio=4E:63:E8:31:F4:5D,мост=vmbr0
numa: 0
включение: 1
тип ОС: l26
scsi0: local-lvm:vm-100-disk-0,размер=10G
scsi1: local-lvm:vm-100-disk-1,резервная копия=0,удаление=включено,размер=650G
scsi2: local-lvm:vm-100-disk-2,удаление=включено,размер=11G
scsi3: local-lvm:vm-100-disk-3,размер=3G,ssd=1
scsihw: virtio-scsi-pci
smbios1: uuid=8aa2682b-6e4f-4461-ba2f-cba235c78151
разъемы: 1
запуск: порядок=1
vmgenid: 64ff41b1-5a4b-4177-94fd-e6800d6cc98c Ниже storage.cfg Код: директория: local
путь /var/lib/vz
содержимое резервная копия,iso,vztmpl

lvmthin: local-lvm
thinpool data
vgname pve
содержимое изображения,корневой каталог
18.08.2021 16:33:00, daftlink.

fstrim и размер резервной копии

Thu, 29 Apr 2021 13:01:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вы уверены, что ваш HDD поддерживает TRIM? Для HDD это не имело смысла...
29.04.2021 13:01:00, czechsys.

fstrim и размер резервной копии

Thu, 29 Apr 2021 11:31:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я создал новую тестовую виртуальную машину с образом Ubuntu 20.04 LTS и присоединил два дополнительных диска по 10 ГБ: Один из них на SSD, а другой на HDD. На гостевой системе я смонтировал оба дополнительных диска как ext4: Я заполнил SSD-том случайными байтами: Код: dd if=/dev/urandom of=/mnt/ssd/rand bs=1M, затем удалил файл rand и выполнил fstrim -av. Создал резервную копию SSD-накопителя, и она оказалась очень маленькой - 7 МБ. Я повторил процесс с HDD-накопителем, и резервная копия составила 9,8 ГБ. Оба точки монтирования пусты: Почему fstrim не работает для HDD-накопителя? Это проблема с Proxmox, гостевой ОС или с физическими накопителями на хосте?
29.04.2021 11:31:00, Miro_I.

fstrim и размер резервной копии

Wed, 28 Apr 2021 10:03:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Фабиан. Похоже, что issue_discards является опцией по умолчанию для LVM в Ubuntu 20.04: Код: # ls -lah /etc/lvm/lvm.conf && grep "issue_discards" /etc/lvm/lvm.conf

-rw-r--r-- 1 root root 100K 13 фев 2020 /etc/lvm/lvm.conf
# Опция конфигурации devices/issue_discards.
issue_discards = 1
28.04.2021 10:03:00, Miro_I.

fstrim и размер резервной копии

Wed, 28 Apr 2021 09:57:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
LVM внутри виртуальной машины настроен для передачи команды на удаление? (/etc/lvm/lvm.conf)
28.04.2021 09:57:00, fabian.

fstrim и размер резервной копии

Wed, 28 Apr 2021 08:30:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня все еще есть проблемы с триммингом и большими резервными копиями. Fstrim запускается почти мгновенно — за 1-2 секунды, и, к примеру, сообщает, что обрезано 90 GiB. Разве возможно, что такие большие объемы данных можно обрезать за 1-2 секунды? Вчера я заполнил нулями гостевую виртуальную машину, так как резервные копии zst достигли 580 GB, когда на диске гостя было использовано 124G. Сразу после заполнения нулями и очистки я вручную запустил резервное копирование, и оно составило 86.02 GiB. Через 16 часов, когда запустилось автозапасное копирование, размер резервной копии был 305.71 GiB: На гостевой виртуальной машине у меня настроен fstrim в крон-задаче каждый час: 59 * * * * echo `date` >> /tmp/trim.log ; /usr/sbin/fstrim -a -v >> /tmp/trim.log Вот содержимое trim.log за время между двумя резервными копиями: Код: Ср 27 апр 14:20:49 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 494.9 MiB (518897664 bytes) обрезано на /dev/mapper/ssd-dovecot /: 747.5 MiB (783761408 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 14:32:16 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 358.6 MiB (375992320 bytes) обрезано на /dev/mapper/ssd-dovecot /: 831 GiB (892279078912 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 14:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 1 GiB (1098334208 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.5 GiB (1596915712 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 15:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 1 GiB (1082802176 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.4 GiB (1495396352 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 16:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 717 MiB (751845376 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.3 GiB (1343463424 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 17:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 1004.6 MiB (1053392896 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.6 GiB (1672511488 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 18:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 915.9 MiB (960397312 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.9 GiB (2001477632 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 19:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 591.1 MiB (619794432 bytes) обрезано на /dev/mapper/ssd-dovecot /: 872.7 MiB (915087360 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 20:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 255.3 MiB (267661312 bytes) обрезано на /dev/mapper/ssd-dovecot /: 820.9 MiB (860725248 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 21:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 253.5 MiB (265764864 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.1 GiB (1130905600 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 22:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 193.3 MiB (202674176 bytes) обрезано на /dev/mapper/ssd-dovecot /: 819.2 MiB (858972160 bytes) обрезано на /dev/mapper/hdd-root

Ср 27 апр 23:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 60.2 MiB (63102976 bytes) обрезано на /dev/mapper/ssd-dovecot /: 819.2 MiB (858968064 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 00:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 380.8 MiB (399278080 bytes) обрезано на /dev/mapper/ssd-dovecot /: 2.3 GiB (2430140416 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 01:59:02 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 193.1 MiB (202514432 bytes) обрезано на /dev/mapper/ssd-dovecot /: 92.4 GiB (99252297728 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 02:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 193.1 MiB (202510336 bytes) обрезано на /dev/mapper/ssd-dovecot /: 783.3 MiB (821387264 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 03:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 193.2 MiB (202575872 bytes) обрезано на /dev/mapper/ssd-dovecot /: 130.4 GiB (140042088448 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 04:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 0 B (0 bytes) обрезано на /dev/mapper/ssd-dovecot /: 709.7 MiB (744181760 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 05:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 498.4 MiB (522559488 bytes) обрезано на /dev/mapper/ssd-dovecot /: 983.5 MiB (1031225344 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 06:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 121.2 MiB (127074304 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.6 GiB (1747304448 bytes) обрезано на /dev/mapper/hdd-root

Чт 28 апр 07:59:01 CEST 2021 /var/lib/mysql: 0 B (0 bytes) обрезано на /dev/mapper/ssd-mysql /boot: 0 B (0 bytes) обрезано на /dev/sda2 /home/domain/maildir_indexes: 455.9 MiB (477990912 bytes) обрезано на /dev/mapper/ssd-dovecot /: 1.1 GiB (1143615488 bytes) обрезано на /dev/mapper/hdd-root Тримминг 27 апреля 14:32:16 с 831 GiB был после удаления файлов заполнения нулями. Большие обрезания 28 апреля 01:59:02 и 03:59:01 произошли после двух заданий резервного копирования локальных файлов, которые переместили файлы на удаленное хранилище. У меня такое ощущение, что fstrim не работает. Есть ли способ отладить? Как я могу проверить, выполняет ли fstrim свою работу?
28.04.2021 08:30:00, Miro_I.

fstrim и размер резервной копии

Wed, 18 Aug 2021 16:28:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Формат диска ничего не меняет. Обычно fstrim настроен на запуск раз в неделю в самых распространённых дистрибутивах Linux. Пожалуйста, предоставьте конфигурацию VM (qm config ) и вашу конфигурацию хранения (cat /etc/pve/storage.cfg).
18.08.2021 16:28:00, mira.

fstrim и размер резервной копии

Fri, 02 Apr 2021 11:25:00 +0300

fstrim и размер резервной копии Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я запускаю Proxmox 6.2 с несколькими ВМ, которые хранятся на LVM-накопителе с поддержкой RAID на HDD. У меня есть одна гостевая машина с 1TB SCSI, с отключенной функцией Discard (не хочу, чтобы происходила проверка при каждом удалении). Внутри гостя у меня есть LVM-раздел с текущим использованием 112 ГБ из общего объема в 983 ГБ. В последние дни я удалял некоторые данные с этого раздела, и резервное копирование Proxmox показывает: INFO: резервная копия разреженная: 537.12 GiB (53%) — всего нулевых данных INFO: передано 1010.00 GiB за 6329 секунд (163.4 MiB/с) Сжатие резервной копии установлено на ZSTD, и результат составляет 297 ГБ. Запуск fstrim / -v показывает, что некоторые данные обрезаются, но размер резервной копии не уменьшается. Можешь подсказать, как уменьшить размер резервной копии?
02.04.2021 11:25:00, Miro_I.