+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

RSS

Не удалось переместить диски LXC контейнера на другой носитель / ошибка rsync:11 / превышен лимит квоты., Proxmox Виртуальная Среда

Urbanovits

Guest

05.03.2025 17:24:00

Привет, я застрял с этой проблемой. Подозреваю, что это может быть связано с квотой ZFS, но квот не установлено, а использование inode на 1% на томах LXC нужно перенести на другое хранилище (iSCSI). Проблема с источником? Лог пишет: «Стирается DOS-сигнатура на /dev/vg02/vm-100-disk-0». Создан логический том "vm-100-disk-0". Создается файловая система с 2621440 блоками по 4k и 655360 inode. UUID файловой системы: dca0f4b6-e4f3-458a-9543-a1b0dd580687. Резервные копии суперблока сохранены на блоках: 32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632. rsync: [receiver] запись не удалась на "/var/lib/lxc/100/.copy-volume-1/var/urbackup/backup_server_files.db": на устройстве недостаточно места (28). Ошибка rsync: ошибка ввода-вывода файла (код 11) в receiver.c(381) [receiver=3.2.7]. rsync: [sender] ошибка записи: Broken pipe (32). Логический том "vm-100-disk-0" успешно удален. ОШИБКА ЗАДАЧИ: команда 'rsync --stats -X -A --numeric-ids -aH --whole-file --sparse --one-file-system '--bwlimit=0' /var/lib/lxc/100/.copy-volume-2/ /var/lib/lxc/100/.copy-volume-1' завершилась с кодом выхода 11. Сервер имеет 32 ГБ ОЗУ и не выполняет ни одной VM/LXC. df -h Код: Data02/subvol-100-disk-0 10G 4.5G 5.6G 45% /Data02/subvol-100-disk-0 Data02/subvol-100-disk-1 4.9T 2.4T 2.6T 49% /Data02/subvol-100-disk-1 zfs get refquota Data02/subvol-100-disk-0 и zfs get refquota Data02/subvol-100-disk-1 Код: Data02/subvol-100-disk-1 refquota 4.88T local root@pve04:~# zfs get refquota Data02/subvol-100-disk-0 NAME PROPERTY VALUE SOURCE Data02/subvol-100-disk-0 refquota 10G local root@pve04:~# zfs get refquota Data02/subvol-100-disk-1 NAME PROPERTY VALUE SOURCE Data02/subvol-100-disk-1 refquota 4.88T local Код: df -i Data02/subvol-100-disk-0 11797360 85080 11712280 1% /Data02/subvol-100-disk-0 Data02/subvol-100-disk-1 5422031467 33072667 5388958800 1% /Data02/subvol-100-disk-1 Что посоветуете сделать?

waltar Guest	#2 0 05.03.2025 18:36:00 Твоя проблема с местом на диске в /var/lib/lxc/.

Urbanovits Guest	#3 0 05.03.2025 20:09:00 Не думаю, что так. root@pve04:~# df -h /var/lib/lxc/ Filesystem Size Used Avail Use% Mounted on rpool/ROOT/pve-1 450G 20G 430G 5% /

fiveangle

Guest

27.04.2025 09:55:00

Вижу, что эта тема заглохла, но я столкнулся с похожей проблемой. Единственное отличие — перенос тома LXC с хранилища ZFS на хранилище LVM-thin, но в остальном идентичные результаты, при этом на /var/lib/lxc куча свободного места. Отпишитесь, если нашли решение, но предполагаю, что вы, скорее всего, полностью сделали бэкап гостя, а затем восстановили его на другом хранилище? Кажется, это сломалось недавно, поэтому интересно, не регрессия ли это в PVE?

Urbanovits

Guest

29.04.2025 16:21:00

Я понятия не имел, как это решить. Это простая задача по копированию большого объема данных. Полагаю, что проблема в таймауте на rsync-сервисах, размещенных на Debian, или в самом rsync. Обходным путем было бы выключить CT, затем сделать резервную копию и восстановить в другом месте ИЛИ использовать rsync с параметрами --partial и -n (нормальное чтение) и -v (подробный вывод), чтобы получить больше информации, но это настолько трудоемкий процесс. Не проверено из-за нехватки свободного времени. Кстати: https://serverfault.com/questions/762524/rsync-hangs-on-one-big-file

fiveangle

Guest

30.04.2025 13:11:00

ОБНОВЛЕНИЕ: в моём случае (и, вероятно, в вашем) целевой том заполнялся ещё до завершения перемещения. Оказывается, спецификация размера=nG для виртуальных дисков rootfs/mpX LXC, хранящихся в пуле хранилища PVE на основе ZFS, ссылается только на фактическое количество физических блоков, которые виртуальный диск потребляет из родительского пула ZFS, и *вообще не ссылается* на значения logicalused или logicalreferenced виртуального диска, лежащего в его ZFS dataset (!). Это вопиющая функциональная ошибка в дизайне, поскольку при перемещении виртуального диска с хранением в ZFS dataset (как в случае с LXC) на пул хранилища, не основанный на ZFS, пространство для этого целевого диска создаётся в том же размере, что и исходный том ZFS, но каким-то образом должно вмещать полностью нескомпрессированные данные виртуального диска, представленные в ZFS dataset, плюс пространство, необходимое для хранения любых связанных inodes, xattrs и т.д., которые могут потребоваться целевой файловой системой для хранения этих файлов. Так что… [дальше идёт логика, которую нужно запомнить, прежде чем перемещать какие-либо тома LXC с хранилища ZFS на любое другое...] Нужно *вручную* проверять, что значение свойства logicalreferenced виртуального диска (лежащего в его ZFS dataset) меньше, чем его свойство refquota (плюс накладные расходы целевой файловой системы). В противном случае pvesm с удовольствием настроит целевой том, rsync радостно скопирует каждый файл на него, а ZFS весело декомпрессирует и проверяет контрольные суммы по мере выгрузки... пока целевой том не заполнится (обычно под конец): БАМ! :eyeroll: Распечатайте это и повесьте рядом с монитором каждого администратора PVE: Код: root@richie:~# zfs get all rpool/data/subvol-122-disk-1|egrep "refquota|referenced|refcompressratio"
rpool/data/subvol-122-disk-1 referenced 2.23G -
rpool/data/subvol-122-disk-1 refquota 4G local
rpool/data/subvol-122-disk-1 refcompressratio 3.99x -
rpool/data/subvol-122-disk-1 logicalreferenced 6.57G -
root@richie:~# zfs set refquota=8G rpool/data/subvol-122-disk-1
root@richie:~# zfs get all rpool/data/subvol-122-disk-1|egrep "refquota|referenced|refcompressratio"
rpool/data/subvol-122-disk-1 referenced 2.23G -
rpool/data/subvol-122-disk-1 refquota 8G local
rpool/data/subvol-122-disk-1 refcompressratio 3.99x -
rpool/data/subvol-122-disk-1 logicalreferenced 6.57G -
root@richie:~# pct rescan
rescan volumes...
CT 122: updated volume size of 'local-zfs:subvol-122-disk-1' in config.
root@richie:~# grep subvol-122-disk-1 /etc/pve/lxc/*.conf
/etc/pve/lxc/122.conf:rootfs: local-zfs:subvol-122-disk-1,mountoptions=noatime,size=7G TL;DR: logicalreferenced + накладные расходы целевой файловой системы ДОЛЖНЫ БЫТЬ МЕНЬШЕ, чем refquota, чтобы перемещать какие-либо виртуальные диски LXC с хранилища ZFS.

Urbanovits

Guest

30.04.2025 16:43:00

Вот что у меня получилось. Перенос не удался. Не удалось переместить эти ZFS-тома на iSCSI LVM (8ТБ).

root@pve04:~# zfs get all /Data02/subvol-100-disk-0|egrep "refquota|referenced|refcompressratio" Data02/subvol-100-disk-0 referenced 4.50G - Data02/subvol-100-disk-0 refquota 10G local Data02/subvol-100-disk-0 refcompressratio 3.93x - Data02/subvol-100-disk-0 logicalreferenced 17.2G - root@pve04:~# zfs get all /Data02/subvol-100-disk-1|egrep "refquota|referenced|refcompressratio" Data02/subvol-100-disk-1 referenced 2.38T - Data02/subvol-100-disk-1 refquota 4.88T local Data02/subvol-100-disk-1 refcompressratio 2.11x - Data02/subvol-100-disk-1 logicalreferenced 4.85T - Боюсь, что у меня нет другого выбора, кроме как оставить эти диски на ZFS. Есть идеи, как временно увеличить refquota?

fiveangle

Guest

01.05.2025 23:44:00

Да, вот почему я опубликовал это выше: Bash: [...]
########следующая команда "изменяет" размер виртуального диска##########
root@richie:~# zfs set refquota=8G rpool/data/subvol-122-disk-1 <=======эта команда
[...]
########следующая команда инструктирует pvesm обновить размер, изменив /etc/pve/lxc/[ID].conf########
root@richie:~# pct rescan
rescan volumes...
CT 122: обновлен размер тома 'local-zfs:subvol-122-disk-1' в конфигурации.
[...] [вернись вверх и следуй за последовательностью того, что я делал... - узнал информацию о zfs томе, чтобы определить, насколько нужно увеличить размер - изменил его - дал pct обновить pve о новом размере диска - перемести, перемести, перемести. Так как твоя логическая ссылка составляет ~4,85T, то минимально тебе нужно: zfs set refquota=5T /Data02/subvol-100-disk-1 pct rescan переместить том в пул хранения lvm в графическом интерфейсе. Если ты планируешь увеличить размер диска более чем на 5TB после перемещения, просто внеси корректировку с помощью команды zfs-set выше, затем перемести это в графическом интерфейсе, и pvesm оптимально разместит хранилище на твоем lvm, без необходимости в последующем изменении размера (так как он выделит адекватное количество inodes и резервных btrees для окончательного размера среза).

Urbanovits Guest	#9 0 02.05.2025 11:35:00 Привет, fiveangle! Спасибо огромное, отличная и глубокая работа, которую ты проделал для нас.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры