+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО]Первоначальная передача большого хранилища данных через медленное соединение, Proxmox Backup Server

bockhold

Guest

01.06.2021 18:53:00

Привет! У меня есть PBS pbs01, который резервно копирует несколько ВМ с общим объёмом около 2 ТБ. Я хочу синхронизировать этот дата-стор с другим удалённым PBS pbs02. К сожалению, сеть между двумя PBS проходит через относительно медленные DSL-линии (~20 Мбит/с). Можно ли, например, сначала сделать rsync дата-стора на pbs01 на внешний диск, а потом снова rsync с этого диска на pbs02 и начать синхронизацию оттуда? Изменения в ВМ не очень большие, разницу можно будет подтянуть по медленному каналу за приемлемое время. Спасибо!

bockhold

Guest

27.12.2021 19:40:00

У меня возник дополнительный вопрос: однажды это сработало, а сейчас я попробовал снова. После копирования содержимого datastore (и смены владельца скопированных каталогов на backup:backup) в веб-интерфейсе я вижу, например, «VM 8 Groups, 0 Snapshots». PBS распознаёт разные ВМ, но не видит отдельные бэкапы. На диске я могу увидеть несколько папок с чанками, содержащих файлы разного размера. Что я сделал не так в этот раз? Почему PBS не показывает снимки? Спасибо!

fabian

Guest

29.12.2021 09:13:00

Содержат ли каталоги группы папки snapshot с файлами index.json.blob и другими метаданными? Это должно выглядеть примерно так (директория .chunks, где лежат сами чанки, опущена):
Код:
/backup/ct
├── 100023
│ ├── 2020-10-05T06:47:48Z
│ │ ├── catalog.pcat1.didx
│ │ ├── client.log.blob
│ │ ├── fw.conf.blob
│ │ ├── index.json.blob
│ │ ├── pct.conf.blob
│ │ └── root.pxar.didx
│ ├── 2020-10-05T06:49:39Z
│ │ ├── catalog.pcat1.didx
│ │ ├── client.log.blob
│ │ ├── fw.conf.blob
│ │ ├── index.json.blob
│ │ ├── pct.conf.blob
│ │ └── root.pxar.didx
│ ├── [...]
│ │ [...]
│ └── owner
├── [...]
/backup/vm
├── 110
│ ├── 2021-04-26T12:03:52Z
│ │ ├── client.log.blob
│ │ ├── drive-ide1.img.fidx
│ │ ├── drive-sata1.img.fidx
│ │ ├── drive-scsi0.img.fidx
│ │ ├── drive-scsi1.img.fidx
│ │ ├── drive-virtio1.img.fidx
│ │ ├── index.json.blob
│ │ └── qemu-server.conf.blob
│ ├── 2021-04-26T12:08:12Z
│ │ ├── client.log.blob
│ │ ├── drive-ide1.img.fidx
│ │ ├── drive-sata1.img.fidx
│ │ ├── drive-scsi0.img.fidx
│ │ ├── drive-scsi1.img.fidx
│ │ ├── drive-virtio1.img.fidx
│ │ ├── index.json.blob
│ │ └── qemu-server.conf.blob
│ ├── [...]
│ │ [...]
│ └── owner
├── [...]

bockhold

Guest

29.12.2021 21:58:00

Спасибо за ответ! Да, там есть метаданные: Bash: # ls -alR datastore-as

datastore-as:
total 1048
drwxr-xr-x 4 backup backup 4096 Dec 29 08:00 .
drwxr-xr-x 5 root root 4096 Jun 22 2021 ..
drwxrwxrwx 1 backup backup 1056768 Jun 3 2021 .chunks
-rw-r--r-- 1 backup backup 310 Dec 29 08:00 .gc-status
-rw-rw-rw- 1 backup backup 0 May 27 2021 .lock
drwxrwxrwx 10 backup backup 4096 May 27 2021 vm

[...]

datastore-as/vm/110/2021-12-22T231412Z:
total 280
drwxrwxrwx 2 backup backup 4096 Dec 23 17:27 .
drwxrwxrwx 34 backup backup 4096 Dec 26 03:01 ..
-rw-rw-rw- 1 backup backup 651 Dec 23 00:14 client.log.blob
-rw-rw-rw- 1 backup backup 266240 Dec 23 00:14 drive-scsi0.img.fidx
-rw-rw-rw- 1 backup backup 630 Dec 23 17:27 index.json.blob
-rw-rw-rw- 1 backup backup 360 Dec 23 00:14 qemu-server.conf.blob

datastore-as/vm/110/2021-12-23T233042Z:
total 280
drwxrwxrwx 2 backup backup 4096 Dec 24 18:52 .
drwxrwxrwx 34 backup backup 4096 Dec 26 03:01 ..
-rw-rw-rw- 1 backup backup 693 Dec 24 00:31 client.log.blob
-rw-rw-rw- 1 backup backup 266240 Dec 24 00:31 drive-scsi0.img.fidx
-rw-rw-rw- 1 backup backup 630 Dec 24 18:52 index.json.blob
-rw-rw-rw- 1 backup backup 360 Dec 24 00:30 qemu-server.conf.blob

datastore-as/vm/110/2021-12-24T235945Z:
total 280
drwxrwxrwx 2 backup backup 4096 Dec 25 01:01 .
drwxrwxrwx 34 backup backup 4096 Dec 26 03:01 ..
-rw-rw-rw- 1 backup backup 883 Dec 25 01:01 client.log.blob
-rw-rw-rw- 1 backup backup 266240 Dec 25 01:01 drive-scsi0.img.fidx
-rw-rw-rw- 1 backup backup 509 Dec 25 01:01 index.json.blob
-rw-rw-rw- 1 backup backup 360 Dec 25 00:59 qemu-server.conf.blob

И, похоже, вот в чем проблема: двоеточия в именах папок каким-то образом превратились в странные символы?!

fabian

Guest

30.12.2021 08:42:00

Да, похоже, что что-то пошло не так при копировании. Ты можешь попробовать исправить одну снимок (переименовав его), затем проверить, правильно ли он подтверждается — если всё нормально, переименуй все остальные (скорее всего, лучше написать какой-нибудь скрипт, который автоматически исправит искажённые имена). Как именно ты копировал дерево datastore? Какая файловая система используется в твоём копировании?

bockhold

Guest

01.01.2022 11:54:00

Ещё раз спасибо за помощь! Эта команда помогает привести имена папок в порядок: mmv -r '2021-*T??*00*0?Z' '2021-#1T#2#3:00:0#6Z' . После этого я снова вижу все снимки в графическом интерфейсе. Но когда пытаюсь проверить выбранный снимок, получаю сообщение SKIPPED: verify datastore-as:vm/100/2021-12-05T23:00:02Z (недавно проверен) — как можно принудительно запустить проверку? Я копировал с помощью rsync: rsync -aHAXP /source /target . Источник — общий каталог, смонтированный по NFS с QNAP NAS, а назначение — локальный диск с ext4.

bockhold Guest	#7 0 07.01.2022 15:50:00 Я принудительно запустил проверку, настроив задачу verify с "skip verified: no". Работает. И нашёл лучший способ переименовывать папки с некорректными символами: Bash: for dir in *; do mv "${dir}" $(echo "${dir}" \| sed -e 's/[^A-Za-z0-9._-]/:/g') done

fabian Guest	#8 0 10.01.2022 07:41:00 Отлично, что ты смог это починить — но всё равно интересно, откуда вообще взялись эти символы.

bockhold Guest	#9 0 10.01.2022 17:27:00 Я тоже так считаю. Особенно учитывая, что сначала монтировал шарики через NFS на PBS 1, где создавались бэкапы, а теперь на PBS 2, чтобы скопировать содержимое на локальный диск — делаю абсолютно то же самое. К сожалению, сейчас у меня нет времени на полноценное расследование...

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры