Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    [РЕШЕНО]cicustom cloud-init перестал работать

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    [РЕШЕНО]cicustom cloud-init перестал работать, Proxmox Виртуальная Среда
     
    Finale3333
    Guest
    #1
    0
    28.03.2025 21:34:00
    У меня уже какое-то время работает рабочая машина Proxmox, и сегодня, когда я попытался развернуть новые ВМ, обнаружил, что cicustom cloud-init перестал работать. Я использую IaC для развертывания ВМ, и никаких изменений в скриптах cloud-init, CICD-пайплайнах или скриптах развертывания не было. Зная это, я немного покопался и начал выполнять несколько ручных команд с помощью `qm`. Вот конфигурация `qm`:

    ```
    acpi: 1
    agent: enabled=1,fstrim_cloned_disks=0,type=virtio
    balloon: 0
    bios: ovmf
    boot: order=virtio0;net0
    cicustom: user=local:snippets/ubuntu-noble-2404-init.yml
    cores: 2
    cpu: cputype=host
    cpuunits: 1024
    efidisk0: local-lvm:vm-205-disk-0,efitype=2m,pre-enrolled-keys=0,size=4M
    ide2: local-lvm:vm-205-cloudinit,media=cdrom
    ipconfig0: gw=192.168.10.1,ip=192.168.10.198/24
    keyboard: en-us
    machine: q35
    memory: 4096
    meta: creation-qemu=9.2.0,ctime=1743187441
    name: iperf2
    nameserver: 192.168.10.20 192.168.10.21
    net0: virtio=BC:24:11:A8:80:B9,bridge=vmbr10g,firewall=0,mtu=1500,tag=1
    numa: 0
    onboot: 1
    ostype: l26
    protection: 0
    scsihw: virtio-scsi-pci
    serial0: socket
    smbios1: uuid=7a0e4ac9-5fa6-4bad-aee6-ba9fa2fed6de
    sockets: 1
    tablet: 1
    template: 0
    virtio0: local-lvm:vm-205-disk-1,aio=io_uring,backup=1,cache=none,discard=on,iothread=1,replicate=1,size=12G
    vmgenid: 5541d636-dc5a-4392-bbd9-cc666b2a161f
    ```

    Я проверил файл сниппета, и он тот же, что мы использовали в IaC. Для проверки я запустил `cloud-init schema schema --config-file /var/lib/vz/snippets/ubuntu-noble-2404-init.yml`, и это вернуло успешную проверку. Затем я запустил `qm cloudinit update 205`, и он сказал, что конфигурация была перегенерирована, ВМ была запущена, и я подключился через терминал, чтобы посмотреть сообщения загрузки ядра/systemd, и там нет распознавания файла user data. Я в замешательстве, вчера я развернул ВМ без проблем, используя тот же базовый образ и файл cloud-init. У кого-нибудь есть какие-нибудь другие идеи или идеи для отладки?

    PVE pve-manager/8.3.5/dac3aa88bac3f300 (running kernel: 6.8.12-9-pve)
    Guest Ubuntu 24.04.02
     
     
     
    bbgeek17
    Guest
    #2
    0
    28.03.2025 21:39:00
    Ты используешь IDE cdrom (cloudinit) с OVMF bios. Известна проблема совместимости между IDE и OVMF. Она существует уже некоторое время, так что было бы удивительно, если бы ничего не изменилось. Попробуй изменить CloudInit на SCSI или Bios на legacy. Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
     
     
     
    Finale3333
    Guest
    #3
    0
    28.03.2025 21:54:00
    Я знаю об этом, но сам с этим не сталкивался. Это 100% IaC от начала и до конца, и никаких изменений в настройке не вносилось. У меня есть другие ВМ с ide cdrom (предоставлены до сегодня), которые работают нормально. В любом случае, принимая предложение, вот новая конфигурация:

    Код:
    acpi: 1
    agent: enabled=1,fstrim_cloned_disks=0,type=virtio
    balloon: 0
    bios: ovmf
    boot: order=virtio0;net0
    cicustom: user=local:snippets/ubuntu-noble-2404-init.yml
    cores: 2
    cpu: cputype=host
    cpuunits: 1024
    efidisk0: local-lvm:vm-205-disk-0,efitype=2m,pre-enrolled-keys=0,size=4M
    ipconfig0: gw=192.168.10.1,ip=192.168.10.198/24
    keyboard: en-us
    machine: q35
    memory: 4096
    meta: creation-qemu=9.2.0,ctime=1743192878
    name: iperf2
    nameserver: 192.168.10.20 192.168.10.21
    net0: virtio=BC:24:11:A8:72:74,bridge=vmbr10g,firewall=0,mtu=1500,tag=1
    numa: 0
    onboot: 1
    ostype: l26
    protection: 0
    scsi0: local-lvm:vm-205-cloudinit,media=cdrom
    scsihw: virtio-scsi-pci
    serial0: socket
    smbios1: uuid=02266509-b3ce-443f-921c-93465a75cb33
    sockets: 1
    tablet: 1
    template: 0
    virtio0: local-lvm:vm-205-disk-1,aio=io_uring,backup=1,cache=none,discard=on,iothread=1,replicate=1,size=12G
    vmgenid: 747f2c9b-7484-43ea-a9ae-ba517940cb2c

    Я также перезапустил set на cicustom и update, чтобы быть уверенным. Все равно не работает, полный вывод systemd прикреплен.
     
     
     
    Finale3333
    Guest
    #4
    0
    28.03.2025 22:08:00
    Я попробовал то, что ты предлагал, переключил BIOS в режим Legacy. Перегенерировал cloudinit, но ничего не изменилось. В процессе дополнительного отладки я сделал следующее: Код: mkdir tmp && mount /dev/pve/vm-205-cloudinit tmp && cat tmp/user-data. В общем, смонтировал диск cloud-init в папку /root/tmp в pve, чтобы посмотреть файл user-data, и он там есть, так что это точно работает.
     
     
     
    bbgeek17
    Guest
    #5
    0
    28.03.2025 22:20:00
    Я не вижу, что ты пытаешься сделать, очевидно. Ты полностью выключал ВМ между попытками? Используешь свежий образ? Убедился, что устройство видно во время загрузки (например, `qm start [vmid] && qm terminal [vmid]`)? У меня это работает нормально.

    `pveversion pve-manager/8.3.5/dac3aa88bac3f300 (running kernel: 6.8.12-1-pve)`

    Раскрыть: Создание ВМ

    `root@pve-1:~# ./vm_create.sh`

    Использованные переменные:
    `OSIMAGE == ubuntu-24.04-noble-server-cloudimg-amd64.img`
    `STORAGE == bb-nvme`
    `VMID == 9030`
    `DEVICE == scsi0`
    `NAME == vm9030`
    `OSUSER == blockbridge`
    `CONSOLE == vga`
    `CLOUDINIT == local`
    `BIOS == default`
    `MEMORY == 4096`
    `SOCKET == 1`
    `CPU == host`
    `RESIZE == yes`
    `AGENT == yes`

    `=============`
    `qm create 9030 --memory 4096 --name vm9030 --socket 1 --onboot no --cpu cputype=host`
    `qm importdisk 9030 /mnt/pve/bbnas/template/qcow/ubuntu-24.04-noble-server-cloudimg-amd64.img bb-nvme --format raw`
    `qm set 9030 --scsihw virtio-scsi-single --scsi0 bb-nvme:vm-9030-disk-0,aio=native,iothread=1`
    `update VM 9030: -scsi0 bb-nvme:vm-9030-disk-0,aio=native,iothread=1`
    `update VM 9030: -scsihw virtio-scsi-single`
    `qm set 9030 -net0 virtio,bridge=vmbr0,firewall=1,mtu=1000`
    `update VM 9030: -net0 virtio,bridge=vmbr0,firewall=1,mtu=1000`
    `qm set 9030 --scsi1 bb-nvme:cloudinit`
    `update VM 9030: -scsi1 bb-nvme:cloudinit`
    `scsi1: successfully created disk 'bb-nvme:vm-9030-cloudinit,media=cdrom'`
    `generating cloud-init ISO`
    `qm disk resize 9030 scsi0 16G`
    `qm set 9030 --boot c --bootdisk scsi0`
    `update VM 9030: -boot c -bootdisk scsi0`
    `qm set 9030 --serial0 socket --vga virtio`
    `update VM 9030: -serial0 socket -vga virtio`
    `qm set 9030 -ipconfig0 ip=dhcp`
    `update VM 9030: -ipconfig0 ip=dhcp`
    `qm set 9030 --cipassword blockbridge --ciuser blockbridge`
    `update VM 9030: -cipassword <hidden> -ciuser blockbridge`
    `qm set 9030 -sshkeys /root/.ssh/authorized_keys`
    `qm set 9030 --agent 1`
    `update VM 9030: -agent 1`

    `Code: root@pve-1:~# qm start 9030 && qm terminal 9030`

    `generating cloud-init ISO`
    `starting serial terminal on interface serial0 (press Ctrl+O to exit)`
    `[ 0.000000] Linux version 6.8.0-31-generic (buildd@lcy02-amd64-080) (x86_64-linux-gnu-gcc-13 (Ubuntu 13.2.0-23ubuntu4) 13.2.0, GNU ld (GNU Binutils for Ubuntu) 2.42) #31-Ubuntu SMP PREEMPT_DYNAMIC Sat Apr 20 00:40:06 UTC 2024 (Ubuntu 6.8.0-31.31-generic 6.8.1)`

    ...

    `[ 0.867108] sr 1:0:0:1: [sr0] scsi3-mmc drive: 16x/50x cd/rw xa/form2 cdda tray`
    `[ 0.868322] cdrom: Uniform CD-ROM driver Revision: 3.20`
    `[ 0.873333] sr 1:0:0:1: Attached scsi generic sg1 type 5`

    ...
    `Mar 28 21:15:12 ubuntu systemd[1]: Starting cloud-init.service - Initial cloud-init job (metadata service crawler)...`
    `Mar 28 21:15:13 ubuntu cloud-init[695]: Cloud-init v. 24.1.3-0ubuntu3 running 'init' at Fri, 28 Mar 2025 21:15:13 +0000. Up 126.44 seconds.`
    `Mar 28 21:15:13 vm9030 systemd-resolved[517]: System hostname changed to 'vm9030'. Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox`
     
     
     
    Finale3333
    Guest
    #6
    0
    28.03.2025 22:39:00
    Я остановил VM между (`qm stop [vmid]`) и использую свежий образ с облачного сайта Ubuntu. Только что проверил хеш. Кажется, CDDrive распознаётся на стадии загрузки ядра:
    Code: [ 2.111945] ata3: SATA link down (SStatus 0 SControl 300)
    [ 2.112885] ata2.00: ATAPI: QEMU DVD-ROM, 2.5+, max UDMA/100
    [ 2.114337] ata2.00: applying bridge limits
    [ 2.115716] ata2.00: configured for UDMA/100
    [ 2.117302] scsi 1:0:0:0: CD-ROM QEMU QEMU DVD-ROM 2.5+ PQ: 0 ANSI: 5
    [ 2.132595] sr 1:0:0:0: [sr0] scsi3-mmc drive: 4x/4x cd/rw xa/form2 tray
    [ 2.134147] cdrom: Uniform CD-ROM driver Revision: 3.20
    [ 2.152821] sr 1:0:0:0: Attached scsi generic sg0 type 5
    [ 2.158253] input: QEMU QEMU USB Tablet as /devices/pci0000:00/0000:00:1d.7/usb3/3-1/3-1:1.0 Моя система выдаёт вывод systemd как у тебя, она настраивает сеть из части `ipconfig0` конфига, просто не применяет файл user-data. То есть, она делает облачную конфигурацию, но не берёт user-data из облачной конфигурации. Я подтвердил наличие user-data в диске cloudinit (через вышеупомянутый пост).
    Code: [ OK ] Достигнута цель network.target - Сеть.
            Запуск systemd-networkd-wait-onl… Ожидание настройки сети...
    [ OK ] Завершено systemd-networkd-wait-onl… Ожидание настройки сети.
            Запуск cloud-init.service - Cloud-init: сетевой этап...
    [ 6.468125] cloud-init[657]: Cloud-init v. 24.4-0ubuntu1~24.04.2 запущен 'init' в Пт, 28 мар 2025 20:49:26 +0000. Работает 6.44 секунды.
    [ 6.489744] cloud-init[657]: ci-info: +++++++++++++++++++++++++++++++++++++++Информация об устройстве сети+++++++++++++++++++++++++++++++++++++++
    [ 6.492399] cloud-init[657]: ci-info: +--------+------+------------------------------+---------------+--------+-------------------+
    [ 6.495023] cloud-init[657]: ci-info: | Устройство | Вкл | Адрес | Маска | Scope | HW-Адрес |
    [ 6.497693] cloud-init[657]: ci-info: +--------+------+------------------------------+---------------+--------+-------------------+
    [ 6.500258] cloud-init[657]: ci-info: | eth0 | Да | 192.168.10.198 | 255.255.255.0 | global | bc:24:11:a8:72:74 |
    [ 6.502778] cloud-init[657]: ci-info: | eth0 | Да | fe80::be24:11ff:fea8:7274/64 | . | link | bc:24:11:a8:72:74 |
    [ 6.505331] cloud-init[657]: ci-info: | lo | Да | 127.0.0.1 | 255.0.0.0 | host | . |
    [ 6.507869] cloud-init[657]: ci-info: | lo | Да | ::1/128 | . | host | . |
    [ 6.510352] cloud-init[657]: ci-info: +--------+------+------------------------------+---------------+--------+-------------------+
    [ 6.512671] cloud-init[657]: ci-info: +++++++++++++++++++++++++++++Информация о маршрутах IPv4+++++++++++++++++++++++++++++
    [ 6.514928] cloud-init[657]: ci-info: +-------+-------------+-------------+---------------+-----------+-------+
    [ 6.517072] cloud-init[657]: ci-info: | Маршрут | Назначение | Шлюз | Маска | Интерфейс | Флаги |
    [ 6.519114] cloud-init[657]: ci-info: +-------+-------------+-------------+---------------+-----------+-------+
    [ 6.521195] cloud-init[657]: ci-info: | 0 | 0.0.0.0 | 192.168.10.1| 0.0.0.0 | eth0 | UG |
    [ 6.523247] cloud-init[657]: ci-info: | 1 | 192.168.0.0 | 0.0.0.0 | 255.255.252.0 | eth0 | U |
    [ 6.525361] cloud-init[657]: ci-info: +-------+-------------+-------------+---------------+-----------+-------+
    [ 6.527355] cloud-init[657]: ci-info: +++++++++++++++++++Информация о маршрутах IPv6+++++++++++++++++++
    [ 6.528992] cloud-init[657]: ci-info: +-------+-------------+---------+-----------+-------+
    [ 6.530678] cloud-init[657]: ci-info: | Маршрут | Назначение | Шлюз | Интерфейс | Флаги |
    [ 6.532814] cloud-init[657]: ci-info: +-------+-------------+---------+-----------+-------+
    [ 6.534977] cloud-init[657]: ci-info: | 0 | fe80::/64 | :: | eth0 | U |
    [ 6.536984] cloud-init[657]: ci-info: | 2 | local | :: | eth0 | U |
    [ 6.538921] cloud-init[657]: ci-info: | 3 | multicast | :: | eth0 | U |
    [ 6.540863] cloud-init[657]: ci-info: +-------+-------------+---------+-----------+-------+
    [ OK ] Завершено cloud-init.service - Cloud-init: сетевой этап.
    [ OK ] Достигнута цель cloud-config.target - Доступность облачной конфигурации.
    [ OK ] Достигнута цель network-online.target - Сеть в сети.
    [ OK ] Достигнута цель sysinit.target - Инициализация системы.
    [ OK ] Запущено apt-daily.timer - Ежедневные действия по загрузке apt.
     
     
     
    bbgeek17
    Guest
    #7
    0
    28.03.2025 22:59:00
    Если бы это была моя система, я бы сделал следующее: а) Использовал встроенный cloud-init для проверки функциональности б) Загрузил систему, как обычно, если ты можешь войти в систему — изучи журнал cloudinit. в) Если не можешь войти в систему, выключи ВМ после загрузки, вручную смонтируй диск в гипервизор и изучи журнал cloudinit, а также смонтируй созданный ISO (lvm slice) и изучи его содержимое. Удачи, Blockbridge: ультра низкая задержка, все-NVME общий сторадж для Proxmox - https://www.blockbridge.com/proxmox
     
     
     
    Finale3333
    Guest
    #8
    0
    28.03.2025 23:05:00
    Отличные идеи, я как раз собирался делать c), потому что весь лог cloudinit не выводится во время загрузки. Спасибо за помощь! Я не заметил твой bash-скрипт раньше, если в логах не найдется ничего очевидного, я воспользуюсь им для a).
     
     
     
    Finale3333
    Guest
    #9
    0
    29.03.2025 09:05:00
    @bbgeek17, твоя помощь была очень кстати, я как раз пытался разобраться с другими ошибками, когда это всплыло, день был сумасшедший. Посмотрел логи и понял, что user-data cloud init запускался, но сразу же отваливался после настройки ntp. Покопался в настройке ntp proxy server и выяснил, что один из локальных серверов барахлил. Он вызывал кучу ошибок в cloud init, полный бардак в логах, разбросанные метки времени, сертификаты сервера не генерировались. Добавил заметку о том, чтобы собирать логи с основного виртуального диска во время первого запуска в нашей системе автоматической настройки, чтобы мы могли активно получать эти логи. Никогда раньше не сталкивался с такой изощренной проблемой при установке cloudimg, поэтому даже не заморачивался. ....Официально добавил это в подборку самых странных случаев.
     
     
     
    bbgeek17
    Guest
    #10
    0
    30.03.2025 15:00:00
    "Эффект мелкого черта" в IT никогда нельзя списывать со счетов. Удивительно, что это не оказалось DNS Blockbridge: Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры