Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Переход с 6.4 на 7.0

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Переход с 6.4 на 7.0, Proxmox Виртуальная Среда
     
    baldy
    Guest
    #1
    0
    10.07.2021 23:49:00
    Привет! Хотел перенести несколько старых контейнеров с 6.4 на свежий кластер PMX 7.0. По какой-то причине не могу запустить некоторые старые контейнеры из-за cgroupsv2. Нашел несколько документаций, как это исправить, но, кажется, это не работает:

    Code: cat /etc/default/grub

    # Если вы измените этот файл, запустите 'update-grub' после этого, чтобы обновить
    # /boot/grub/grub.cfg.
    # Для полной документации по опциям в этом файле, смотрите:
    #   info -f grub -n 'Simple configuration'

    GRUB_DEFAULT=0
    GRUB_TIMEOUT=5
    GRUB_DISTRIBUTOR="Proxmox VE"
    GRUB_CMDLINE_LINUX_DEFAULT="quiet"
    GRUB_CMDLINE_LINUX="systemd.unified_cgroup_hierarchy=0"

    # Отключить os-prober, он может добавлять пункты меню для каждого гостя
    GRUB_DISABLE_OS_PROBER=true

    Code: ~# cat /etc/kernel/cmdline
    systemd.unified_cgroup_hierarchy=0

    После обновления Grub и proxmox-boot-tool и перезагрузки хоста я получаю следующую ошибку при запуске контейнера:

    Code: cgfsng_setup_limits_legacy: 2764 Bad address - Failed to set "devices.deny" to "a"
    cgroup_tree_create: 808 Failed to setup legacy device limits
    cgfsng_payload_create: 1171 Numerical result out of range - Failed to create container cgroup
    lxc_spawn: 1644 Failed creating cgroups
    __lxc_start: 2073 Failed to spawn container "103"
    TASK ERROR: startup for container '103' failed

    Есть какие-нибудь идеи, как решить эту проблему?

    Cheers,
    Daniel
     
     
     
    t.lamprecht
    Guest
    #2
    0
    11.07.2021 11:15:00
    Можешь, пожалуйста, скинь сюда конфиг контейнера? pct config VMID
     
     
     
    baldy
    Guest
    #3
    0
    11.07.2021 12:09:00
    Привет, вот оно что; Код: arch: amd64
    cores: 16
    hostname: blablub
    memory: 16384
    net0: name=eth0,bridge=vmbr0,gw=10.0.3.1,hwaddr=82:D4:B9:29:AC:1A,ip=10.0.3.76/24,type=veth
    ostype: ubuntu
    rootfs: local-lvm:vm-103-disk-0,size=100G
    swap: 16384

    Удачи!
     
     
     
    fvanlint
    Guest
    #4
    0
    11.07.2021 16:08:00
    Привет, у меня та же проблема со всеми LXC контейнерами, использующими Code: systemd.unified_cgroup_hierarchy=0. Мы используем docker-in-lxc, и я думал, что это будет простой способ избежать проблемы cgroupv2. Пример конфигурации LXC: Code: pct config 150
    arch: amd64
    cores: 2
    features: fuse=1,mknod=1,nesting=1
    hostname: DDNS
    memory: 256
    net0: name=eth0,bridge=vmbr0,firewall=1,hwaddr=36:06:55:CA:8E:A0,ip=dhcp,ip6=dhcp,type=veth
    onboot: 1
    ostype: ubuntu
    rootfs: tank:subvol-150-disk-0,size=30G
    swap: 256
    lxc.apparmor.profile: unconfined
    lxc.cgroup.devices.allow: a
    lxc.cap.drop: Наша ошибка в Proxmox содержит то же самое, что и у @baldy, но также предупреждение об AppArmor (кажется, что это не реальная проблема). Code: явно настроенный lxc.apparmor.profile переопределяет следующие настройки: features:fuse, features:nesting
    cgfsng_setup_limits_legacy: 2764 Bad address - Не удалось установить "devices.deny" в "a"
    cgroup_tree_create: 808 Не удалось настроить старые ограничения устройств
    cgfsng_payload_create: 1171 Numerical result out of range - Не удалось создать cgroup контейнера
    lxc_spawn: 1644 Не удалось создать cgroups
    __lxc_start: 2073 Не удалось запустить контейнер "150"
    TASK ERROR: startup for container '150' failed Интересно, что если удалить последние 3 строки, ошибка остается той же: Code: arch: amd64
    cores: 2
    features: fuse=1,mknod=1,nesting=1
    hostname: DDNS
    memory: 256
    net0: name=eth0,bridge=vmbr0,firewall=1,hwaddr=36:06:55:CA:8E:A0,ip=dhcp,ip6=dhcp,type=veth
    onboot: 1
    ostype: ubuntu
    rootfs: tank:subvol-150-disk-0,size=30G
    swap: 256 Code: lxc-start -n 150 -F -lDEBUG -o lxc-150.log
    lxc-start: 150: cgroups/cgfsng.c: cgfsng_setup_limits_legacy: 2764 Bad address - Failed to set "devices.deny" to "a"
    lxc-start: 150: cgroups/cgfsng.c: cgroup_tree_create: 808 Failed to setup legacy device limits
    lxc-start: 150: cgroups/cgfsng.c: cgfsng_payload_create: 1171 Numerical result out of range - Failed to create container cgroup
    lxc-start: 150: start.c: lxc_spawn: 1644 Failed creating cgroups
    lxc-start: 150: start.c: __lxc_start: 2073 Failed to spawn container "150"
    lxc-start: 150: tools/lxc_start.c: main: 308 The container failed to start
    lxc-start: 150: tools/lxc_start.c: main: 313 Additional information can be obtained by setting the --logfile and --logpriority options EDIT: Ну, откат systemd.unified_cgroup_hierarchy=0 и переход к lxc.cgroup2.devices.allow: a показал мне другую проблему. Мы запускаем LXC контейнеры на ZFS, и AUFS больше не поддерживается... так что да. Это тоже повод для отдельной темы. Надеюсь, вышеприведенное поможет каким-нибудь образом.
     
     
     
    jpros
    Guest
    #5
    0
    12.07.2021 04:13:00
    Привет всем! Не думаю, что у меня какая-то другая конфигурация на моём CT, но всё равно выкладываю: Код: arch: amd64
    cores: 1
    hostname: management
    memory: 512
    net0: name=eth0,bridge=vmbr0,firewall=1,gw=192.168.8.1,hwaddr=0A:85:99:63:EF:95,ip=192.168.8.21/21,type=veth
    ostype: ubuntu
    rootfs: local-lvm:vm-101-disk-1,size=8G
    swap: 512 Также с той же конфигурацией загрузки для включения legacy cgroups и с той же ошибкой: Код: cgfsng_setup_limits_legacy: 2764 Bad address - Failed to set "devices.deny" to "a"
    cgroup_tree_create: 808 Failed to setup legacy device limits
    cgfsng_payload_create: 1171 Numerical result out of range - Failed to create container cgroup
    lxc_spawn: 1644 Failed creating cgroups
    __lxc_start: 2073 Failed to spawn container "101"
    TASK ERROR: startup for container '101' failed Моя установка Proxmox 7 совершенно новая (так что никаких миграций/обновлений в данном случае), и CT тоже новый (Ubuntu 16).
     
     
     
    kyriazis
    Guest
    #6
    0
    16.07.2021 02:54:00
    Тоже столкнулся с такой же проблемой. Ранее создал отдельную тему, пока не нашел эту (https://forum.proxmox.com/threads/proxmox-7-lxc-cgroup-issue-with-docker.92722/). Также использую Docker внутри LXC, пока не собираюсь переходить на cgroup2. Забавно, что сообщение об ошибке связано с devices.deny, хотя в файле конфигурации такого параметра нет; вместо него есть devices.allow.
     
     
     
    rappazz
    Guest
    #7
    0
    16.07.2021 23:31:00
    Кроме команды grub "systemd.unified_cgroup_hierarchy=0", я также добавил следующие две строки в файлы конфигурации контейнеров (в /etc/pve/lxc/#id#.conf): lxc.cgroup.devices.allow = lxc.cgroup.devices.deny = Подробности можно посмотреть здесь: https://github.com/lxc/lxc/issues/2268. После этого все мои контейнеры снова запустились.
     
     
     
    kyriazis
    Guest
    #8
    0
    17.07.2021 01:49:00
    Могу подтвердить, что это работает. Как ни странно, это также работает с Docker внутри контейнера LXC.
     
     
     
    ednt
    Guest
    #9
    0
    17.07.2021 01:57:00
    @chkern Спасибо за исправление! Оно решило мои большие проблемы с zimbra. Как вообще можно обновить контейнер, если он больше не запускается? Два года назад я отдал приказ: только ВМ, никаких контейнеров, из-за живой миграции, когда нужны обновления. Но у нас всё ещё остались какие-то старые контейнеры…
     
     
     
    t.lamprecht
    Guest
    #10
    0
    20.07.2021 21:20:00
    Кстати, это больше не должно потребоваться благодаря обновлению пакета lxc-pve версии 4.0.9-4, который доступен в репозитории no-subscription на момент написания.
     
     
     
    yswery
    Guest
    #11
    0
    22.07.2021 19:26:00
    С новыми исправлениями, нам всё ещё нужно добавлять? ``` GRUB_CMDLINE_LINUX_DEFAULT="systemd.unified_cgroup_hierarchy=0 quiet" ```
     
     
     
    t.lamprecht
    Guest
    #12
    0
    23.07.2021 12:00:00
    Если вы используете дистрибутивы, которые ломаются при работе в унифицированной среде cgroupv2, как, например, CentOS 7, то да. Ошибка, которую исправили, могла возникнуть только при использовании старой, устаревшей смешанной среды cgroup v1 + v2, которая необходима для работы CentOS 7. Невозможно предоставить патч с нашей стороны, чтобы CentOS 7 корректно работал с новыми cgroup. Варианты: обновитесь до CentOS 8 (AppStream или одна из новых производных), принудительно используйте старые настройки cgroup через командную строку ядра, перенесите рабочую нагрузку на другой дистрибутив с более частыми выпусками или переходите на виртуальные машины.
     
     
     
    kyriazis
    Guest
    #13
    0
    26.07.2021 23:38:00
    Подтверждаю. Файлы /etc/pve/lxc/*.conf не требуют редактирования при переходе с Proxmox 6.
     
     
     
    kyriazis
    Guest
    #14
    0
    30.07.2021 17:48:00
    Поспешил с выводами. Это работает на контейнерах Ubuntu 18.04 LXC, но не работает с контейнерами Ubuntu 20.04. Если проблема была только со старыми контейнерами в стиле Centos 7, то она точно бы не проявилась в 20.04.
     
     
     
    yswery
    Guest
    #15
    0
    30.07.2021 18:21:00
    Просто чтобы уточнить, какие ошибки ты видишь на контейнерах 20.04?
     
     
     
    t.lamprecht
    Guest
    #16
    0
    30.07.2021 18:36:00
    Если заставлять систему возвращаться к старым legacy cgroups, то новые дистрибутивы могут сломаться. По поводу Ubuntu 20.04 это звучит как-то странно, и, как и в других случаях, было бы неплохо узнать, что вы на самом деле изменили, и, как спрашивал другой пользователь, какие проблемы вы видите.
     
     
     
    kyriazis
    Guest
    #17
    0
    30.07.2021 19:11:00
    Прошу прощения, что не был конкретен. Подробности ниже.

    Что не работает: Ошибка, которую я вижу, такова:

    `Code: root@vis-ct-clx-08:~# docker run -it centos:7 bash`
    `docker: Error response from daemon: cgroups: cgroup mountpoint does not exist: unknown.`
    `ERRO[0000] error waiting for container: context canceled`

    `root@vis-ct-clx-08:~# GRUB_CMDLINE_LINUX_DEFAULT не был изменен для включения systemd.unified_cgroup_hierarchy=0.`

    Мой конфиг файл выглядит так:

    `Code: #mp0%3A /mnt/pve/scratch,mp=/scratch`
    `arch: amd64`
    `cores: 48`
    `features: mount=nfs4,keyctl=1`
    `hostname: vis-ct-clx-08`
    `memory: 57344`
    `net0: name=eth0,bridge=vmbr0,hwaddr=XX:XX:XX:XX:XX:XX,ip=dhcp,type=veth`
    `onboot: 1`
    `ostype: ubuntu`
    `rootfs: local-lvm:vm-159-disk-0,size=192G`
    `snaptime: 1573010169`
    `swap: 16384`
    `lxc.apparmor.profile: unconfined`
    `lxc.cgroup.devices.allow: a`
    `lxc.cap.drop: Modifications and their effects: Using: Code: lxc.cgroup.devices.allow:`
    `lxc.cgroup.devices.deny: (that worked for 18.04 containers) prior to lxc-pve version 4.0.9-4, still does not work. An 18.04 container with an identical conf file, works. Adding systemd.unified_cgroup_hierarchy=0 to GRUB_CMDLINE_LINUX_DEFAULT, works. Using cgroup2 instead of cgroup with both setups (ie. devices.allow: a, and devices.allow and devices.deny) does not work. Thank you! George
     
     
     
    lps90
    Guest
    #18
    0
    01.08.2021 12:22:00
    Изменение grub позволяет запускать контейнер CentOS 7, но, например, для пользователей CentOS Web Panel не получится включить брандмауэр CFD или войти в CentOS Web Panel. Так что, по сути, это не полное решение.
     
     
     
    proxminent
    Guest
    #19
    0
    14.10.2021 11:19:00
    Посмотрите https://forum.proxmox.com/threads/h...out-systemd-unified_cgroup_hierarchy-0.94253/
     
     
     
    pizza
    Guest
    #20
    0
    03.02.2022 14:38:00
    Контейнеры LXC с Ubuntu 14.0 не запускают никаких сервисов. Nesting=on решает проблему.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры