Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    LXC, ZFS и Docker с overlay2 драйвером.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    LXC, ZFS и Docker с overlay2 драйвером., Proxmox Виртуальная Среда
     
    Kiwwiaq
    Guest
    #1
    0
    12.02.2023 13:59:00
    Привет, я обновил свой шаблон LXC и обнаружил хорошие новости. Похоже, что драйвер хранилища overlay2 для Docker, работающего на LXC на ZFS, теперь работает, и fuse-overlayfs больше не требуется. Контейнер не привилегированный, fuse=1, nesting=1 для поддержки драйвера fuse-overlayfs. Я удалил параметр контейнера fuse=1, и Docker с тестовым контейнером, похоже, работает нормально.

    Спорлер: Информация об LXC

    ```
    root@template:~# lsb_release -a
    No LSB modules are available.
    Distributor ID:    Ubuntu
    Description:    Ubuntu 22.04.1 LTS
    Release:    22.04
    Codename:    jammy
    root@template:~# uname -a
    Linux template 6.1.6-1-pve #1 SMP PREEMPT_DYNAMIC PVE 6.1.6-1 (2023-01-28T00:00Z) x86_64 x86_64 x86_64 GNU/Linux
    root@template:~# df -h
    Filesystem                    Size  Used Avail Use% Mounted on
    rpool/data/subvol-101-disk-0   10G  998M  9.1G  10% /
    none                          492K  4.0K  488K   1% /dev
    tmpfs                          32G  8.0K   32G   1% /dev/shm
    tmpfs                          13G  232K   13G   1% /run
    tmpfs                         5.0M     0  5.0M   0% /run/lock
    tmpfs                         6.3G     0  6.3G   0% /run/user/1001
    overlay                        10G  998M  9.1G  10% /var/lib/docker/overlay2/eb6067d016023a70ccbc757083bb0d84649­58d03cf9910b2556a65f88b3d156a/merged
    root@template:~# docker ps
    CONTAINER ID   IMAGE              COMMAND                  CREATED          STATUS          PORTS                                     NAMES
    b7e9a0be6f49   nginxdemos/hello   "/docker-entrypoint.…"   12 minutes ago   Up 12 minutes   0.0.0.0:32768->80/tcp, :::32768->80/tcp   zen_ganguly
    root@template:~# docker info
    Client:
    Context:    default
    Debug Mode: false
    Plugins:
     buildx: Docker Buildx (Docker Inc.)
       Version:  v0.10.2
       Path:     /usr/libexec/docker/cli-plugins/docker-buildx
     compose: Docker Compose (Docker Inc.)
       Version:  v2.16.0
       Path:     /usr/libexec/docker/cli-plugins/docker-compose
     scan: Docker Scan (Docker Inc.)
       Version:  v0.23.0
       Path:     /usr/libexec/docker/cli-plugins/docker-scan

    Server:
    Containers: 3
     Running: 1
     Paused: 0
     Stopped: 2
    Images: 2
    Server Version: 23.0.1
    Storage Driver: overlay2
     Backing Filesystem: zfs
     Supports d_type: true
     Using metacopy: false
     Native Overlay Diff: false
     userxattr: true
    Logging Driver: json-file
    Cgroup Driver: systemd
    Cgroup Version: 2
    Plugins:
     Volume: local
     Network: bridge host ipvlan macvlan null overlay
     Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
    Swarm: inactive
    Runtimes: io.containerd.runc.v2 runc
    Default Runtime: runc
    Init Binary: docker-init
    containerd version: 31aa4358a36870b21a992d3ad2bef29e1d693bec
    runc version: v1.1.4-0-g5fd4c4d
    init version: de40ad0
    Security Options:
     apparmor
     seccomp
      Profile: builtin
     cgroupns
    Kernel Version: 6.1.6-1-pve
    Operating System: Ubuntu 22.04.1 LTS
    OSType: linux
    Architecture: x86_64
    CPUs: 1
    Total Memory: 512MiB
    Name: template
    ID: 0263e5c6-91c8-4e94-92dd-a62c1f3e8e2d
    Docker Root Dir: /var/lib/docker
    Debug Mode: false
    HTTP Proxy: http://proxy:8080/
    HTTPS Proxy: http://proxy:8080/
    Registry: https://index.docker.io/v1/
    Experimental: false
    Insecure Registries:
     127.0.0.0/8
    Live Restore Enabled: false
    Спорлер: Информация о гипервизоре

    ```
    root@czbrqnode01:~# pveversion --verbose
    proxmox-ve: 7.3-1 (running kernel: 6.1.6-1-pve)
    pve-manager: 7.3-6 (running version: 7.3-6/723bb6ec)
    pve-kernel-6.1: 7.3-3
    pve-kernel-helper: 7.3-3
    pve-kernel-5.15: 7.3-2
    pve-kernel-5.15.102: 7.3-3
    pve-kernel-5.15.105-1-pve: 7.3-3
    pve-container: 4.4-2
    pve-cluster: 7.3-2
    pve-ha-manager: 3.5.1
    pve-network: 7.3-1
    lxc-pve: 5.0.2-1
    lxcfs: 5.0.3-pve1
    novnc-pve: 1.3.0-3
    openvswitch-switch: 2.15.0+ds1-2+deb11u2.1
    qemu-server: 7.3-3
    pve-firewall: 4.2-7
    pve-i18n: 2.8-2
    proxmox-widget-toolkit: 3.5.5
    zfsutils-linux: 2.1.9-pve1
    ```

    Отличный воскресный день! Иван
     
     
     
    chrisna
    Guest
    #2
    0
    09.03.2023 09:53:00
    Как избавиться от fuse-overlayfs в твоем LXC контейнере? Нужно ли тебе обновить LXC контейнер до новой версии?
     
     
     
    alexdelprete
    Guest
    #3
    0
    09.03.2023 17:25:00
    Я просто сделал то, что делал, следуя этой инструкции: https://c-goes.github.io/posts/proxmox-lxc-docker-fuse-overlayfs/
     
     
     
    rakali
    Guest
    #4
    0
    13.03.2023 17:25:00
    У меня ZFS на пуле хранилища для контейнеров lxc, и у меня есть несколько контейнеров LXC для Docker с разными Storage Driver. Похоже, я хочу overlay2 для всех них? Например, у LXC 126 есть эти опции:
    Code: features: nesting=1,keyctl=1
    unprivileged: 1
    lxc.cgroup2.devices.allow: a
    lxc.cap.drop: и он использует Storage Driver: overlay2. Для контейнера 111 у меня:
    Code: features: nesting=1,keyctl=1
    unprivileged: 1 и
    Code: cat /etc/docker/daemon.json
    {
         "storage-driver": "vfs"
    } Стоит ли указывать "storage-driver": "overlay2" здесь? Стоит ли добавить:
    Code: lxc.cgroup2.devices.allow: a
    lxc.cap.drop?: Для 112 у меня:
    Code: features: fuse=1,keyctl=1,nesting=1
    unprivileged: 1
    lxc.cgroup2.devices.allow: a
    lxc.cap.drop: В результате у меня: Storage Driver: fuse-overlayfs. Стоит ли убрать fuse=1? Буду благодарен за любую помощь!
     
     
     
    alexdelprete
    Guest
    #5
    0
    13.03.2023 19:22:00
    Не указывай драйвер (удали настройку daemon.json) и убери fuse=1. Если используешь последние версии ядра, Docker, наконец, должен выбрать драйвер overlay2 вместо устаревшего и неэффективного vfs. Я использую привилегированные контейнеры, а ты используешь и привилегированные, и непривилегированные, тебе нужно будет поэкспериментировать с этим.
     
     
     
    rakali
    Guest
    #6
    0
    14.03.2023 07:21:00
    У меня проблема с lxc, который использовал fuse — не могу заставить его работать с overlay2. Теперь у меня 2 lxc на overlay2. Тот, что с fuse, теперь не запускается, и я не знаю, что делать дальше. Вот ошибка:

    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.024544396Z" level=info msg="Starting up"
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.025545082Z" level=info msg="parsed scheme: \"unix\"" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.025557999Z" level=info msg="scheme \"unix\" not registered, fallback to default scheme" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.025588901Z" level=info msg="ccResolverWrapper: sending update to cc: {[{unix:///run/containerd/containerd.sock <nil> 0 <nil>}] <nil> <nil>}" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.025601648Z" level=info msg="ClientConn switching balancer to \"pick_first\"" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.026776428Z" level=info msg="parsed scheme: \"unix\"" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.026791151Z" level=info msg="scheme \"unix\" not registered, fallback to default scheme" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.026809404Z" level=info msg="ccResolverWrapper: sending update to cc: {[{unix:///run/containerd/containerd.sock <nil> 0 <nil>}] <nil> <nil>}" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.026826688Z" level=info msg="ClientConn switching balancer to \"pick_first\"" module=grpc
    Mar 14 06:18:12 whisper dockerd[508]: time="2023-03-14T06:18:12.027387273Z" level=error msg="Failed to GetDriver graph" driver=overlayf2 error="graphdriver plugins are only supported with experimental mode" home-dir=/var/lib/docker
    Mar 14 06:18:12 whisper dockerd[508]: failed to start daemon: error initializing graphdriver: driver not supported
    Mar 14 06:18:12 whisper systemd[1]: docker.service: Main process exited, code=exited, status=1/FAILURE
     
     
     
    alexdelprete
    Guest
    #7
    0
    14.03.2023 13:31:00
    Похоже, у тебя уже настроен драйвер, убери его. Очисти все свои настройки, установка Docker должна быть максимально чистой. Если не получается, переустанови Docker.
     
     
     
    rakali
    Guest
    #8
    0
    15.03.2023 17:05:00
    Спасибо, я удалил папку /var/lib/docker и теперь Docker запускается и сообщает overlay2. Однако, это вызывает хаос, потому что делает файловую систему контейнеров доступной только для чтения, что проблематично для запуска моего docker compose build. Похоже, это связано с overlay2, и я получаю такую ошибку в dmesg: Code: [151200.501665] overlayfs: upper fs does not support RENAME_WHITEOUT.
    [151200.501693] overlayfs: fs on '/var/lib/docker/overlay2/l/2KGUFAP2LL53WNVI7FYOQ6P5JR' does not support file handles, falling back to xino=off. Есть какие-нибудь идеи по этому поводу?
     
     
     
    alexdelprete
    Guest
    #9
    0
    15.03.2023 17:34:00
    Ты удалил вообще всю папку с подпапками?? Похоже, ты что-то напортил с установкой Docker. Нужно было удалить только драйвер из json-файла, а не всю папку. Не понимаю, как Docker вообще запускается без этой папки.
     
     
     
    rakali
    Guest
    #10
    0
    15.03.2023 18:31:00
    Docker с радостью пересоздаёт директорию и запускает контейнеры с нуля. Мне кажется, там рекомендовали сделать это на сайте документации Docker. Иначе старые ссылки на fuse-overlay остаются. В итоге я создал zfs-том на хосте Proxmox, отформатировал его в ext4 и смонтировал в /var/lib/docker в lxc. Теперь всё работает.

    Код:
    Storage Driver: overlay2
    Backing Filesystem: extfs
    Supports d_type: true
    Using metacopy: false
    Native Overlay Diff: false
    userxattr: true
     
     
     
    alexdelprete
    Guest
    #11
    0
    15.03.2023 23:16:00
    Это один из старых обходных путей, но это не то, чего я хотел добиться. Нужно проверить, почему на двух других докерах всё работало с полным ZFS, а на этом — нет.
     
     
     
    rakali
    Guest
    #12
    0
    16.03.2023 06:56:00
    Я протестировал свой другой LXC, и там та же проблема. Может, ты мог бы проверить? У меня Docker на overlay2 падает при сборке контейнера, когда пытаюсь отредактировать защищённые от записи файлы, даже если я root. Зато всё отлично работает, когда скачиваю готовый контейнер. Можешь протестировать сборку этого проекта? https://codeberg.org/pluja/web-whisper Я собирал с помощью команды `docker compose up --build -d`, и она падает, когда пытаюсь удалить или перенести файл `whisper.cpp` с помощью `wget` или `mv`.
     
     
     
    prmxyuza
    Guest
    #13
    0
    03.04.2023 17:10:00
    И так, кто-нибудь знает, что заставило это начать работать? Что-то из серии ядер 6.x? Сам LXC?
     
     
     
    rcd
    Guest
    #14
    0
    06.05.2023 18:03:00
    Я только что потратил кучу времени на это. У меня был LXC контейнер с Docker, настроен как обычно (nesting и unprivileged), работающий на "raw" диске. Поскольку файловая система ZFS, я подумал, что можно и перенести его (volume action, move storage), но когда я перезагрузил контейнер, Docker отказался запускаться. Покопавшись немного, я в итоге наткнулся на этот тред. Мне удалось вернуть контейнер обратно на raw и заставить его работать, так что паники нет. https://github.com/docker/for-linux/issues/1357 предполагает, что версия fuse-overlayfs должна быть >= 0.7, или, возможно, >= 1.0. Версия из apt – 0.3. Там советуют скомпилировать последнюю версию с https://github.com/containers/fuse-overlayfs, но я бы предпочёл не идти этим путём. Так какой же сейчас лучший способ установки docker/zfs/lxc?
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры