Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Еще один опыт с Docker на Proxmox.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Еще один опыт с Docker на Proxmox., Proxmox Виртуальная Среда
     
    Neuer_User
    Guest
    #1
    0
    23.02.2021 19:04:00
    Просто хочу описать свой опыт использования Docker в контейнере LXC под Proxmox. Может быть, у кого-нибудь есть идеи по улучшению, или мое описание окажется полезным. Цели: 1. Использовать легкость Docker для установки и поддержки приложений. 2. Централизованно отслеживать и управлять всеми запущенными приложениями. 3. Отделить данные от кода приложения, тем самым упростив резервное копирование данных. 4. Обеспечить базовое отказоустойчивое поведение в случае обслуживания некоторых узлов. Системы: Большинство сервисов работают в домашней сети, состоящей из одного HP Microserver Gen 8 и резервного узла. Кроме того, некоторые сервисы работают на небольших узлах на базе ARM (RPi, NanoPis или RockPis). Microserver и резервный узел работают под управлением Proxmox 6.3 на ZFS. В основном там работают классические LXC контейнеры (около 10), но их планируется перевести на Docker контейнеры, которые я буду держать в LXC контейнерах в качестве нескольких отдельных узлов. Небольшие узлы на базе ARM работают как Docker host на легковесных ОС без дополнительного слоя LXC. Реализация на Proxmox: Все LXC машины работают на урезанном Debian buster. Docker-ce установлен через get-docker.sh. Все Docker хосты работают от имени root, но используют userns-remap для своих контейнеров. Proxmox загружает дополнительные модули ядра: aufs, ip_vs. Непривилегированный LXC контейнер: неудачно. Непривилегированный LXC с nesting=1, keyctl=1: Неудача. Есть две основные проблемы, которые мне не удалось решить: a.) доступен только хранилище VFS (overlay невозможен на ZFS, aufs невозможен в не-init пространстве имен). После загрузки любого Docker образа контроллер хранилища жалуется на проблему с разрешением при хранении слоев образа. Почему, я не знаю. Я полностью удалил содержимое /var/lib/docker. Не помогает. b.) Мне не удалось заполнить папку /proc/sys/net/ipv4/vs/ в контейнере LXC. Она всегда пуста. Я пытался сохранить все возможности, использовать не-confined AA, смонтировать /proc как rw, добавить /.dockerenv и все, что я находил в сети. Без этой папки невозможно сетевое взаимодействие. Привилегированный LXC контейнер: работает, но требует proc:rw. Привилегированный LXC контейнер с nesting=1. Работает отлично, за исключением проблемы с настройкой iptables правил для сетевого взаимодействия. Рабочий обходной путь: добавление "lxc.mount.auto: proc:rw" в файл конфигурации lxc. Я пока не нашел другого способа. Что ж, пока я рад, что это работает. Если у кого-нибудь есть более рабочая конфигурация, я был бы заинтересован. Michael
     
     
     
    farooq23
    Guest
    #2
    0
    11.11.2021 12:33:00
    Если кто-то случайно наткнулся на эту тему в поисках решения для LXC + docker swarm + Traefik: Поскольку записи Ingress не заполняются в iptables хостового LXC-контейнера, вот один из возможных обходных путей. Создайте одну VM - сделайте ее docker swarm manager. - Установите Traefik на этой VM - правила сетевого Ingress будут правильно добавлены в iptables, и Traefik будет доступен извне Proxmox. Остальные ноды могут быть lxc-контейнерами, и подключите их к swarm, созданному на шаге 1. Теперь любые сервисы, работающие на других нодах, включая хост LXC, будут доступны через Traefik. С этим решением все работает, включая service discovery между всеми хостами, входящими в swarm, включая хосты lxc-контейнеров. Это также потребует очень мало ресурсов, особенно RAM, поскольку мы используем одну VM, а остальные lxc-контейнеры. С помощью этого метода все ваши сервисы будут доступны только через VM, созданную на шаге 1. Как истинный swam ingress, где любой сервис может быть достигнут с любого из представленных IP-адресов хоста, невозможен, особенно для хостов LXC.
     
     
     
    Drallas
    Guest
    #3
    0
    14.09.2023 11:43:00
    Это у меня не работает на Proxmox 8! Попробовал с непривилегированным Ubuntu 20.04 и Debian 12 LXC. Применил следующие настройки:

    Код:
    1. nano /etc/sysctl.conf
    # добавить строку:
    net.ipv4.ip_forward=1

    2. nano /etc/pve/lxc/XXX.conf
    # добавить в конце строки:
    lxc.apparmor.raw: mount,

    3. nano /etc/modules-load.d/modules.conf
    # добавить строку:
    overlay

    4. перезагрузить хосты Proxmox! Развернул LXC через Proxmox VE Helper Scripts, установив Docker с помощью get-docker.sh. После этого инициализировал 2-узловую Docker Swarm и установил portainer-agent-stack.yml для тестирования соединения, но ответа нет по адресу http://192.168.1.xxx:9000.

    Код:
    curl http://192.168.1.168:9000
    curl: (7) Не удалось подключиться к 192.168.1.168 порт 9000 после 107 мс: Не удалось подключиться к серверу

    P.S. Действовал по инструкции, как написано.
     
     
     
    LnxBil
    Guest
    #4
    0
    14.09.2023 13:53:00
    Вот в чём проблема с Docker на контейнерах LX©. Он время от времени будет ломаться. Не тратьте свою жизнь и просто используйте настоящую виртуальную машину. Это нельзя говорить слишком часто, но большинство людей всё равно этого не слушают и делают, как делают.
     
     
     
    Drallas
    Guest
    #5
    0
    14.09.2023 13:59:00
    Я бы с удовольствием запустил VM, но реализовал Proxmox/Ceph – Full Mesh HCI Cluster с динамической маршрутизацией и сетью кластера ipv6 только с обратным циклом. Не могу найти способ подключиться к моему хранилищу CephFS, кроме как через bind mounts в LXC.
     
     
     
    Drallas
    Guest
    #6
    0
    18.09.2023 11:27:00
    После нескольких дней борьбы и так как мне очень нужно было, чтобы это работало, я всё-таки смог заставить Docker стабильно работать в привилегированных Debian 12 LXC контейнерах на Proxmox 8. Это стало своего рода "живой документацией", и я решил выложить это в GitHub Gist, чтобы эта страница оставалась чистой. Буду рад любому фидбеку о том, как это можно улучшить! Скриншоты
     
     
     
    LnxBil
    Guest
    #7
    0
    18.09.2023 23:58:00
    Спасибо за подробное описание. Добавление в rc.local и включение сервиса может быть проще и быстрее… хотя бы до следующего обновления PVE, которое потенциально может всё сломать. Это уже бывало и, скорее всего, повторится. К тому же, вы не сможете перемещать эту ВМ с "горячей" миграцией на другой узел в вашем кластере. Это тоже большое преимущество QEMU/KVM.
     
     
     
    abufrejoval
    Guest
    #8
    0
    19.09.2023 04:08:00
    Ничто не должно быть настолько естественно и просто, как вкладывание контейнеров в контейнеры на произвольную глубину, потому что компьютерные науки любят деревья так же, как бухгалтеры любят бюджеты. Эрик Брюэр, не только человек, доказавший теорему CAP, но и главный двигатель продвижения контейнерного программного обеспечения Google в виде Kubernetes, чтобы похоронить все «более слабые» решения для контейнеров, сам это прямо сказал и признал. И я с ним полностью согласен: что (по крайней мере, один слой) абстракции IaaS контейнер должен лучше управлять локальными ресурсами, а затем (потенциально несколько слоев) абстракции PaaS контейнер должен заботиться о масштабировании, распределённом пространстве имён и накладной сети, чтобы это реализовать. К сожалению, подходящие и общепринятые абстракции ещё не появились, и все текущие подходы работают хорошо только в исключительных случаях и на одном уровне. Так что да, к сожалению, проще запустить Docker на VM и создать иллюзию bare metal внизу, чем сделать то, что должно быть естественным. Потому что Docker и другие среды выполнения контейнеров считают, как и ядро внизу [каждый], что они – боги и могут вмешиваться в сеть любым способом, чтобы создать иллюзию того, что их приложения хотят. И многое из этого связано с тем, что создатели Unix слишком поздно поняли, что сети гораздо важнее файлов, но к тому времени никто не услышал их призыв "Plan 9"!
     
     
     
    Drallas
    Guest
    #9
    0
    19.09.2023 09:51:00
    Я немного подправил настройку в посте; теперь предпочитаю systemd вместо rc.local, теперь на моих системах, кажется, всё работает стабильно. Требуется задержка для активации сервиса run-docker-netns-ingress_sbox.mount после активации docker.service. Без значения (net.ipv4.ip_forward=1) установить нельзя. Это обходной путь, который, похоже, работает с 2017 года, так что можно смело применять мои изменения! У меня 4 ноды Swarm, каждая на отдельной ноде: Живая миграция для этих LXC особо не нужна, но если понадобится, то они мигрируют нормально, правда, с небольшим временем простоя в несколько секунд.
     
     
     
    dlasher
    Guest
    #10
    0
    26.01.2024 19:45:00
    Привет, я перепробовал всё, что мог найти в постах, но не могу добиться, чтобы сетевые оверлеи/ingress работали. Ссылки: * https://gist.github.com/Drallas/e03eb5a4f68bb526f920a423455bc0c9 * https://forum.proxmox.com/threads/container-linux-in-a-kvm.43136/#post-207264 * https://stackoverflow.com/questions/74987323/docker-swarm-get-access-from-outside-network * https://github.com/moby/moby/issues/38723 Симптом: всё вроде бы запускается, но dockerD почему-то не связывается с сетевым интерфейсом для ingress-соединений.

    Код:
    tcp        0      0 :::8084                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::8081                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::8082                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::8088                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::7946                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::8000                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::5005                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::8754                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::9000                 :::*                    LISTEN      560/dockerd
    tcp        0      0 :::9443                 :::*                    LISTEN      560/dockerd

    Похоже, всё выглядит правильно – большинство портов относятся к различным overlay-сетям для ingress-трафика. Проверка.

    Однако

    Код:
    docker-lxc-5:~# nmap -sT -p81,8082,8088,7946,8000,5005,8754,9000,9443 localhost
    Starting Nmap 7.93 ( https://nmap.org ) at 2024-01-26 18:37 UTC
    Nmap scan report for localhost (127.0.0.1)
    Host is up (0.00042s latency).
    Other addresses for localhost (not scanned): ::1

    PORT     STATE  SERVICE
    81/tcp   closed hosts2-ns
    5005/tcp closed avt-profile-2
    7946/tcp open   unknown
    8000/tcp closed http-alt
    8082/tcp closed blackice-alerts
    8088/tcp closed radan-http
    8754/tcp closed unknown
    9000/tcp closed cslistener
    9443/tcp closed tungsten-https

    Смотрю, порт для SWARM-коммуникации работает, но остальные порты активно отклоняются на всех интерфейсах, loopback, основном Ethernet и т.д. Как-то ingress не привязывается. Заметил, что есть несколько записей в netns, поэтому даже пробовал устанавливать их ВСЕ

    Код:
    find /run/docker/netns/ -type f | xargs -i%x nsenter --net="%x" sysctl -w net.ipv4.ip_forward=1

    Но всё равно не получается. Похоже, это та проблема, на которую я натыкаюсь: https://github.com/portainer/portainer/issues/7736

    Помогите?
     
     
     
    Drallas
    Guest
    #11
    0
    26.01.2024 19:58:00
    Ты пробовал https://gist.github.com/Drallas/e03eb5a4f68bb526f920a423455bc0c9 с нуля? Я дважды настраивал так же, и проблем не было!
     
     
     
    dlasher
    Guest
    #12
    0
    26.01.2024 20:10:00
    Да, много раз. Ваш гайд был самым близким к успеху, спасибо. (Оглядываясь назад, я упустил, что нужно использовать привилегированные контейнеры). Кроме того, я настроил alpine, ubuntu, debian и т.д. с нуля, пробовал те же шаги – никакого результата. ОДНАКО, я повторил упражнение, но сделал контейнер привилегированным, и...

    Код:
    arch: amd64
    cores: 4
    cpulimit: 8
    hostname: docker-test-5
    memory: 4096
    nameserver: 10.4.10.11 10.4.10.12 10.4.10.13 10.4.10.14 10.4.10.15 10.4.10.16 10.4.10.17 10.4.10.18
    net0: name=eth10,bridge=vmbr11,gw=10.4.10.1,hwaddr=BC:24:11:D1:60:48,ip=10.4.10.85/24,mtu=1500,tag=10,type=veth
    ostype: alpine
    rootfs: RP32:vm-9105-disk-0,mountoptions=lazytime;noatime;nosuid,size=10G
    searchdomain: docker
    swap: 128 ((К слову, использую CEPH в качестве файловой системы)) – Бинго! Ingress может подключаться. Значит, что-то не включается/не разрешается в режиме UNPRIV, и никакие "features" это не исправляют. Теперь, когда контейнер PRIV, подключение происходит, и мы слушаем!!

    Код:
    docker-test-5:~# /etc/local.d/fix.docker.start
    net.ipv4.ip_forward = 1
    net.ipv4.ip_forward = 1
    net.ipv4.ip_forward = 1
    net.ipv4.ip_forward = 1
    docker-test-5:~# nmap -sT -p081,8082,8088,7946,8000,5005,8754,9000,9443 localhost
    Starting Nmap 7.93 ( https://nmap.org ) at 2024-01-26 19:06 UTC
    Nmap scan report for localhost (127.0.0.1)
    Host is up (0.0012s latency).
    Other addresses for localhost (not scanned): ::1

    PORT     STATE  SERVICE
    81/tcp   closed hosts2-ns
    5005/tcp open   avt-profile-2
    7946/tcp open   unknown
    8000/tcp open   http-alt
    8082/tcp open   blackice-alerts
    8088/tcp open   radan-http
    8754/tcp open   unknown
    9000/tcp open   cslistener
    9443/tcp open   tungsten-https

    Кстати, я забыл упомянуть:
    Код: pve-manager/8.1.3/b46aac3b42da5d15 (запущенный kernel: 6.2.16-20-pve)
     
     
     
    dlasher
    Guest
    #13
    0
    26.01.2024 20:39:00
    Я нашел более изящный способ настроить перенаправление, он абсолютно необходим для работы — использую это как "/etc/local.d/fix.ingress.start". Код: #!/bin/bash
    for lp in {1..60};do
           if exists=$(test -f /run/docker/netns/ingress_sbox)
           then
                   nsenter --net=/run/docker/netns/ingress_sbox sysctl -w net.ipv4.ip_forward=1
                   exit
           else
                   echo "waiting $lp/60 - ingress_sbox does not exist"
                   sleep 1
           fi
    done

    EDIT: не понял, что скрипты local.d зависают при загрузке — пришлось добавить "выход" после 60 секунд — нужен BASH, а не ASH.
     
     
     
    dlasher
    Guest
    #14
    0
    26.01.2024 22:14:00
    И вот меня укусила VFS, и у меня стало 16Г в /var/lib/docker/vfs/* https://c-goes.github.io/posts/proxmox-lxc-docker-fuse-overlayfs/* https://github.com/containers/fuse-overlayfs/releases Код: НА PROXMOX ХОСТЕ
    pmx1:~# apt -y install fuse-overlayfs и затем добавь возможность "FUSE" в контейнер Код: В LXC КОНФИГЕ НА PROXMOX ХОСТЕ
    features: fuse=1,nesting=1 Код: В DOCKER КОНТЕЙНЕРЕ
    wget https://github.com/containers/fuse-overlayfs/releases/download/v1.13/fuse-overlayfs-x86_64 && chmod +x fuse-overlayfs-x86_64 && cp fuse-overlayfs-x86_64 /usr/local/bin/fuse-overlayfs && reboot Проверь, чтобы убедиться, что переключился на новый драйвер Код: В DOCKER КОНТЕЙНЕРЕ
    docker-lxc-1:~# docker info | grep -i storage
    Storage Driver: fuse-overlayfs Теперь надо бы прочистить папки /var/lib/docker/vfs, но все контейнеры работают, сетевое взаимодействие функционирует, и пока что до следующей проблемы...
     
     
     
    dlasher
    Guest
    #15
    0
    27.01.2024 01:23:00
    Окей, так вот, в итоге, после кучи работы, у меня получилось запустить следующее: docker-swarm внутри Alpine 3.18 внутри контейнеров PRIV LXC на Proxmox 8.1.x, с CEPH в качестве файловой системы. Это позволяет мне монтировать папку /CEPH на каждом docker-хосте, а затем использовать bind-mounts в файлах YAML для обеспечения постоянного хранилища.  Конфигурация LXC: mp0: /mnt/pve/cephfs/STORAGE/docker,mp=/ceph,shared=1 docker-compose.yaml: volumes:
         - type: bind
           source: /ceph/data/adsb/tar1090/heatmap
           target: /var/globe_history
         - type: bind
           source: /ceph/data/adsb/tar1090/timelapse
           target: /var/timelapse1090 Это уменьшило количество интерфейсов, необходимых на docker-хосте, не нужны отдельные интерфейсы для хранения, без NFS/CEPH/SMB-монтирований, просто bind-монтирование с хоста. (У меня уже всё работало отлично с KVM, но возможность перенести и слой файловой системы, и сетевой слой на Proxmox, И ещё избавиться от накладных расходов на полноценную KVM-виртуальную машину была той целью, за которой я гнался. Судя по документам, на которые я ссылался, ни одно из них не было полным решением.)
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры