+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Пропал модуль br_netfilter., Proxmox Виртуальная Среда

Denis Rendler

Guest

28.04.2019 22:23:00

Привет всем! Я новичок в модулях ядра Linux и надеюсь, вы сможете мне помочь. Я использую Proxmox 5.4-4/97a96833, с последними обновлениями и версией ядра 4.15.18-13-pve. У меня запущено несколько LXC-контейнеров на базе Ubuntu 18.04. Внутри этих контейнеров я пытаюсь развернуть Docker Swarm. Сам Docker работает без проблем, по крайней мере, пока, но когда я пытаюсь создать контейнер в Swarm, получаю ошибку, в которой сказано: "убедитесь, что загружен модуль ядра br_netfilter". Я перепробовал все, что мог найти в интернете, но не могу заставить это работать. Когда я использую lsmod, модуль не отображается в списке, modprobe не выдает никакого вывода, а modinfo сообщает, что модуль не найден. Все эти команды были выполнены на хосте Proxmox. Я также нашел много сообщений, в которых упоминается команда "lxc profile" для создания профиля AppArmor, позволяющего использовать этот модуль, но не могу найти аналога для нее в Proxmox. Когда я пытаюсь установить пакет LXC, он говорит, что нужно удалить пакеты Proxmox, так что это не вариант. Буду очень благодарен за любые идеи, как это исправить, или хотя бы за направление, в котором стоит искать.

tabnul

Guest

21.12.2021 10:40:00

K3S явно зондирует эти модули, и это приводит к сбою. Однако они фактически загружаются, и он использует их, невзирая на это. Такое же поведение наблюдается и в microk8s. Так что воспринимайте эти сообщения как "информационные".

Addy90

Guest

19.06.2019 13:27:00

Проблема, которую ты описываешь, — это баг/отсутствующая функция в ядре. Об этом здесь обсуждали: https://github.com/lxc/lxd/issues/5193. Там был патч для ядра 5.3, как можно увидеть здесь: https://github.com/lxc/lxd/issues/5193#issuecomment-502857830. Надеюсь, Proxmox сможет включить это в следующий апдейт ядра, потому что это значительно расширит область применения контейнеров LXC, например, с Kubernetes и Docker Swarm, как ты пытался сделать.

Mike Lupe

Guest

05.09.2019 17:03:00

Я тоже на это надеюсь. K3S, например, очень легко установить, всего несколько строк, но невозможность загрузки br_netfilter и модулей overlay (?) в контейнере убивает службу k3s-agent. Есть ли обходной путь для 6.x? Редактирую: Похоже, это появилось в ядре Linux 5.3: https://github.com/lxc/lxd/issues/5193#issuecomment-502857830

MadalinC

Guest

02.02.2020 20:01:00

Какие новости по этому вопросу от команды Proxmox? У нас версия 5.3.13-2, и похоже, что патч пока не вышел. Очень здорово, что в Proxmox есть поддержка Swarm/K8s, но, к сожалению, без этого патча нам приходится запускать ВМ с огромными накладными расходами.

Addy90

Guest

03.02.2020 21:23:00

Да, баг был зафиксирован в трекере ошибок Proxmox здесь: https://bugzilla.proxmox.com/show_bug.cgi?id=2243. Он уже исправлен в pve-kernel-5.0.21-2-pve. К сожалению, пока до исправления баг добрался и мне пришлось искать обходной путь, я еще не успел протестировать патч. И, что еще более печально, Docker Swarm практически мертв уже: https://boxboat.com/2019/12/10/migrate-docker-swarm-to-kubernetes/. Это значит, что лично я больше не буду париться с Docker Swarm. НО (и вот тут большой НО): говорят, что Kubernetes предъявляет те же требования к модулю br-netfilter, который, как и должно быть, будет исправлен этим патчем. Я пока Kubernetes в LXC не пробовал, но если хотите, можете протестировать, работает ли.

MadalinC Guest	#7 0 03.02.2020 23:16:00 Не уверен, что это уже пропатчили/слили в текущее ядро, потому что до сих пор не работает корректно со Swarm. Поставлю на то, что у K8s те же проблемы, раз у него та же зависимость…

Addy90

Guest

04.02.2020 21:55:00

Странно, ведь вроде бы уже исправили. Не могли бы вы рассказать подробнее, что именно вы делали, чтобы сотрудники могли воспроизвести проблему? Может, вы можете опубликовать свои результаты в отчете в Bugzilla, который я создал, тогда есть шанс, что его пересмотрят! А так как я все еще интересуюсь Kubernetes в контейнерах LXC, я в какой-то момент наверняка столкнусь с этой проблемой снова...

IxsharpxI

Guest

21.12.2021 18:15:00

Как я понимаю, ты имеешь в виду, что в обычном режиме их можно не беспокоиться и они не повлияют на производительность или функции? Пока все мои узлы добавлены успешно, просто пока не двигаюсь дальше, пока не знал, придётся ли удалять всё. Спасибо за твой вклад.

admiralakber

Guest

#10

04.06.2020 04:47:00

Подтверждаю наличие этой проблемы. Судя по https://forum.proxmox.com/threads/docker-support-in-proxmox.27474/page-6#post-295237, это связано с конфигурацией ядра. Мне это интересно, чтобы запускать k3s внутри контейнера и, возможно, создать шаблон LXC на основе k3os. Смотри: https://github.com/rancher/k3os/issues/34 pve-manager/6.2-4/9824574a (запущенное ядро: 5.4.41-1-pve) Linux 5.4.41-1-pve #1 SMP PVE 5.4.41-1 (Fri, 15 May 2020 15:06:08 +0200) x86_64 GNU/Linux
Code: root@pve:~# modinfo br_netfilter
modinfo: ERROR: Module br_netfilter not found.

root@pve:~# lsmod | grep br_netfilter
## ничего не возвращает

root@pve:~# find /lib/modules/ -type f -iname '*br_netfilter.ko'
## ничего не возвращает

root@pve:~# cat /etc/modules-load.d/k3s-lxc.conf
br_netfilter

root@pve:~# modprobe br_netfilter
## ничего не возвращает

root@pve:~# grep 'BRIDGE_NETFILTER' /boot/config-$(uname -r)
CONFIG_BRIDGE_NETFILTER=y

pocok Guest	#11 0 17.11.2020 15:06:00 Присоединяюсь к обсуждению. Я, как пользователь и фанат Proxmox, тоже прошу пофиксить это.

Marx

Guest

#12

03.12.2020 23:31:00

Есть какие-то успехи?
Код: Dec 3 22:18:18 node-silver modprobe[29558]: modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/5.4.73-1-pve/modules.dep.bin'
Dec 3 22:18:18 node-silver modprobe[29558]: modprobe: FATAL: Module br_netfilter not found in directory /lib/modules/5.4.73-1-pve
Dec 3 22:18:18 node-silver modprobe[29564]: modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/5.4.73-1-pve/modules.dep.bin'
Dec 3 22:18:18 node-silver modprobe[29564]: modprobe: FATAL: Module overlay not found in directory /lib/modules/5.4.73-1-pve
Dec 3 22:18:19 node-silver k3s[29565]: time="2020-12-03T22:18:19.428373325Z" level=info msg="Starting k3s v1.19.4+k3s1 (2532c10f)"

Singman

Guest

#13

05.12.2020 01:58:00

Привет, это раздражает. Похожая проблема с LXC Debian 10 из шаблона: Bash: root@backup:/# lsmod | grep -i iscsi
iscsi_tcp 24576 0
libiscsi_tcp 32768 1 iscsi_tcp
libiscsi 57344 3 libiscsi_tcp,iscsi_tcp,ib_iser
scsi_transport_iscsi 110592 5 libiscsi_tcp,iscsi_tcp,ib_iser,libiscsi

root@backup:/# modprobe iscsi_tcp
modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/5.4.73-1-pve/modules.dep.bin'
modprobe: FATAL: Module iscsi_tcp not found in directory /lib/modules/5.4.73-1-pve

root@backup:/# ls /lib/modules
ls: cannot access '/lib/modules': No such file or directory Но если посмотреть на хост (pve), то становится понятно, что все модули там есть : Bash: root@pve:/# ls -CFL /lib/modules
4.15.18-10-pve/ 4.15.18-23-pve/ 5.3.18-3-pve/ 5.4.60-1-pve/ 5.4.65-1-pve/ 5.4.73-1-pve/ 5.4.78-1-pve/

eivamu

Guest

#14

11.03.2021 15:22:00

Привет! Я тоже столкнулся с этой проблемой при попытке установить K3S на LXC. У меня Proxmox 6.3, ядро такое: Bash: root@rack01:~# uname -r 5.4.78-2-pve.

Создал контейнер LXC из официального образа Ubuntu 20.10 с настройками keyctl=1, nesting=1. Пытаюсь запустить службу k3s (systemctl start k3s) и получаю следующую ошибку: Code: modprobe[1970]: modprobe: FATAL: Module br_netfilter not found in directory /lib/modules/5.4.78-2-pve modprobe[1971]: modprobe: FATAL: Module overlay not found in directory /lib/modules/5.4.78-2-pve ... systemd[1]: k3s.service: Main process exited, code=exited, status=255/EXCEPTION systemd[1]: k3s.service: Failed with result 'exit-code'. systemd[1]: Failed to start Lightweight Kubernetes. Было бы здорово, если бы это исправили, или хотя бы нашлось какое-нибудь обходное решение, потому что запуск контейнеров LXC с k3s воркерами/агентами кажется очень разумным вариантом использования.

cmonty14

Guest

#15

01.05.2021 20:04:00

Привет! У меня та же самая установка/настройка k3s. На самом деле могу подтвердить проблему с модулем ядра br_netfilter, но модуль overlay работает:

Код:
$ modinfo overlay
filename: /lib/modules/5.4.106-1-pve/kernel/fs/overlayfs/overlay.ko
alias: fs-overlay
license: GPL
description: Overlay filesystem
author: Miklos Szeredi <miklos@szeredi.hu>
srcversion: ECD2473643261736203C6EA
depends:
retpoline: Y
intree: Y
name: overlay
vermagic: 5.4.106-1-pve SMP mod_unload modversions
parm: check_copy_up:Obsolete; does nothing
parm: redirect_max:Maximum length of absolute redirect xattr value (ushort)
parm: redirect_dir:Default to on or off for the redirect_dir feature (bool)
parm: redirect_always_follow:Follow redirects even if redirect_dir feature is turned off (bool)
parm: index:Default to on or off for the inodes index feature (bool)
parm: nfs_export:Default to on or off for the NFS export feature (bool)
parm: xino_auto:Auto enable xino feature (bool)
parm: metacopy:Default to on or off for the metadata only copy up feature (bool)

Не могли бы вы уточнить, что вы имеете в виду под "[...] LXC image with features keyctl=1,nesting=1 "? И какая у вас конфигурация LXC (в /etc/pve/lxc/<lxcname>.conf)?

biotecs

Guest

#16

03.05.2021 13:08:00

Могу подтвердить, что overlay загружен внутри LXC контейнера: br_netfilter отсутствует. Но хотя overlay вроде бы есть, k3s выдаёт ошибку, потому что пытается modprobe его: Попытка загрузить один из модулей не работает, но, я думаю, это намеренно из-за структуры с общим ядром LXC. Проблема с неработающим K3S, кажется, в br_netfilter, потому что, хотя k3s запускается и работает внутри LXC на Proxmox, нет сетевого взаимодействия с/в контейнер.

cmonty14 Guest	#17 0 04.05.2021 08:27:00 Я перешёл на LXC с Ubuntu 20.04 и настроил 4-узловую кластерную установку k3s. Но тебе нужно будет изменить LXC, следуя этой инструкции.

malevolent Guest	#18 0 22.07.2021 00:36:00 И у меня так же на Proxmox 7, не могу загрузить br_netfilter, чтобы установить kubeadm.

tabnul

Guest

#19

16.12.2021 21:42:00

Интересно, кто-нибудь нашел решение? У меня та же проблема: ubuntu 20.0.4 LXC на proxmox 6.4, последняя версия. Следую руководству, ссылка на которое указана выше. Запуск K3S: ошибка как для overlay, так и для br_netfilter. Но K3S вроде работает нормально, у меня кластер из 3 узлов и основные поды работают. В контейнере И на хосте overlay вроде загружен. lsmod | grep overlay overlay 114688 0 В контейнере И на хосте br_netfilter > не загружен. lsmod | grep overlay <вывода нет> Я пытался загрузить его вручную на хосте, не получилось, ничего не загружается; modprobe br_netfilter lsmod | grep overlay <вывода нет>

IxsharpxI Guest	#20 0 20.12.2021 20:31:00 Я пробовал следовать этим инструкциям на своем первом мастер-ноде, и это позволило k3s запуститься, но ошибка по модулям все еще остается. Стоит ли продолжать или эти модули необходимы для чистой установки? Код: * k3s.service - Lightweight Kubernetes Loaded: loaded (/etc/systemd/system/k3s.service; enabled; vendor preset: enabled) Active: active (running) since Mon 2021-12-20 19:28:25 UTC; 7s ago Docs: https://k3s.io Process: 3112 ExecStartPre=/bin/sh -xc ! /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service (code=exited, status=0/SUCCESS) Process: 3114 ExecStartPre=/sbin/modprobe br_netfilter (code=exited, status=1/FAILURE) Process: 3115 ExecStartPre=/sbin/modprobe overlay (code=exited, status=1/FAILURE) Main PID: 3116 (k3s-server) Tasks: 94 Memory: 1.1G CPU: 5.861s CGroup: /system.slice/k3s.service \|- 937 /var/lib/rancher/k3s/data/e61cd97f31a54dbcd9893f8325b7133cfdfd0229ff3bfae5a4f845780a93e84c/bin/containerd-shim-runc-> \|- 975 /var/lib/rancher/k3s/data/e61cd97f31a54dbcd9893f8325b7133cfdfd0229ff3bfae5a4f845780a93e84c/bin/containerd-shim-runc-> \|-1012 /var/lib/rancher/k3s/data/e61cd97f31a54dbcd9893f8325b7133cfdfd0229ff3bfae5a4f845780a93e84c/bin/containerd-shim-runc-> \|-2145 /var/lib/rancher/k3s/data/e61cd97f31a54dbcd9893f8325b7133cfdfd0229ff3bfae5a4f845780a93e84c/bin/containerd-shim-runc-> \|-2349 /var/lib/rancher/k3s/data/e61cd97f31a54dbcd9893f8325b7133cfdfd0229ff3bfae5a4f845780a93e84c/bin/containerd-shim-runc-> \|-3116 /usr/local/bin/k3s server `-3129 containerd

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры