Дорогой, пожалуйста, добавь следующий патч в релизы ядра 4.1.3 для proxmox 4.0. Это нужно для разделения групп iommu некоторых (многих) устройств. Я сам использую это, чтобы разделить USB-контроллеры моих карт rocketU USB3.0 на разные группы iommu, чтобы vfio мог передавать каждый контроллер отдельно в ВМ. С уважением, Робин.
tristank
Guest
0
31.01.2022 19:26:00
Большое спасибо. С вашей информацией мне удалось собрать pve-kernel-5.15.12-1-pve_5.15.12-3_amd64 с необходимыми патчами для материнской платы J3455. Теперь acs override работает.
slickdakine
Guest
0
30.10.2021 07:23:00
Привет всем, сегодня столкнулся с этим. Выяснил, что в новых ядрах включена патч ACS для PCI passthrough / групп IOMMU. Просто убедитесь, что вы используете полную строку в вашем /etc/default/grub: pcie_acs_override=downstream,multifunction У меня это выглядит так для процессора AMD: GRUB_CMDLINE_LINUX_DEFAULT="amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction nomodeset" Обязательно укажите multifunction, чтобы заработало. Обновите ваш grub и так далее.
tristank
Guest
0
30.01.2022 20:13:00
Патч переопределения acs до сих пор не работает для материнских плат J3455, как уже упоминалось ранее в этой теме. Есть и другие темы с аналогичной проблемой здесь, здесь и здесь. Я был бы очень признателен, если бы кто-то смог написать хороший учебник о том, как изменить патч ядра 0003-pci-Enable-overrides-for-missing-ACS-capabilities-4.patch и скомпилировать ядро для Proxmox 7.1. Я пытался следовать инструкциям @yfdoor, но процесс завершается неудачей. Не знаю, почему строка 187 патча имеет ошибочный формат. Я не менял эту строку. Вот еще одна тема с этой проблемой. Вот что я сделал: $ git clone git://git.proxmox.com/git/pve-kernel.git --depth 1 $ nano patches/kernel/0003-pci-Enable-overrides-for-missing-ACS-capabilities-4..patch Я изменил строку 159 с + if (!pci_is_pcie(dev) || + pci_find_ext_capability(dev, PCI_EXT_CAP_ID_ACS)) на: + if (!pci_is_pcie(dev)) $ make применяя патч '../../patches/kernel/0003-pci-Enable-overrides-for-missing-ACS-capabilities-4..patch' патчинг файла Documentation/admin-guide/kernel-parameters.txt патчинг файла drivers/pci/quirks.c патч: **** ошибочный патч на строке 187: @@ -4912,6 +5012,8 @@ static const struct pci_dev_acs_enabled { make: *** [Makefile:90: ubuntu-jammy.prepared] Ошибка 2
DeMoB
Guest
0
31.01.2022 10:11:00
Я обнаружил, что проще всего избежать ошибок с неправильно оформленной строкой патча, если не удалять всю строку "pci_find_ext_capability(dev, PCI_EXT_CAP_ID_ACS))", а оставить закрывающую ")". В результате получится: + if (!pci_is_pcie(dev) + ) Причина ошибок с неправильно оформленными патчами после удаления всей строки в том, что файл патча ожидает, что будет отредактировано/вставлено определенное количество строк. Удаление строки из файла патча без обновления точек вставки/удаления для редактирования патча (и всех последующих строк в том же файле) нарушает ссылки на строки.
Giovanni
Guest
0
21.08.2022 06:52:00
Я следовал инструкциям из вики (), но ничего не работало. Всё изменилось, когда я наткнулся на комментарий о 'multifunction' — после этого у моего AMD Ryzen 3700X наконец исправились группы IOMMU. Спасибо!
jimlad
Guest
0
22.11.2022 11:12:00
У меня есть Fitlet2 с 4 x Intel® Atom Processor E3950 @ 1.60GHz (1 сокет). У меня такая же проблема. Все выглядит так, будто ACS включен, но когда группы выделяются, это игнорируется, и я застрял с теми же группами. Как мне это обойти? Я пытаюсь провести мимо единственный NIC для WAN-интерфейса OPNSense. Код: 0.506256] DMAR: ATSR не найден [ 0.506258] DMAR: SATC не найден [ 0.506262] DMAR: функция IOMMU fl1gp_support непоследовательна [ 0.506264] DMAR: функция IOMMU pgsel_inv непоследовательна [ 0.506266] DMAR: функция IOMMU nwfs непоследовательна [ 0.506268] DMAR: функция IOMMU eafs непоследовательна [ 0.506270] DMAR: функция IOMMU prs непоследовательна [ 0.506271] DMAR: функция IOMMU nest непоследовательна [ 0.506273] DMAR: функция IOMMU mts непоследовательна [ 0.506274] DMAR: функция IOMMU sc_support непоследовательна [ 0.506276] DMAR: функция IOMMU dev_iotlb_support непоследовательна [ 0.506278] DMAR: dmar0: Используется очередь для инвалидизации [ 0.506285] DMAR: dmar1: Используется очередь для инвалидизации [ 0.506331] Пытаюсь распаковать образ rootfs как initramfs... [ 0.506433] pci 0000:00:00.0: Добавление в iommu группу 0 [ 0.506461] pci 0000:00:02.0: Добавление в iommu группу 1 [ 0.506493] pci 0000:00:0e.0: Добавление в iommu группу 2 [ 0.506521] pci 0000:00:0f.0: Добавление в iommu группу 3 [ 0.506542] pci 0000:00:12.0: Добавление в iommu группу 4 [ 0.506601] pci 0000:00:13.0: Добавление в iommu группу 5 [ 0.506631] pci 0000:00:13.1: Добавление в iommu группу 5 [ 0.506657] pci 0000:00:13.2: Добавление в iommu группу 5 [ 0.506684] pci 0000:00:15.0: Добавление в iommu группу 6 [ 0.506734] pci 0000:00:16.0: Добавление в iommu группу 7 [ 0.506754] pci 0000:00:16.1: Добавление в iommu группу 7 [ 0.506776] pci 0000:00:16.2: Добавление в iommu группу 7 [ 0.506797] pci 0000:00:16.3: Добавление в iommu группу 7 [ 0.506846] pci 0000:00:17.0: Добавление в iommu группу 8 [ 0.506866] pci 0000:00:17.1: Добавление в iommu группу 8 [ 0.506887] pci 0000:00:17.2: Добавление в iommu группу 8 [ 0.506907] pci 0000:00:17.3: Добавление в iommu группу 8 [ 0.506958] pci 0000:00:18.0: Добавление в iommu группу 9 [ 0.506980] pci 0000:00:18.1: Добавление в iommu группу 9 [ 0.507001] pci 0000:00:18.2: Добавление в iommu группу 9 [ 0.507023] pci 0000:00:18.3: Добавление в iommu группу 9 [ 0.507044] pci 0000:00:1b.0: Добавление в iommu группу 10 [ 0.507065] pci 0000:00:1c.0: Добавление в iommu группу 11 [ 0.507090] pci 0000:00:1e.0: Добавление в iommu группу 12 [ 0.507125] pci 0000:00:1f.0: Добавление в iommu группу 13 [ 0.507148] pci 0000:00:1f.1: Добавление в iommu группу 13 [ 0.507163] pci 0000:01:00.0: Добавление в iommu группу 5 [ 0.507177] pci 0000:02:00.0: Добавление в iommu группу 5 [ 0.507190] pci 0000:03:00.0: Добавление в iommu группу 5 [ 0.507261] DMAR: Технология виртуализации Intel® для направленного ввода/вывода
sodaws
Guest
0
23.01.2023 20:43:00
Это также похоже на то, что работает на Pentium J4205. Теперь у каждого устройства есть своя группа IOMMU, но я пока не проверял, работает ли всё и стабильно ли. Поскольку инструкции выше были немного непонятными для меня, мне пришлось пройти через несколько трудностей, чтобы заставить сборку ядра заработать. Вот как я это сделал: я делаю это на новой установке Proxmox 7.3-1 с ядром 5.15.74-1-pve из образа ISO от 22 ноября 2022 года. Перед началом убедитесь, что у вас есть как минимум 35 ГБ свободного дискового пространства. Поскольку на других дисках у меня не было места, мне пришлось увеличить раздел pve/root, который был автоматически создан во время установки и имел размер примерно 30 ГБ. Я сделал это с помощью этого руководства, которое удаляет local-lvm (dev/pve/data) и расширяет local (dev/pve/root). Я бы не стал делать это на уже существующей установке, так как это удаляет ваши контейнеры/объемы ВМ. Я собираю ядро, основываясь на инструкциях из README pve-common, на который ссылается страница разработчика. (всё выполняется от имени root) Bash: # подготовить репозитории mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak echo "deb bullseye pvetest" > /etc/apt/sources.list.d/pve-development.list apt-get update && apt-get upgrade
# установить пакеты для сборки apt-get install build-essential git git-email debhelper pve-doc-generator devscripts
# скачать исходники mkdir /root/proxmox && cd /root/proxmox # для ядра 6.x # git clone git://git.proxmox.com/git/pve-kernel.git # для ядра 5.15.x git clone --branch pve-kernel-5.15 git://git.proxmox.com/git/pve-kernel.git
# установить зависимости cd pve-kernel/ && mk-build-deps --install debian/control.in Теперь отредактируйте /root/proxmox/pve-kernel/patches/kernel/0003-pci-Enable-overrides-for-missing-ACS-capabilities-4..patch, как описано выше, например: Git: ... + /* Никогда не переопределяйте ACS для устаревших устройств или устройств с возможностями ACS */ + if (!pci_is_pcie(dev) || + pci_find_ext_capability(dev, PCI_EXT_CAP_ID_ACS)) + return -ENOTTY; + + for (i = 0; i < max_acs_id; i++) ... на: Git: ... + /* Никогда не переопределяйте ACS для устаревших устройств или устройств с возможностями ACS */ + if (!pci_is_pcie(dev) + ) + return -ENOTTY; + + for (i = 0; i < max_acs_id; i++) ... Затем просто установите последнюю зависимость и начните сборку: Замечание: я заметил несколько предупреждений во время моей сборки. Код: ... Makefile.config:595: Не найден sys/sdt.h, события SDT не определены, пожалуйста, установите systemtap-sdt-devel или systemtap-sdt-dev Makefile.config:643: Не найден libunwind. Пожалуйста, установите libunwind-dev[el] >=1.1 и/или установите LIBUNWIND_DIR Makefile.config:808: Недостающие файлы разработки perl. Отключение поддержки скриптов на perl, пожалуйста, установите perl-ExtUtils-Embed/libperl-dev Makefile.config:891: Старая версия libbfd/binutils, такие вещи, как профилирование исполняемых файлов PE, будут недоступны Makefile.config:955: Не найден libzstd, отключение сжатия трассировки, пожалуйста, установите libzstd-dev[el] и/или установите LIBZSTD_DIR Makefile.config:966: Не найден libcap, отключение поддержки возможностей, пожалуйста, установите libcap-devel/libcap-dev Makefile.config:1034: Не найден libbabeltrace, отключение поддержки формата CTF для 'perf data', пожалуйста, установите libbabeltrace-dev[el]/libbabeltrace-ctf-dev Makefile.config:1060: Не найдена команда alternatives, вам нужно установить JDIR= для указания на корень вашего каталога Java ... Вы можете захотеть установить это, однако сборка также завершится без них. Это была моя первая попытка сборки ядра. Я недостаточно хорошо в этом разбираюсь. Редактирование: Это, похоже, связано с perf. Чтобы избавиться от них, вам нужно установить несколько дополнительных пакетов, смотрите ниже: Bash: # сборка остановится, если это не установлено, не найдёт python3-config apt-get install python3-dev # опционально: установите, чтобы избавиться от предупреждений Perf apt-get install systemtap-sdt-dev libunwind-dev libperl-dev libzstd-dev libcap-dev libbabeltrace-dev binutils-dev
# начать сборку make В зависимости от вашей системы это может занять от нескольких минут до нескольких часов (на J4205 это занимает около 3-4 часов). После завершения установите пакеты, которые вы только что собрали, активируйте ядро для загрузки, отредактируйте grub и обновите grub. Bash: cd /root/proxmox/pve-kernel dpkg -i *.deb # отредактируйте под версия вашего ядра update-initramfs -c -k 5.15.83-1-pve Затем в /etc/default/grub измените строку GRUB_CMDLINE_LINUX_DEFAULT="quiet" на GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on pcie_acs_override=downstream". Наконец, выполните update-grub и перезагрузитесь. Чтобы затем проверить группы IOMMU и какие устройства в них входят, выполните for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU Group %s ' "$n"; lspci -nns "${d##*/}"; done, что должно вывести что-то вроде этого: Код: IOMMU Group 0 00:00.0 Host bridge [0600]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Host Bridge [8086:5af0] (rev 0b) IOMMU Group 1 00:02.0 VGA compatible controller [0300]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Integrated Graphics Controller [8086:5a84] (rev 0b) IOMMU Group 2 00:0e.0 Audio device [0403]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Audio Cluster [8086:5a98] (rev 0b) IOMMU Group 3 00:0f.0 Communication controller [0780]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Trusted Execution Engine [8086:5a9a] (rev 0b) IOMMU Group 4 00:12.0 SATA controller [0106]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series SATA AHCI Controller [8086:5ae3] (rev 0b) IOMMU Group 5 00:13.0 PCI bridge [0604]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series PCI Express Port A #1 [8086:5ad8] (rev fb) IOMMU Group 6 00:13.3 PCI bridge [0604]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series PCI Express Port A #4 [8086:5adb] (rev fb) IOMMU Group 7 00:15.0 USB controller [0c03]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series USB xHCI [8086:5aa8] (rev 0b) IOMMU Group 8 00:1f.0 ISA bridge [0601]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Low Pin Count Interface [8086:5ae8] (rev 0b) IOMMU Group 8 00:1f.1 SMBus [0c05]: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series SMBus Controller [8086:5ad4] (rev 0b) IOMMU Group 9 02:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168] (rev 0c) Вот и всё.
TheRealBeltet
Guest
0
10.03.2023 00:58:00
Ух ты! Спасибо! Я протестировал это, и у меня все отлично заработало! У меня материнская плата Gigabyte H410M-H в паре с i5-10500T, и я не мог заставить ее работать. Но это решение все исправило. Мне это было нужно из-за моей 2.5Gb сетевой карты, и сетевая карта материнской платы была в одной группе. Теперь они отдельно. Я еще не тестировал функцию, но вскоре это сделаю. ДОПОЛНЕНИЕ: Это вроде как сработало... Но производительность была ужасной. Я смог подключиться через сетевую карту материнской платы, но связь была такой плохой, что я едва получил ssh соединение с сервером. В любом случае, спасибо за руководство! С этим не было никаких проблем.