Аспро: ЛайтШоп [тема: Нужна помощь со стэктрейсом! Связано с iommu.]

Нужна помощь со стэктрейсом! Связано с iommu.

Fri, 29 Mar 2013 17:06:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема

У нас в /etc/default/grub была включена опция intel_iommu=on согласно документации по PCI passthrough, и на pve-16 система работала довольно стабильно. После обновления до pve-19 начались kernel oops, необъяснимо высокая нагрузка и паники. Удаление этой опции вернуло систему в нормальное состояние. Система — ProLiant DL380 G7.
29.03.2013 17:06:00, synack.

Нужна помощь со стэктрейсом! Связано с iommu.

Tue, 26 Mar 2013 15:13:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Аналогичная проблема с запуском ядра: 2.6.32-19-pve. Проблема все еще актуальна.
26.03.2013 15:13:00, Mitya.

Нужна помощь со стэктрейсом! Связано с iommu.

Thu, 14 Mar 2013 11:48:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема. Я полагаю, что этот вопрос решат, когда ядро RHEL 6.4 попадёт вниз по цепочке (через OpenVZ) в proxmox. Я пока работаю на 2.6.32-12-pve, но проверю версию -17, чтобы понять, решит ли она мою проблему. Если да, то, возможно, получится выяснить, что вызвало регресс с -17 на -18?
14.03.2013 11:48:00, redguy.

Нужна помощь со стэктрейсом! Связано с iommu.

Thu, 14 Mar 2013 06:57:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема Всё ещё актуально. IBM x3550m2. intel_iommu=on dmesg: Код: устройство eth0 переходит в промискуитетный режим
выделение irq_desc для 65 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 65 для MSI/MSI-X
выделение irq_desc для 66 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 66 для MSI/MSI-X
выделение irq_desc для 67 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 67 для MSI/MSI-X
выделение irq_desc для 68 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 68 для MSI/MSI-X
выделение irq_desc для 69 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 69 для MSI/MSI-X
выделение irq_desc для 70 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 70 для MSI/MSI-X
выделение irq_desc для 71 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 71 для MSI/MSI-X
выделение irq_desc для 72 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 72 для MSI/MSI-X
выделение irq_desc для 73 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 73 для MSI/MSI-X
bnx2 0000:0b:00.0: eth0: использует MSIX
bnx2 0000:0b:00.0: eth0: NIC Copper Link активен, 100 Мбит/с, полный дуплекс, управление потоком при приёме и передаче ВКЛЮЧЕНО
vmbr0: порт 1 (eth0) переходит в состояние пересылки
------------[ усечение ]------------
ВНИМАНИЕ: в drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (не поврежден)
Аппаратное имя: System x3550 M2 -[794622G]-
Драйвер мапит непарную страницу по PFN 0
Подключённые модули: ext4 jbd2 ipmi_si ipmi_devintf ipmi_msghandler snd_pcsp cdc_ether usbnet i7core_edac i2c_i801 snd_pcm snd_timer snd soundcore snd_page_alloc shpchp mii i2c_core ioatdma edac_core tpm_tis tpm serio_raw tpm_bios ext3 jbd mbcache sg ata_generic mpt2sas pata_acpi scsi_transport_sas ata_piix igb megaraid_sas bnx2 raid_class dca [последний выгруженный: scsi_wait_scan]
Pid: 0, comm: swapper veid: 0 Не поврежден 2.6.32-18-pve #1
Трассировка вызовов:
[] ? warn_slowpath_common+0x88/0xc0
[] ? warn_slowpath_fmt+0x46/0x50
[] ? find_iova+0x5b/0x90
[] ? intel_unmap_page+0x15f/0x180
[] ? bnx2_poll_work+0x155/0x11d0 [bnx2]
[] ? handle_IRQ_event+0x60/0x170
[] ? handle_edge_irq+0x98/0x180
[] ? __perf_event_task_sched_out+0x26/0x2a0
[] ? bnx2_poll_msix+0x3d/0xd0 [bnx2]
[] ? net_rx_action+0x103/0x2e0
[] ? __do_softirq+0x103/0x260
[] ? call_softirq+0x1c/0x30
[] ? do_softirq+0x65/0xa0
[] ? irq_exit+0xcd/0xd0
[] ? do_IRQ+0x75/0xf0
[] ? ret_from_intr+0x0/0x11
[] ? intel_idle+0xde/0x170
[] ? intel_idle+0xc1/0x170
[] ? sched_clock_cpu+0xcd/0x110
[] ? cpuidle_idle_call+0xa7/0x140
[] ? cpu_idle+0xb3/0x110
[] ? rest_init+0x85/0x90
[] ? start_kernel+0x412/0x41e
[] ? x86_64_start_reservations+0x125/0x129
[] ? x86_64_start_kernel+0xfa/0x109
---[ конец трассировки 6cdb8efebe033148 ]---
Установил 2.3 и обновился через apt:
Код:
# pveversion -v
pve-manager: 2.3-13 (pve-manager/2.3/7946f1f1)
ядро: 2.6.32-18-pve
proxmox-ve-2.6.32: 2.3-88
pve-kernel-2.6.32-18-pve: 2.6.32-88
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.4-4
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.93-2
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.9-1
pve-cluster: 1.0-36
qemu-server: 2.3-18
pve-firmware: 1.0-21
libpve-common-perl: 1.0-48
libpve-access-control: 1.0-26
libpve-storage-perl: 2.3-6
vncterm: 1.0-3
vzctl: 4.0-1pve2
vzprocps: 2.0.11-2
vzquota: 3.1-1
pve-qemu-kvm: 1.4-8
ksm-control-daemon: 1.1-1
PS: откат на 2.6.32-17-pve помог мне.
14.03.2013 06:57:00, Mitya.

Нужна помощь со стэктрейсом! Связано с iommu.

Tue, 23 Oct 2012 17:36:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема, наш самый новый ядро основан на 2.6.32-279.9.1.el6 (2.6.32-16)
23.10.2012 17:36:00, tom.

Нужна помощь со стэктрейсом! Связано с iommu.

Tue, 23 Oct 2012 17:02:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема

По комментарию инженера Red Hat, кажется, что проблема (или что-то очень похожее) была решена Red Hat в их kernel-2.6.32-298.el6. Кернели OpenVZ (на которых, как я предполагаю, основаны pve- кернели) всё ещё используют сборку 279.9.1. Как вообще собрать кастомный кернел для pve? Или мне придётся ждать, пока ребята из OpenVZ не обновят основу до нового кернела? Я вообще не использую OpenVZ и не уверен, что когда-нибудь буду — все мои виртуалки работают под kvm. Просто хочу убедиться, что баг исправлен в новой версии...
23.10.2012 17:02:00, redguy.

Нужна помощь со стэктрейсом! Связано с iommu.

Tue, 23 Oct 2012 16:36:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема

Запись в Redhat Bugzilla (https://bugzilla.redhat.com/show_bug.cgi?id=815998) имеет статус «CLOSED DUPLICATE of bug 827193», поэтому я подумал, что решение всё-таки есть. Проблема в том, что указанная ошибка, судя по всему, закрыта для просмотра. Не уверен, связано ли это с тем, что доступ есть только у подписчиков RH, или она скрыта из-за наличия данных заказчика. Может ли быть так, что RH пометили баг как приватный, чтобы его могли видеть только подписчики?
23.10.2012 16:36:00, redguy.

Нужна помощь со стэктрейсом! Связано с iommu.

Thu, 11 Oct 2012 14:41:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема. Система тоже зависала с ядром 2.6.32-15. Могу ли я предоставить какую-то дополнительную информацию? Могу попробовать собрать ядро с патчем из upstream (https://bugzilla.redhat.com/show_bug.cgi?id=815998), но не уверен, что есть исходный пакет для pve-ядра. К тому же сервер работает в продакшене, поэтому было бы здорово, если бы кто-нибудь подтвердил, что этот патч из upstream действительно решает проблему.
11.10.2012 14:41:00, redguy.

Нужна помощь со стэктрейсом! Связано с iommu.

Thu, 11 Oct 2012 06:40:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема

Привет, я обновился и загрузился некоторое время назад. Новый ядро тоже выдало oops:
WARNING: at drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (система не повреждена)
Аппаратное имя: PowerEdge R510
Драйвер отменяет отображение несовпадающей страницы по PFN 0
Загруженные модули: sg kvm_intel kvm usb_storage snd_pcsp shpchp tpm_tis snd_pcm tpm snd_timer i7core_edac serio_raw dcdbas ioatdma tpm_bios edac_core snd power_meter soundcore snd_page_alloc ext4 mbcache jbd2 ses enclosure igb dca megaraid_sas bnx2 [последний выгруженный: scsi_wait_scan]
PID: 0, comm: swapper veid: 0
Система не повреждена
Версия ядра: 2.6.32-15-pve #1

Call Trace:

[] ? warn_slowpath_common+0x88/0xc0
[] ? warn_slowpath_fmt+0x46/0x50
[] ? find_iova+0x5b/0x90
[] ? intel_unmap_page+0x15f/0x180
[] ? igb_poll+0x137/0x11c0 [igb]
[] ? mod_timer+0x144/0x230
[] ? br_multicast_send_query+0xeb/0x100
[] ? group_sched_in+0x96/0x170
[] ? net_rx_action+0x103/0x2e0
[] ? __do_softirq+0x103/0x260
[] ? call_softirq+0x1c/0x30
[] ? do_softirq+0x65/0xa0
[] ? irq_exit+0xcd/0xd0
[] ? do_IRQ+0x75/0xf0
[] ? ret_from_intr+0x0/0x11

[] ? intel_idle+0xde/0x170
[] ? intel_idle+0xc1/0x170
[] ? sched_clock_cpu+0xcd/0x110
[] ? cpuidle_idle_call+0xa7/0x140
[] ? cpu_idle+0xb3/0x110
[] ? rest_init+0x85/0x90
[] ? start_kernel+0x412/0x41e
[] ? x86_64_start_reservations+0x125/0x129
[] ? x86_64_start_kernel+0xfa/0x109

pveversion -v
pve-manager: 2.1-14 (pve-manager/2.1/f32f3f46)
запущенное ядро: 2.6.32-15-pve
proxmox-ve-2.6.32: 2.1-74
pve-kernel-2.6.32-12-pve: 2.6.32-68
pve-kernel-2.6.32-14-pve: 2.6.32-74
pve-kernel-2.6.32-15-pve: 2.6.32-78
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.3-1
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.92-3
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.8-1
pve-cluster: 1.0-27
qemu-server: 2.0-49
pve-firmware: 1.0-19
libpve-common-perl: 1.0-30
libpve-access-control: 1.0-24
libpve-storage-perl: 2.0-31
vncterm: 1.0-3
vzctl: 3.0.30-2pve5
vzprocps: установлен некорректно
vzquota: 3.0.12-3
pve-qemu-kvm: 1.1-8
ksm-control-daemon: 1.1-1

Жду, посмотрю, повторится ли зависание.
11.10.2012 06:40:00, redguy.

Нужна помощь со стэктрейсом! Связано с iommu.

Fri, 28 Sep 2012 06:44:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема Возможно, стоит протестировать новый ядро из репозитория pvetest?
# wget ftp://download.proxmox.com/debian/d.../pve-kernel-2.6.32-15-pve_2.6.32-78_amd64.deb
# dpkg -i pve-kernel-2.6.32-15-pve_2.6.32-78_amd64.deb
Затем перезагрузитесь и проверьте работу с новым ядром.
28.09.2012 06:44:00, dietmar.

Нужна помощь со стэктрейсом! Связано с iommu.

Thu, 27 Sep 2012 19:18:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Похожая проблема

Меня тоже зацепил этот баг.

Kernel emitted:
Sep 27 11:36:07 proxmox1 kernel: WARNING: at drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (Не заношено)
Sep 27 11:36:07 proxmox1 kernel: Аппаратное обеспечение: PowerEdge R510
Sep 27 11:36:07 proxmox1 kernel: Драйвер убирает несопоставленную страницу по PFN 0
Sep 27 11:36:07 proxmox1 kernel: Загруженные модули: kvm_intel kvm sg snd_pcsp snd_pcm shpchp snd_timer snd tpm_tis dcdbas soundcore tpm i7core_edac tpm_bios snd_page_alloc ioatdma serio_raw edac_core power_meter usb_storage ext4 mbcache jbd2 ses enclosure megaraid_sas igb dca bnx2 [последний выгружен: scsi_wait_scan]
Sep 27 11:36:07 proxmox1 kernel: Pid: 0, comm: swapper veid: 0 Не заношено 2.6.32-14-pve #1
Sep 27 11:36:07 proxmox1 kernel: Call Trace:
Sep 27 11:36:07 proxmox1 kernel: [] ? warn_slowpath_common+0x88/0xc0
Sep 27 11:36:07 proxmox1 kernel: [] ? warn_slowpath_fmt+0x46/0x50
Sep 27 11:36:07 proxmox1 kernel: [] ? find_iova+0x5b/0x90
Sep 27 11:36:07 proxmox1 kernel: [] ? intel_unmap_page+0x15f/0x180
Sep 27 11:36:07 proxmox1 kernel: [] ? igb_poll+0x137/0x11c0 [igb]
Sep 27 11:36:07 proxmox1 kernel: [] ? x86_pmu_enable+0x114/0x280
Sep 27 11:36:07 proxmox1 kernel: [] ? perf_pmu_enable+0x2b/0x40
Sep 27 11:36:07 proxmox1 kernel: [] ? perf_event_task_tick+0xa8/0x2f0
Sep 27 11:36:07 proxmox1 kernel: [] ? net_rx_action+0x103/0x2e0
Sep 27 11:36:07 proxmox1 kernel: [] ? __do_softirq+0x103/0x260
Sep 27 11:36:07 proxmox1 kernel: [] ? call_softirq+0x1c/0x30
Sep 27 11:36:07 proxmox1 kernel: [] ? do_softirq+0x65/0xa0
Sep 27 11:36:07 proxmox1 kernel: [] ? irq_exit+0xcd/0xd0
Sep 27 11:36:07 proxmox1 kernel: [] ? do_IRQ+0x75/0xf0
Sep 27 11:36:07 proxmox1 kernel: [] ? ret_from_intr+0x0/0x11
Sep 27 11:36:07 proxmox1 kernel: [] ? intel_idle+0xde/0x170
Sep 27 11:36:07 proxmox1 kernel: [] ? intel_idle+0xc1/0x170
Sep 27 11:36:07 proxmox1 kernel: [] ? sched_clock_cpu+0xcd/0x110
Sep 27 11:36:07 proxmox1 kernel: [] ? cpuidle_idle_call+0xa7/0x140
Sep 27 11:36:07 proxmox1 kernel: [] ? cpu_idle+0xb3/0x110
Sep 27 11:36:07 proxmox1 kernel: [] ? rest_init+0x85/0x90
Sep 27 11:36:07 proxmox1 kernel: [] ? start_kernel+0x412/0x41e
Sep 27 11:36:07 proxmox1 kernel: [] ? x86_64_start_reservations+0x125/0x129
Sep 27 11:36:07 proxmox1 kernel: [] ? x86_64_start_kernel+0xfa/0x109

С включённым iommu_intel и после активации SR-IOV в BIOS.

root@proxmox1:~# pveversion -v
pve-manager: 2.1-14 (pve-manager/2.1/f32f3f46)
запущенное ядро: 2.6.32-12-pve
proxmox-ve-2.6.32: 2.1-73
pve-kernel-2.6.32-12-pve: 2.6.32-68
pve-kernel-2.6.32-14-pve: 2.6.32-73
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.3-1
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.92-3
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.8-1
pve-cluster: 1.0-27
qemu-server: 2.0-49
pve-firmware: 1.0-18
libpve-common-perl: 1.0-30
libpve-access-control: 1.0-24
libpve-storage-perl: 2.0-30
vncterm: 1.0-2
vzctl: 3.0.30-2pve5
vzprocps: не установлен корректно
vzquota: 3.0.12-3
pve-qemu-kvm: 1.1-8
ksm-control-daemon: 1.1-1

--------------------- Основной системный корпус ---------------------
Информация о корпусе
Модель корпуса : PowerEdge R510
Редакция системы : II
[вырезано]

Процессор 1
Марка процессора : Intel® Xeon® CPU E5645 @ 2.40GHz
Версия процессора : Model 44 Stepping 2
Напряжение : 1200 mV

Система полностью зависла примерно через 3 часа работы.
Временное решение — использовать ядро 2.6.32-12-pve.
27.09.2012 19:18:00, redguy.

Нужна помощь со стэктрейсом! Связано с iommu.

Thu, 23 Aug 2012 16:27:00 +0400

Нужна помощь со стэктрейсом! Связано с iommu. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это происходит каждый раз, когда я ставлю intel_iommu=on, даже если у меня нет переданных PCI-устройств и соответствующая ВМ выключена, и PCI passthrough при этом работает. Проблема возникает стабильно через 15-30 минут после загрузки. При просмотре top вижу, что некоторые системные процессы на хосте начинают кушать больше 100% CPU, например events, watchdog, apache2, и система становится ОЧЕНЬ медленной в отклике на ввод. Иногда на консоли появляются ошибки softlockup. Если выключить intel_iommu через grub — всё нормально.

Aug 23 00:29:22 proxmox kernel: ------------[ cut here ]------------
Aug 23 00:29:22 proxmox kernel: WARNING: at drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (Not tainted)
Aug 23 00:29:22 proxmox kernel: Hardware name: X9DRi-LN4+/X9DR3-LN4+
Aug 23 00:29:22 proxmox kernel: Driver unmaps unmatched page at PFN 0
Aug 23 00:29:22 proxmox kernel: Modules linked in: ext4 jbd2 snd_pcsp snd_pcm i2c_i801 snd_timer i2c_core snd ioatdma sb_edac soundcore tpm_tis edac_core tpm shpchp tpm_bios snd_page_alloc serio_raw ext3 jbd mbcache ses enclosure isci libsas igb dca ahci scsi_transport_sas [last unloaded: scsi_wait_scan]
Aug 23 00:29:22 proxmox kernel: Pid: 0, comm: swapper veid: 0 Not tainted 2.6.32-14-pve #1
Aug 23 00:29:22 proxmox kernel: Call Trace:
Aug 23 00:29:22 proxmox kernel: [] ? warn_slowpath_common+0x88/0xc0
Aug 23 00:29:22 proxmox kernel: [] ? warn_slowpath_fmt+0x46/0x50
Aug 23 00:29:22 proxmox kernel: [] ? find_iova+0x5b/0x90
Aug 23 00:29:22 proxmox kernel: [] ? intel_unmap_page+0x15f/0x180
Aug 23 00:29:22 proxmox kernel: [] ? igb_poll+0x137/0x11c0 [igb]
Aug 23 00:29:22 proxmox kernel: [] ? mod_timer+0x144/0x230
Aug 23 00:29:22 proxmox kernel: [] ? br_multicast_send_query+0xeb/0x100
Aug 23 00:29:22 proxmox kernel: [] ? ctx_sched_in+0x246/0x320
Aug 23 00:29:22 proxmox kernel: [] ? net_rx_action+0x103/0x2e0
Aug 23 00:29:22 proxmox kernel: [] ? __do_softirq+0x103/0x260
Aug 23 00:29:22 proxmox kernel: [] ? call_softirq+0x1c/0x30
Aug 23 00:29:22 proxmox kernel: [] ? do_softirq+0x65/0xa0
Aug 23 00:29:22 proxmox kernel: [] ? irq_exit+0xcd/0xd0
Aug 23 00:29:22 proxmox kernel: [] ? do_IRQ+0x75/0xf0
Aug 23 00:29:22 proxmox kernel: [] ? ret_from_intr+0x0/0x11
Aug 23 00:29:22 proxmox kernel: [] ? intel_idle+0xde/0x170
Aug 23 00:29:22 proxmox kernel: [] ? intel_idle+0xc1/0x170
Aug 23 00:29:22 proxmox kernel: [] ? cpuidle_idle_call+0xa7/0x140
Aug 23 00:29:22 proxmox kernel: [] ? cpu_idle+0xb3/0x110
Aug 23 00:29:22 proxmox kernel: [] ? rest_init+0x85/0x90
Aug 23 00:29:22 proxmox kernel: [] ? start_kernel+0x412/0x41e
Aug 23 00:29:22 proxmox kernel: [] ? x86_64_start_reservations+0x125/0x129
Aug 23 00:29:22 proxmox kernel: [] ? x86_64_start_kernel+0xfa/0x109
Aug 23 00:29:22 proxmox kernel: ---[ end trace 5c747b80ffafdf1e ]---
23.08.2012 16:27:00, anaxagoras.