+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Нужна помощь со стэктрейсом! Связано с iommu., Proxmox Виртуальная Среда

anaxagoras

Guest

23.08.2012 16:27:00

Это происходит каждый раз, когда я ставлю intel_iommu=on, даже если у меня нет переданных PCI-устройств и соответствующая ВМ выключена, и PCI passthrough при этом работает. Проблема возникает стабильно через 15-30 минут после загрузки. При просмотре top вижу, что некоторые системные процессы на хосте начинают кушать больше 100% CPU, например events, watchdog, apache2, и система становится ОЧЕНЬ медленной в отклике на ввод. Иногда на консоли появляются ошибки softlockup. Если выключить intel_iommu через grub — всё нормально.

Aug 23 00:29:22 proxmox kernel: ------------[ cut here ]------------
Aug 23 00:29:22 proxmox kernel: WARNING: at drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (Not tainted)
Aug 23 00:29:22 proxmox kernel: Hardware name: X9DRi-LN4+/X9DR3-LN4+
Aug 23 00:29:22 proxmox kernel: Driver unmaps unmatched page at PFN 0
Aug 23 00:29:22 proxmox kernel: Modules linked in: ext4 jbd2 snd_pcsp snd_pcm i2c_i801 snd_timer i2c_core snd ioatdma sb_edac soundcore tpm_tis edac_core tpm shpchp tpm_bios snd_page_alloc serio_raw ext3 jbd mbcache ses enclosure isci libsas igb dca ahci scsi_transport_sas [last unloaded: scsi_wait_scan]
Aug 23 00:29:22 proxmox kernel: Pid: 0, comm: swapper veid: 0 Not tainted 2.6.32-14-pve #1
Aug 23 00:29:22 proxmox kernel: Call Trace:
Aug 23 00:29:22 proxmox kernel: <IRQ> [<ffffffff8106c608>] ? warn_slowpath_common+0x88/0xc0
Aug 23 00:29:22 proxmox kernel: [<ffffffff8106c6f6>] ? warn_slowpath_fmt+0x46/0x50
Aug 23 00:29:22 proxmox kernel: [<ffffffff812a6bdb>] ? find_iova+0x5b/0x90
Aug 23 00:29:22 proxmox kernel: [<ffffffff812aae8f>] ? intel_unmap_page+0x15f/0x180
Aug 23 00:29:22 proxmox kernel: [<ffffffffa0031e47>] ? igb_poll+0x137/0x11c0 [igb]
Aug 23 00:29:22 proxmox kernel: [<ffffffff81081374>] ? mod_timer+0x144/0x230
Aug 23 00:29:22 proxmox kernel: [<ffffffff814ff71b>] ? br_multicast_send_query+0xeb/0x100
Aug 23 00:29:22 proxmox kernel: [<ffffffff8111dd86>] ? ctx_sched_in+0x246/0x320
Aug 23 00:29:22 proxmox kernel: [<ffffffff8145f2d3>] ? net_rx_action+0x103/0x2e0
Aug 23 00:29:22 proxmox kernel: [<ffffffff81075363>] ? __do_softirq+0x103/0x260
Aug 23 00:29:22 proxmox kernel: [<ffffffff8100c30c>] ? call_softirq+0x1c/0x30
Aug 23 00:29:22 proxmox kernel: [<ffffffff8100df35>] ? do_softirq+0x65/0xa0
Aug 23 00:29:22 proxmox kernel: [<ffffffff8107518d>] ? irq_exit+0xcd/0xd0
Aug 23 00:29:22 proxmox kernel: [<ffffffff8152dad5>] ? do_IRQ+0x75/0xf0
Aug 23 00:29:22 proxmox kernel: [<ffffffff8100bb13>] ? ret_from_intr+0x0/0x11
Aug 23 00:29:22 proxmox kernel: <EOI> [<ffffffff812d147e>] ? intel_idle+0xde/0x170
Aug 23 00:29:22 proxmox kernel: [<ffffffff812d1461>] ? intel_idle+0xc1/0x170
Aug 23 00:29:22 proxmox kernel: [<ffffffff814270b7>] ? cpuidle_idle_call+0xa7/0x140
Aug 23 00:29:22 proxmox kernel: [<ffffffff81009e63>] ? cpu_idle+0xb3/0x110
Aug 23 00:29:22 proxmox kernel: [<ffffffff8150c915>] ? rest_init+0x85/0x90
Aug 23 00:29:22 proxmox kernel: [<ffffffff81c2df6e>] ? start_kernel+0x412/0x41e
Aug 23 00:29:22 proxmox kernel: [<ffffffff81c2d33a>] ? x86_64_start_reservations+0x125/0x129
Aug 23 00:29:22 proxmox kernel: [<ffffffff81c2d438>] ? x86_64_start_kernel+0xfa/0x109
Aug 23 00:29:22 proxmox kernel: ---[ end trace 5c747b80ffafdf1e ]---

redguy

Guest

27.09.2012 19:18:00

Re: Похожая проблема

Меня тоже зацепил этот баг.

Kernel emitted:
Sep 27 11:36:07 proxmox1 kernel: WARNING: at drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (Не заношено)
Sep 27 11:36:07 proxmox1 kernel: Аппаратное обеспечение: PowerEdge R510
Sep 27 11:36:07 proxmox1 kernel: Драйвер убирает несопоставленную страницу по PFN 0
Sep 27 11:36:07 proxmox1 kernel: Загруженные модули: kvm_intel kvm sg snd_pcsp snd_pcm shpchp snd_timer snd tpm_tis dcdbas soundcore tpm i7core_edac tpm_bios snd_page_alloc ioatdma serio_raw edac_core power_meter usb_storage ext4 mbcache jbd2 ses enclosure megaraid_sas igb dca bnx2 [последний выгружен: scsi_wait_scan]
Sep 27 11:36:07 proxmox1 kernel: Pid: 0, comm: swapper veid: 0 Не заношено 2.6.32-14-pve #1
Sep 27 11:36:07 proxmox1 kernel: Call Trace:
Sep 27 11:36:07 proxmox1 kernel: <IRQ> [<ffffffff8106c608>] ? warn_slowpath_common+0x88/0xc0
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8106c6f6>] ? warn_slowpath_fmt+0x46/0x50
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff812a6bdb>] ? find_iova+0x5b/0x90
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff812aae8f>] ? intel_unmap_page+0x15f/0x180
Sep 27 11:36:07 proxmox1 kernel: [<ffffffffa0029e47>] ? igb_poll+0x137/0x11c0 [igb]
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8101cb74>] ? x86_pmu_enable+0x114/0x280
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff811190fb>] ? perf_pmu_enable+0x2b/0x40
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8111e898>] ? perf_event_task_tick+0xa8/0x2f0
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8145f2d3>] ? net_rx_action+0x103/0x2e0
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff81075363>] ? __do_softirq+0x103/0x260
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8100c30c>] ? call_softirq+0x1c/0x30
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8100df35>] ? do_softirq+0x65/0xa0
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8107518d>] ? irq_exit+0xcd/0xd0
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8152dad5>] ? do_IRQ+0x75/0xf0
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8100bb13>] ? ret_from_intr+0x0/0x11
Sep 27 11:36:07 proxmox1 kernel: <EOI> [<ffffffff812d147e>] ? intel_idle+0xde/0x170
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff812d1461>] ? intel_idle+0xc1/0x170
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8109cf4d>] ? sched_clock_cpu+0xcd/0x110
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff814270b7>] ? cpuidle_idle_call+0xa7/0x140
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff81009e63>] ? cpu_idle+0xb3/0x110
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff8150c915>] ? rest_init+0x85/0x90
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff81c2df6e>] ? start_kernel+0x412/0x41e
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff81c2d33a>] ? x86_64_start_reservations+0x125/0x129
Sep 27 11:36:07 proxmox1 kernel: [<ffffffff81c2d438>] ? x86_64_start_kernel+0xfa/0x109

С включённым iommu_intel и после активации SR-IOV в BIOS.

root@proxmox1:~# pveversion -v
pve-manager: 2.1-14 (pve-manager/2.1/f32f3f46)
запущенное ядро: 2.6.32-12-pve
proxmox-ve-2.6.32: 2.1-73
pve-kernel-2.6.32-12-pve: 2.6.32-68
pve-kernel-2.6.32-14-pve: 2.6.32-73
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.3-1
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.92-3
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.8-1
pve-cluster: 1.0-27
qemu-server: 2.0-49
pve-firmware: 1.0-18
libpve-common-perl: 1.0-30
libpve-access-control: 1.0-24
libpve-storage-perl: 2.0-30
vncterm: 1.0-2
vzctl: 3.0.30-2pve5
vzprocps: не установлен корректно
vzquota: 3.0.12-3
pve-qemu-kvm: 1.1-8
ksm-control-daemon: 1.1-1

--------------------- Основной системный корпус ---------------------
Информация о корпусе
Модель корпуса : PowerEdge R510
Редакция системы : II
[вырезано]

Процессор 1
Марка процессора : Intel® Xeon® CPU E5645 @ 2.40GHz
Версия процессора : Model 44 Stepping 2
Напряжение : 1200 mV

Система полностью зависла примерно через 3 часа работы.
Временное решение — использовать ядро 2.6.32-12-pve.

dietmar

Guest

28.09.2012 06:44:00

Re: Похожая проблема Возможно, стоит протестировать новый ядро из репозитория pvetest?
# wget ftp://download.proxmox.com/debian/d.../pve-kernel-2.6.32-15-pve_2.6.32-78_amd64.deb
# dpkg -i pve-kernel-2.6.32-15-pve_2.6.32-78_amd64.deb
Затем перезагрузитесь и проверьте работу с новым ядром.

redguy

Guest

11.10.2012 06:40:00

Re: Похожая проблема

Привет, я обновился и загрузился некоторое время назад. Новый ядро тоже выдало oops:
WARNING: at drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (система не повреждена)
Аппаратное имя: PowerEdge R510
Драйвер отменяет отображение несовпадающей страницы по PFN 0
Загруженные модули: sg kvm_intel kvm usb_storage snd_pcsp shpchp tpm_tis snd_pcm tpm snd_timer i7core_edac serio_raw dcdbas ioatdma tpm_bios edac_core snd power_meter soundcore snd_page_alloc ext4 mbcache jbd2 ses enclosure igb dca megaraid_sas bnx2 [последний выгруженный: scsi_wait_scan]
PID: 0, comm: swapper veid: 0
Система не повреждена
Версия ядра: 2.6.32-15-pve #1

Call Trace:
<IRQ>
[<ffffffff8106c608>] ? warn_slowpath_common+0x88/0xc0
[<ffffffff8106c6f6>] ? warn_slowpath_fmt+0x46/0x50
[<ffffffff812a77db>] ? find_iova+0x5b/0x90
[<ffffffff812aba8f>] ? intel_unmap_page+0x15f/0x180
[<ffffffffa0044e47>] ? igb_poll+0x137/0x11c0 [igb]
[<ffffffff81081424>] ? mod_timer+0x144/0x230
[<ffffffff81500b2b>] ? br_multicast_send_query+0xeb/0x100
[<ffffffff8111dd86>] ? group_sched_in+0x96/0x170
[<ffffffff814603b3>] ? net_rx_action+0x103/0x2e0
[<ffffffff81075413>] ? __do_softirq+0x103/0x260
[<ffffffff8100c30c>] ? call_softirq+0x1c/0x30
[<ffffffff8100df35>] ? do_softirq+0x65/0xa0
[<ffffffff8107523d>] ? irq_exit+0xcd/0xd0
[<ffffffff8152eef5>] ? do_IRQ+0x75/0xf0
[<ffffffff8100bb13>] ? ret_from_intr+0x0/0x11
<EOI>
[<ffffffff812d207e>] ? intel_idle+0xde/0x170
[<ffffffff812d2061>] ? intel_idle+0xc1/0x170
[<ffffffff8109d04d>] ? sched_clock_cpu+0xcd/0x110
[<ffffffff81427d17>] ? cpuidle_idle_call+0xa7/0x140
[<ffffffff81009e63>] ? cpu_idle+0xb3/0x110
[<ffffffff8150dd35>] ? rest_init+0x85/0x90
[<ffffffff81c2df6e>] ? start_kernel+0x412/0x41e
[<ffffffff81c2d33a>] ? x86_64_start_reservations+0x125/0x129
[<ffffffff81c2d438>] ? x86_64_start_kernel+0xfa/0x109

pveversion -v
pve-manager: 2.1-14 (pve-manager/2.1/f32f3f46)
запущенное ядро: 2.6.32-15-pve
proxmox-ve-2.6.32: 2.1-74
pve-kernel-2.6.32-12-pve: 2.6.32-68
pve-kernel-2.6.32-14-pve: 2.6.32-74
pve-kernel-2.6.32-15-pve: 2.6.32-78
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.3-1
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.92-3
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.8-1
pve-cluster: 1.0-27
qemu-server: 2.0-49
pve-firmware: 1.0-19
libpve-common-perl: 1.0-30
libpve-access-control: 1.0-24
libpve-storage-perl: 2.0-31
vncterm: 1.0-3
vzctl: 3.0.30-2pve5
vzprocps: установлен некорректно
vzquota: 3.0.12-3
pve-qemu-kvm: 1.1-8
ksm-control-daemon: 1.1-1

Жду, посмотрю, повторится ли зависание.

redguy

Guest

11.10.2012 14:41:00

Re: Похожая проблема. Система тоже зависала с ядром 2.6.32-15. Могу ли я предоставить какую-то дополнительную информацию? Могу попробовать собрать ядро с патчем из upstream (https://bugzilla.redhat.com/show_bug.cgi?id=815998), но не уверен, что есть исходный пакет для pve-ядра. К тому же сервер работает в продакшене, поэтому было бы здорово, если бы кто-нибудь подтвердил, что этот патч из upstream действительно решает проблему.

redguy

Guest

23.10.2012 16:36:00

Re: Похожая проблема

Запись в Redhat Bugzilla (https://bugzilla.redhat.com/show_bug.cgi?id=815998) имеет статус «CLOSED DUPLICATE of bug 827193», поэтому я подумал, что решение всё-таки есть. Проблема в том, что указанная ошибка, судя по всему, закрыта для просмотра. Не уверен, связано ли это с тем, что доступ есть только у подписчиков RH, или она скрыта из-за наличия данных заказчика. Может ли быть так, что RH пометили баг как приватный, чтобы его могли видеть только подписчики?

redguy

Guest

23.10.2012 17:02:00

Re: Похожая проблема

По комментарию инженера Red Hat, кажется, что проблема (или что-то очень похожее) была решена Red Hat в их kernel-2.6.32-298.el6. Кернели OpenVZ (на которых, как я предполагаю, основаны pve- кернели) всё ещё используют сборку 279.9.1. Как вообще собрать кастомный кернел для pve? Или мне придётся ждать, пока ребята из OpenVZ не обновят основу до нового кернела? Я вообще не использую OpenVZ и не уверен, что когда-нибудь буду — все мои виртуалки работают под kvm. Просто хочу убедиться, что баг исправлен в новой версии...

tom Guest	#8 0 23.10.2012 17:36:00 Re: Похожая проблема, наш самый новый ядро основан на 2.6.32-279.9.1.el6 (2.6.32-16)

Mitya

Guest

14.03.2013 06:57:00

Re: Похожая проблема Всё ещё актуально. IBM x3550m2. intel_iommu=on dmesg: Код: устройство eth0 переходит в промискуитетный режим
выделение irq_desc для 65 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 65 для MSI/MSI-X
выделение irq_desc для 66 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 66 для MSI/MSI-X
выделение irq_desc для 67 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 67 для MSI/MSI-X
выделение irq_desc для 68 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 68 для MSI/MSI-X
выделение irq_desc для 69 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 69 для MSI/MSI-X
выделение irq_desc для 70 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 70 для MSI/MSI-X
выделение irq_desc для 71 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 71 для MSI/MSI-X
выделение irq_desc для 72 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 72 для MSI/MSI-X
выделение irq_desc для 73 на узле -1
выделение kstat_irqs на узле -1
bnx2 0000:0b:00.0: irq 73 для MSI/MSI-X
bnx2 0000:0b:00.0: eth0: использует MSIX
bnx2 0000:0b:00.0: eth0: NIC Copper Link активен, 100 Мбит/с, полный дуплекс, управление потоком при приёме и передаче ВКЛЮЧЕНО
vmbr0: порт 1 (eth0) переходит в состояние пересылки
------------[ усечение ]------------
ВНИМАНИЕ: в drivers/pci/intel-iommu.c:2775 intel_unmap_page+0x15f/0x180() (не поврежден)
Аппаратное имя: System x3550 M2 -[794622G]-
Драйвер мапит непарную страницу по PFN 0
Подключённые модули: ext4 jbd2 ipmi_si ipmi_devintf ipmi_msghandler snd_pcsp cdc_ether usbnet i7core_edac i2c_i801 snd_pcm snd_timer snd soundcore snd_page_alloc shpchp mii i2c_core ioatdma edac_core tpm_tis tpm serio_raw tpm_bios ext3 jbd mbcache sg ata_generic mpt2sas pata_acpi scsi_transport_sas ata_piix igb megaraid_sas bnx2 raid_class dca [последний выгруженный: scsi_wait_scan]
Pid: 0, comm: swapper veid: 0 Не поврежден 2.6.32-18-pve #1
Трассировка вызовов:
<IRQ> [<ffffffff8106d228>] ? warn_slowpath_common+0x88/0xc0
[<ffffffff8106d316>] ? warn_slowpath_fmt+0x46/0x50
[<ffffffff812a6cdb>] ? find_iova+0x5b/0x90
[<ffffffff812aaf1f>] ? intel_unmap_page+0x15f/0x180
[<ffffffffa001ba65>] ? bnx2_poll_work+0x155/0x11d0 [bnx2]
[<ffffffff810eac20>] ? handle_IRQ_event+0x60/0x170
[<ffffffff810ed308>] ? handle_edge_irq+0x98/0x180
[<ffffffff8111dd86>] ? __perf_event_task_sched_out+0x26/0x2a0
[<ffffffffa001cb1d>] ? bnx2_poll_msix+0x3d/0xd0 [bnx2]
[<ffffffff81457aa3>] ? net_rx_action+0x103/0x2e0
[<ffffffff81076063>] ? __do_softirq+0x103/0x260
[<ffffffff8100c2ac>] ? call_softirq+0x1c/0x30
[<ffffffff8100def5>] ? do_softirq+0x65/0xa0
[<ffffffff81075e8d>] ? irq_exit+0xcd/0xd0
[<ffffffff81524935>] ? do_IRQ+0x75/0xf0
[<ffffffff8100ba93>] ? ret_from_intr+0x0/0x11
<EOI> [<ffffffff812d0e7e>] ? intel_idle+0xde/0x170
[<ffffffff812d0e61>] ? intel_idle+0xc1/0x170
[<ffffffff8109deed>] ? sched_clock_cpu+0xcd/0x110
[<ffffffff81420387>] ? cpuidle_idle_call+0xa7/0x140
[<ffffffff8100a023>] ? cpu_idle+0xb3/0x110
[<ffffffff81503e35>] ? rest_init+0x85/0x90
[<ffffffff81c2ef6e>] ? start_kernel+0x412/0x41e
[<ffffffff81c2e33a>] ? x86_64_start_reservations+0x125/0x129
[<ffffffff81c2e438>] ? x86_64_start_kernel+0xfa/0x109
---[ конец трассировки 6cdb8efebe033148 ]---
Установил 2.3 и обновился через apt:
Код:
# pveversion -v
pve-manager: 2.3-13 (pve-manager/2.3/7946f1f1)
ядро: 2.6.32-18-pve
proxmox-ve-2.6.32: 2.3-88
pve-kernel-2.6.32-18-pve: 2.6.32-88
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.4-4
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.93-2
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.9-1
pve-cluster: 1.0-36
qemu-server: 2.3-18
pve-firmware: 1.0-21
libpve-common-perl: 1.0-48
libpve-access-control: 1.0-26
libpve-storage-perl: 2.3-6
vncterm: 1.0-3
vzctl: 4.0-1pve2
vzprocps: 2.0.11-2
vzquota: 3.1-1
pve-qemu-kvm: 1.4-8
ksm-control-daemon: 1.1-1
PS: откат на 2.6.32-17-pve помог мне.

redguy

Guest

#10

14.03.2013 11:48:00

Re: Похожая проблема. Я полагаю, что этот вопрос решат, когда ядро RHEL 6.4 попадёт вниз по цепочке (через OpenVZ) в proxmox. Я пока работаю на 2.6.32-12-pve, но проверю версию -17, чтобы понять, решит ли она мою проблему. Если да, то, возможно, получится выяснить, что вызвало регресс с -17 на -18?

Mitya Guest	#11 0 26.03.2013 15:13:00 Re: Аналогичная проблема с запуском ядра: 2.6.32-19-pve. Проблема все еще актуальна.

synack Guest	#12 0 29.03.2013 17:06:00 Re: Похожая проблема У нас в /etc/default/grub была включена опция intel_iommu=on согласно документации по PCI passthrough, и на pve-16 система работала довольно стабильно. После обновления до pve-19 начались kernel oops, необъяснимо высокая нагрузка и паники. Удаление этой опции вернуло систему в нормальное состояние. Система — ProLiant DL380 G7.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры