+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Proxmox 6.2 Ошибка ядра Неверное значение RIP, Proxmox Виртуальная Среда

kweevuss

Guest

18.06.2020 14:51:00

У меня есть сервер Dell R710, на котором я запускаю Proxmox 6.2. У хоста есть сочетание локального хранилища и другого хранилища, представленное через iSCSI/NFS. Локальное хранилище состоит из 2x500G дисков в Raid 1 для ОС Proxmox и 2x500G SSD в Raid 1. Большинство виртуальных машин работает на iSCSI-общем доступе, а несколько — на локальном SSD-хранилище. Я использую это в своем домашнем лабораторном окружении уже некоторое время, но неожиданно у меня возникла проблема, которую я не знаю, как решить. Похоже, хост может работать около недели, а потом внезапно несколько моих ВМ отключаются. Когда это случается, я даже не могу получить доступ к консоли в Proxmox. Они обычно выдают тайм-аут, и, как я считаю, сообщение гласит "ошибка ожидания на systemd". Общее среди них то, что они все находятся на SSD-хранилище. Но не все ВМ на этом хранилище затрагиваются. Например, у меня также работает pfsense на этих SSD, и он продолжает работать, а доступ к консоли сохраняется. Интересно, что когда это происходит, задержка ввода-вывода подскакивает до примерно 8% и остается на этом уровне. Я нашел эту ошибку в файле syslog, но не уверен, что она означает и какие шаги мне следует предпринять. Jun 18 03:10:26 compute1 kernel: [623467.883697] INFO: task kvm:2361 blocked for more than 241 seconds. Jun 18 03:10:26 compute1 kernel: [623467.883732] Tainted: P IOE 5.4.34-1-pve #1 Jun 18 03:10:26 compute1 kernel: [623467.883752] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение. Jun 18 03:10:26 compute1 kernel: [623467.883777] kvm D 0 2361 1 0x00000000 Jun 18 03:10:26 compute1 kernel: [623467.883779] Call Trace: Jun 18 03:10:26 compute1 kernel: [623467.883787] __schedule+0x2e6/0x700 Jun 18 03:10:26 compute1 kernel: [623467.883789] schedule+0x33/0xa0 Jun 18 03:10:26 compute1 kernel: [623467.883790] schedule_preempt_disabled+0xe/0x10 Jun 18 03:10:26 compute1 kernel: [623467.883792] __mutex_lock.isra.10+0x2c9/0x4c0 Jun 18 03:10:26 compute1 kernel: [623467.883823] ? kvm_arch_vcpu_put+0xe2/0x170 [kvm] Jun 18 03:10:26 compute1 kernel: [623467.883825] __mutex_lock_slowpath+0x13/0x20 Jun 18 03:10:26 compute1 kernel: [623467.883826] mutex_lock+0x2c/0x30 Jun 18 03:10:26 compute1 kernel: [623467.883828] sr_block_ioctl+0x43/0xd0 Jun 18 03:10:26 compute1 kernel: [623467.883832] blkdev_ioctl+0x4c1/0x9e0 Jun 18 03:10:26 compute1 kernel: [623467.883835] block_ioctl+0x3d/0x50 Jun 18 03:10:26 compute1 kernel: [623467.883837] do_vfs_ioctl+0xa9/0x640 Jun 18 03:10:26 compute1 kernel: [623467.883838] ksys_ioctl+0x67/0x90 Jun 18 03:10:26 compute1 kernel: [623467.883840] __x64_sys_ioctl+0x1a/0x20 Jun 18 03:10:26 compute1 kernel: [623467.883843] do_syscall_64+0x57/0x190 Jun 18 03:10:26 compute1 kernel: [623467.883846] entry_SYSCALL_64_after_hwframe+0x44/0xa9 Jun 18 03:10:26 compute1 kernel: [623467.883848] RIP: 0033:0x7f2e40f97427 Jun 18 03:10:26 compute1 kernel: [623467.883852] Code: Bad RIP value. Jun 18 03:10:26 compute1 kernel: [623467.883853] RSP: 002b:00007f2d75ffa098 EFLAGS: 00000246 ORIG_RAX: 0000000000000010 Jun 18 03:10:26 compute1 kernel: [623467.883855] RAX: ffffffffffffffda RBX: 00007f2e33af4850 RCX: 00007f2e40f97427 Jun 18 03:10:26 compute1 kernel: [623467.883856] RDX: 000000007fffffff RSI: 0000000000005326 RDI: 0000000000000012 Jun 18 03:10:26 compute1 kernel: [623467.883856] RBP: 0000000000000001 R08: 0000559be29be890 R09: 0000000000000000 Jun 18 03:10:26 compute1 kernel: [623467.883857] R10: 0000000000000000 R11: 0000000000000246 R12: 00007f2d74a42268 Jun 18 03:10:26 compute1 kernel: [623467.883858] R13: 0000000000000000 R14: 0000559be2ef0d20 R15: 0000559be27fc740 Шаги, которые я предпринял до этого: я провел тест памяти на один полный проход, и проблем не обнаружено; я запустил smart-тесты на всех локальных дисках, проблем не обнаружено; я удалил SSD из хоста, проверил их состояние в Windows, провел дополнительные тесты (проблем не найдено) и обновил доступные прошивки. Буду признателен за помощь или разъяснение, что может означать это сообщение. Редактирование: Если это поможет, вывод pveversion ниже: Код: proxmox-ve: 6.2-1 (работающий ядро: 5.4.34-1-pve) pve-manager: 6.2-4 (работающая версия: 6.2-4/9824574a) pve-kernel-5.4: 6.2-1 pve-kernel-helper: 6.2-1 pve-kernel-5.4.34-1-pve: 5.4.34-2 ceph-fuse: 12.2.11+dfsg1-2.1+b1 corosync: 3.0.3-pve1 criu: 3.11-3 glusterfs-client: 5.5-3 ifupdown: 0.8.35+pve1 ksm-control-daemon: 1.3-1 libjs-extjs: 6.0.1-10 libknet1: 1.15-pve1 libproxmox-acme-perl: 1.0.3 libpve-access-control: 6.1-1 libpve-apiclient-perl: 3.0-3 libpve-common-perl: 6.1-2 libpve-guest-common-perl: 3.0-10 libpve-http-server-perl: 3.0-5 libpve-storage-perl: 6.1-7 libqb0: 1.0.5-1 libspice-server1: 0.14.2-4~pve6+1 lvm2: 2.03.02-pve4 lxc-pve: 4.0.2-1 lxcfs: 4.0.3-pve2 novnc-pve: 1.1.0-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.2-1 pve-cluster: 6.1-8 pve-container: 3.1-5 pve-docs: 6.2-4 pve-edk2-firmware: 2.20200229-1 pve-firewall: 4.1-2 pve-firmware: 3.1-1 pve-ha-manager: 3.0-9 pve-i18n: 2.1-2 pve-qemu-kvm: 5.0.0-2 pve-xtermjs: 4.3.0-1 qemu-server: 6.2-2 smartmontools: 7.1-pve2 spiceterm: 3.1-1 vncterm: 1.6-1 zfsutils-linux: 0.8.3-pve1

kweevuss

Guest

11.07.2020 01:32:00

Итак, на PVE 6.1 и более старом ядре, похоже, система работает уже больше недели (9 дней). pve-kernel-helper: 6.1-6 pve-kernel-5.3: 6.1-5 pve-kernel-5.3.18-2-pve: 5.3.18-2 Я не очень разбираюсь в запуске различных ядер, но предполагаю, что установлю их через apt-get? Есть ли список версий ядер, чтобы знать, что устанавливать? Я мог бы попробовать снова обновиться до 6.2 PVE и также использовать более старое ядро.

Denis Kulikov Guest	#3 0 11.07.2020 05:06:00 kweevuss, вы используете репликацию хранилища в вашей конфигурации?

kweevuss Guest	#4 0 11.07.2020 14:52:00 Ничего не настроено для репликации хранилища на этой системе.

wolfgang Guest	#5 0 13.07.2020 07:04:00 Да, вы можете установить его таким образом. Код: apt install pve-kernel-5.3.18-2-pve

udo

Guest

29.09.2020 12:11:00

Привет, есть новости по этому поводу? У меня похожая проблема: ВМ с LVM всё ещё работают, но все команды LVM (lvs, vgs, pvs) повисли, из-за чего узел и все ВМ отображаются с ? в графическом интерфейсе. Код: Sep 28 21:14:27 pve02 kernel: [ 2783.664724] INFO: task pvs:411112 blocked for more than 362 seconds.
Sep 28 21:14:27 pve02 kernel: [ 2783.692327] Tainted: P O 5.4.60-1-pve #1
Sep 28 21:14:27 pve02 kernel: [ 2783.716796] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" отключает это сообщение.
Sep 28 21:14:27 pve02 kernel: [ 2783.725214] pvs D 0 411112 401506 0x00000004
Sep 28 21:14:27 pve02 kernel: [ 2783.731267] Call Trace:
Sep 28 21:14:27 pve02 kernel: [ 2783.734179] __schedule+0x2e6/0x6f0
Sep 28 21:14:27 pve02 kernel: [ 2783.738137] schedule+0x33/0xa0
Sep 28 21:14:27 pve02 kernel: [ 2783.741746] schedule_preempt_disabled+0xe/0x10
Sep 28 21:14:27 pve02 kernel: [ 2783.746757] __mutex_lock.isra.10+0x2c9/0x4c0
Sep 28 21:14:27 pve02 kernel: [ 2783.751588] __mutex_lock_slowpath+0x13/0x20
Sep 28 21:14:27 pve02 kernel: [ 2783.756325] mutex_lock+0x2c/0x30
Sep 28 21:14:27 pve02 kernel: [ 2783.760072] disk_block_events+0x31/0x80
Sep 28 21:14:27 pve02 kernel: [ 2783.764430] __blkdev_get+0x72/0x560
Sep 28 21:14:27 pve02 kernel: [ 2783.768433] blkdev_get+0xef/0x150
Sep 28 21:14:27 pve02 kernel: [ 2783.772264] ? blkdev_get_by_dev+0x50/0x50
Sep 28 21:14:27 pve02 kernel: [ 2783.776787] blkdev_open+0x87/0xa0
Sep 28 21:14:27 pve02 kernel: [ 2783.780614] do_dentry_open+0x143/0x3a0
Sep 28 21:14:27 pve02 kernel: [ 2783.784942] vfs_open+0x2d/0x30
Sep 28 21:14:27 pve02 kernel: [ 2783.788523] path_openat+0x2e9/0x16f0
Sep 28 21:14:27 pve02 kernel: [ 2783.792615] ? filename_lookup.part.60+0xe0/0x170
Sep 28 21:14:27 pve02 kernel: [ 2783.797748] do_filp_open+0x93/0x100
Sep 28 21:14:27 pve02 kernel: [ 2783.801755] ? __alloc_fd+0x46/0x150
Sep 28 21:14:27 pve02 kernel: [ 2783.805760] do_sys_open+0x177/0x280
Sep 28 21:14:27 pve02 kernel: [ 2783.809845] __x64_sys_openat+0x20/0x30
Sep 28 21:14:27 pve02 kernel: [ 2783.814140] do_syscall_64+0x57/0x190
Sep 28 21:14:27 pve02 kernel: [ 2783.818731] entry_SYSCALL_64_after_hwframe+0x44/0xa9
Sep 28 21:14:27 pve02 kernel: [ 2783.824695] RIP: 0033:0x7f44154d31ae
Sep 28 21:14:27 pve02 kernel: [ 2783.829163] Code: Bad RIP value.
Sep 28 21:14:27 pve02 kernel: [ 2783.833275] RSP: 002b:00007fffa0944800 EFLAGS: 00000246 ORIG_RAX: 0000000000000101
Sep 28 21:14:27 pve02 kernel: [ 2783.841829] RAX: ffffffffffffffda RBX: 0000000000000000 RCX: 00007f44154d31ae
Sep 28 21:14:27 pve02 kernel: [ 2783.849860] RDX: 0000000000044000 RSI: 00005590d9097d70 RDI: 00000000ffffff9c
Sep 28 21:14:27 pve02 kernel: [ 2783.857990] RBP: 00007fffa0944960 R08: 00005590d7c5ca17 R09: 00007fffa0944a30
Sep 28 21:14:27 pve02 kernel: [ 2783.866100] R10: 0000000000000000 R11: 0000000000000246 R12: 00005590d7c53c68
Sep 28 21:14:27 pve02 kernel: [ 2783.874252] R13: 0000000000000001 R14: 0000000000000000 R15: 0000000000000000 После перезагрузки всё снова работает, но ненадолго (примерно 1 час). Сначала казалось, что проблемы с RAID-томами, потому что я пытался расширить RAID-том на аппаратном RAID-контроллере, но расширение RAID теперь работает (это снижает нагрузку), и проблема снова начинается. Код: pveversion -v
proxmox-ve: 6.2-1 (работает на ядре: 5.4.60-1-pve)
pve-manager: 6.2-11 (работает версия: 6.2-11/22fb4983)
pve-kernel-5.4: 6.2-6
pve-kernel-helper: 6.2-6
pve-kernel-5.3: 6.1-6
pve-kernel-5.0: 6.0-11
pve-kernel-5.4.60-1-pve: 5.4.60-2
pve-kernel-5.4.44-2-pve: 5.4.44-2
pve-kernel-5.3.18-3-pve: 5.3.18-3
pve-kernel-5.3.18-2-pve: 5.3.18-2
pve-kernel-5.3.13-3-pve: 5.3.13-3
pve-kernel-5.3.13-1-pve: 5.3.13-1
pve-kernel-5.0.21-5-pve: 5.0.21-10
pve-kernel-5.0.15-1-pve: 5.0.15-1
ceph: 14.2.11-pve1
ceph-fuse: 14.2.11-pve1
corosync: 3.0.4-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.16-pve1
libproxmox-acme-perl: 1.0.5
libpve-access-control: 6.1-2
libpve-apiclient-perl: 3.0-3
libpve-common-perl: 6.2-1
libpve-guest-common-perl: 3.1-3
libpve-http-server-perl: 3.0-6
libpve-storage-perl: 6.2-6
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.3-1
lxcfs: 4.0.3-pve3
novnc-pve: 1.1.0-1
openvswitch-switch: 2.12.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.2-12
pve-cluster: 6.1-8
pve-container: 3.1-13
pve-docs: 6.2-5
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-2
pve-firmware: 3.1-3
pve-ha-manager: 3.1-1
pve-i18n: 2.2-1
pve-qemu-kvm: 5.0.0-13
pve-xtermjs: 4.7.0-2
qemu-server: 6.2-14
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.4-pve1 То же самое происходило и после перезагрузки ранее - когда было активно ядро pve-kernel-5.4.44-2-pve: 5.4.44-2 (проблема началась после расширения RAID в онлайн-режиме, которое не увенчалось успехом, и весь сервер перестал работать с I/O и потребовал перезагрузки). Сервер — Dell R7415 с EPYC 7451. Удо

kweevuss

Guest

29.09.2020 16:35:00

Для меня это не так уж и изменилось. В конце концов, я остался на старой версии proxmox и ядре, как я уже писал выше: pve-kernel-helper: 6.1-6 pve-kernel-5.3: 6.1-5 pve-kernel-5.3.18-2-pve: 5.3.18-2 Лично я планирую обновить этот сервер в течение следующих 6 месяцев. Поэтому я надеялся, что новое оборудование изменит эту ситуацию.

udo Guest	#8 0 30.09.2020 00:01:00 Привет, я не уверен, что новое оборудование решит проблему — у меня это происходит на реальном оборудовании (меньше года). Но я запускал ядро на другом (старом) оборудовании без проблем... Удо

wolfgang

Guest

30.09.2020 05:58:00

Удо, ты используешь IPERC на этом сервере? Если да, можешь сказать, какой именно? Возможно, это связано с устройствами Disk IO. У нас здесь нет таких проблем с процессорами EPYC. К тому же, твоя конфигурация хранения интересна.

udo

Guest

#10

30.09.2020 15:23:00

Привет, Вольфганг, да, lvm-накопитель работает через контроллер PERC: Код: PERC H740P Mini (Интегрированный) Интегрированный RAID-контроллер 1 Версия прошивки: 51.13.0-3485 Кэш: 8192 МБ LVM работает на RAID 6 с 6 жесткими дисками (сейчас в процессе расширения на 2 новых диска). На этом узле определены только 2 lcm-накопителя Код: lvmthin: local-lvm
thinpool data
vgname pve
content images,rootdir

lvmthin: hdd-lvm
thinpool data
vgname hdd
content rootdir,images У нас есть другие узлы pve с Epyc, где lvm работает. Но с другим ядром (и lvm на RAID-1 SSD): Код: proxmox-ve: 6.2-1 (текущее ядро: 5.4.41-1-pve). Два дня назад вышло обновление BIOS - оно будет установлено в выходные, но я не уверен, какое ядро мне использовать. Удо

wolfgang Guest	#11 0 01.10.2020 07:30:00 Я постараюсь воспроизвести это с контроллером RAID LSI 3806. Сообщу, если что-то найду.

udo

Guest

#12

01.10.2020 10:46:00

wolfgang Guest	#13 0 01.10.2020 13:54:00 У вас есть какие-либо специальные настройки на RAID? Размер блока, режим кэширования...

udo Guest	#14 0 01.10.2020 21:41:00 Привет, Вольфганг, не совсем так — интересное было то, что у меня был 100ГБ RAID-объем для системы Proxmox, а остальное пространство предназначалось для большого LVM-хранилища. Но из-за расширения мне пришлось мигрировать и удалить системный RAID (проблема начинается только после перезагрузки, когда системный RAID все еще на RAID-группе). Настройки RAID: Код: megacli -LDInfo -L1 -a0 Адаптер 0 — Информация о виртуальном диске: Виртуальный диск: 1 (идентификатор цели: 1) Имя: hdd-raid6 Уровень RAID: Основной-6, Вторичный-0, Квалификатор уровня RAID-3 Размер: 7.177 ТБ Размер сектора: 512 Размер паритета: 3.588 ТБ Состояние: Оптимально Размер полосы: 256 КБ Количество дисков: 6 Глубина охвата: 1 Политика кэширования по умолчанию: WriteBack, ReadAhead, Direct, без кэша записи при плохом BBU Текущая политика кэширования: WriteThrough, ReadAheadNone, Кэшировано, без кэша записи при плохом BBU Политика доступа по умолчанию: Чтение/Запись Текущая политика доступа: Чтение/Запись Политика кэширования диска: По умолчанию для диска Прогресс выполнения: Реконструкция: Завершена на 70%, заняла 52 минуты. Тип шифрования: Нет Плохие сектора имеются: Нет VD кэширован: Нет

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры