+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Выясняю причину нестабильности., Proxmox Виртуальная Среда

RealPjotr

Guest

19.11.2024 21:50:00

У меня возникла нестабильность в новой системе. По мере её более активного использования проблема становится всё более частой. Журналы системы ничего не показывают до перезагрузки. Я собрал новый сервер на базе Asrock Rack SIENAD8-2L2T, Epyc 8434P и 6x64 GB Registred ECC RAM. В слот PCIE7 установлен плата-разветвитель SATA для 4x4SATA порта, подключены 1 SSD и 4 HDD. В слоты PCIE1 и PCIE3 установлены две платы 4xM.2 и на них установлено 8 различных SSD. В двух M.2 слотах на материнской плате ничего не установлено. Использую 1G, подключённый к IPMI, и 10G NIC. pve-manager/8.2.9/98c7f34632fee424 Linux 6.8.12: 00:49:32.735754+0000: AER: aer_status: 0x00000040, aer_mask: 0x00001000
[ 3764.613538] {9}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 514
[ 3764.614159] {9}[Hardware Error]: It has been corrected by h/w and requires no further action
[ 3764.614738] {9}[Hardware Error]: event severity: corrected
[ 3764.615303] {9}[Hardware Error]: Error 0, type: corrected
[ 3764.615858] {9}[Hardware Error]: fru_text: PcieError
[ 3764.616413] {9}[Hardware Error]: section_type: PCIe error
[ 3764.616969] {9}[Hardware Error]: port_type: 0, PCIe end point
[ 3764.617526] {9}[Hardware Error]: version: 0.2
[ 3764.618078] {9}[Hardware Error]: command: 0x0406, status: 0x0010
[ 3764.618639] {9}[Hardware Error]: device_id: 0000:09:00.0
[ 3764.619195] {9}[Hardware Error]: slot: 0
[ 3764.619807] {9}[Hardware Error]: secondary_bus: 0x00
[ 3764.620366] {9}[Hardware Error]: vendor_id: 0x8086, device_id: 0x15ff
[ 3764.620926] {9}[Hardware Error]: class_code: 020000
[ 3764.621478] {9}[Hardware Error]: bridge: secondary_status: 0x2400, control: 0x0000
[ 3764.622032] {9}[Hardware Error]: Error 1, type: corrected
[ 3764.622582] {9}[Hardware Error]: fru_text: PcieError
[ 3764.623126] {9}[Hardware Error]: section_type: PCIe error
[ 3764.623665] {9}[Hardware Error]: port_type: 0, PCIe end point
[ 3764.624202] {9}[Hardware Error]: version: 0.2
[ 3764.624734] {9}[Hardware Error]: command: 0x0406, status: 0x0010
[ 3764.625267] {9}[Hardware Error]: device_id: 0000:09:00.1
[ 3764.625795] {9}[Hardware Error]: slot: 0
[ 3764.626312] {9}[Hardware Error]: secondary_bus: 0x00
[ 3764.626829] {9}[Hardware Error]: vendor_id: 0x8086, device_id: 0x15ff
[ 3764.627346] {9}[Hardware Error]: class_code: 020000
[ 3764.627859] {9}[Hardware Error]: bridge: secondary_status: 0x2400, control: 0x0000
[ 3764.637049] i40e 0000:09:00.0: AER: aer_status: 0x00003100, aer_mask: 0x00001000
[ 3764.637690] i40e 0000:09:00.0: [ 8] Rollover
[ 3764.638275] i40e 0000:09:00.0: [13] NonFatalErr
[ 3764.638866] i40e 0000:09:00.0: AER: aer_layer=Data Link Layer, aer_agent=Transmitter ID
[ 3764.639477] i40e 0000:09:00.1: AER: aer_status: 0x00003100, aer_mask: 0x00001000
[ 3764.640069] i40e 0000:09:00.1: [ 8] Rollover
[ 3764.640658] i40e 0000:09:00.1: [13] NonFatalErr
[ 3764.641229] i40e 0000:09:00.1: AER: aer_layer=Data Link Layer, aer_agent=Transmitter ID 09:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GBASE-T (rev 02) Any hints about what to do? Is this a hardware issue and then what? I've tried to look around and found some hints at setting kernel option pci=nommconf which disables Memory-Mapped PCI Configuration Space? Other things suggest issues with M.2 SSDs, specifically WD (I've got 2x SN770 as mirrored boot disks), should I take them out to check and upgrade firmware?

somebodyoverthere Guest	#2 0 20.11.2024 00:24:00 Пытался отследить температуры 2x SN770, или может, стресс-тест процессора/ОЗУ/хранилища? По отдельности и потом все сразу, чтобы исключить возможность проблем с блоком питания.

RealPjotr

Guest

27.11.2024 20:44:00

Извини за задержку. У меня были проблемы с настройкой SSD между хостом и ВМ, но теперь всё исправил. Я сделал временную установку Windows и протестировал все SSD. Обновил прошивку на двух загрузочных SSD WD SN770. Запустил тесты производительности и отслеживал температуры всех SSD, ничего излишнего (около 50-60 C максимум), хотя у них нет кулеров. В корпусе хорошая циркуляция воздуха. Добавил "pci=nommconf" как опцию ядра. Система работала стабильно в течение 3 дней, пока прошлой ночью не произошел внезапный перезапуск без следов в логах. На этот раз у меня не было активной сессии "dmesg -w", так как это произошло посреди ночи. journalctl и системный лог в Proxmox ничего не показывают, просто внезапный перезапуск через полминуты после ZFS-репликации образов ВМ (это синхронизация на 15 минут, так что ничего серьезного). У меня есть ВМ Truenas Scale, использующая SATA HDD через слот PCI7 SATA extender. Каждый раз при перезапуске системы я иногда вижу увеличение "Device: /dev/sdb [SAT], ATA error count increased from 88 to 92". Так как это происходит при загрузке, я не сильно беспокоюсь. Но это могут быть плохие кабели. Мой план сейчас — заменить эту карту-переходник и кабели на старую карту HBA SATA на 8 портов с отдельными SATA-кабелями, чтобы попытаться изолировать проблему. PS. Когда я впервые получил систему, я запустил некоторые тесты Phoronix и запустил некоторое ПО для ИИ для стресс-тестирования системы. Всё прошло отлично, никаких проблем, высоких температур и т.д.

RealPjotr

Guest

29.11.2024 10:15:00

Я почти уверен (по крайней мере, очень на это надеюсь!), что либо это WD SN770 SSD, используемые как загрузочные диски, неправильно обрабатывают состояния питания, ИЛИ это две карты PCIe 4.0 x16 с разветвлением на 4xSSD, купленные на AliExpress. Проблема с SN770 обсуждается повсюду в интернете, но я также видел, как люди онлайн заменяют общие PCIe-карты на Asus Hyper V2, чтобы решить проблемы. Так что сейчас я поменял местами SSD. Я перенес два SN770 в два слота M.2 на материнской плате, я оставил два Samsung для хранения VM на PCIe-платах. Затем я добавил VM на загрузочные диски SN770 ("spool") и установил и запустил LM Studio, чтобы немного нагрузить систему. Все работает отлично. Но ночью это снова упало, и на этот раз я получил вторую запись "dmesg -w" о том, что происходит: 4+1 SATA-диска все еще были подключены, но не использовались. Здесь я вижу, что система начинает переводить диски в спящий режим, и именно в этот момент происходит сбой "spool", указывающий на проблему с обработкой состояний питания WD SN770? Кто-нибудь знает, что это за ошибки? (Я пытался гуглить, но не смог найти) Моя следующая идея – попробовать заменять загрузочные диски в "spool" по одному. У меня есть еще два Samsung SSD для хранения данных, которые я могу временно протестировать. Поэтому я собираюсь вынуть один SN770, заменить его на Samsung и выполнить resilver. А когда это будет работать, вынуть второй SN770 и заменить его вторым Samsung. Затем я снова запущу и протестирую систему, чтобы увидеть, исчезнет ли проблема. Звучит как хорошая идея?

RealPjotr

Guest

12.12.2024 14:02:00

Когда я начал сильнее нагружать систему, выяснил, что SSD WD SN770 явно были причиной нестабильности. Я теперь вернул их и заменил на Samsung 990 Pro SSD. Система работала стабильно под разными нагрузками в течение 2-3 недель, пока сегодня снова не перезагрузилась! Перезагрузка произошла без каких-либо следов в логах. Честно говоря, я этого не ожидал, поэтому не запускал никакого "dmesg -w" на внешнем носителе. Ничего нет ни в системном логе Proxmox, ни в выводе "journalctl -o short-precise -k -b -1". Также проверил IPMI, но ничего подходящего не нашёл. Где мне следует искать? Что я могу сделать, чтобы получить больше информации в следующий раз?

Редактирую: Нашёл интересную настройку для потребительской материнской платы Asrock Rack, поэтому внёс это изменение в надежде на стабильность: - https://forum.asrock.com/forum_posts.asp?TID=85183&title=workaround-for-asrock-random-reboots

marcio79 Guest	#6 0 12.12.2024 14:18:00 Попробуй в ядре Linux 6.11.0-1-pve.

RealPjotr Guest	#7 0 12.12.2024 16:32:00 Окей, это было быстро! Ещё один магический перезапуск, ничего в логах нет. Это после того, как я отключил Core Watchdog Timer в BIOS. Так, я установил ядро 6.11.0-2-pve, спасибо за подсказку, посмотрим, куда это приведёт...

marcio79 Guest	#8 0 14.12.2024 14:55:00 Скажи, дружище, теперь всё стабильно?

RealPjotr Guest	#9 0 14.12.2024 15:32:00 Я наблюдаю. До четверга оно работало около двух недель (ядро 6.8) прежде чем дважды вылетело в тот же день.

RealPjotr

Guest

#10

22.12.2024 11:11:00

И вот, через 9 дней, новая авария без следов в логах (я запустил только "dmesg -w" в терминале на VM на другой системе, и там ничего не видно). Это произошло около 22:30 вчера вечером, я перезагрузил систему и всё заработало, и я пошел спать. А около 02:30 снова произошло то же самое. С момента загрузки 9 дней назад я перенес хранилище Docker NFS на VM TrueNAS Scale, тем самым увеличив нагрузку на ввод/вывод. Я также делаю ежедневный бэкап этого ~440 ГБ хранилища на отдельный (физический) сервер TrueNAS, и все VM бэкапятся на два отдельных PBS на двух разных мини-PC. Еще я тестировал какие-то LLM без проблем. В общем, использую его как полноценный домашний сервер с примерно 15 VM и Docker-окружением и т.д. На момент аварии в 22:30 я только запустил загрузку из интернета на 10 мбит/с, ничего необычного. Через несколько минут это зависло. Загрузка была через Docker-сервис на 2,5" SSD, который по SMB-сети разбит на TrueNAS VM (на нём есть этот 2,5" SSD, 4xHDD в виде двух ZFS-зеркал и 2xNVME SSD в виде ZFS-зеркала с Docker NFS хранилищем). Хост Proxmox имеет 4xNVME SSD в двух ZFS-зеркалах. Так что следующий шаг — я добавил "pcie_aspm=off" в командную строку ядра, отключая ASPM: Код: root@kosmos:~# dmesg | grep ASPM
[ 0.264504] PCIe ASPM отключен
[ 1.109899] acpi PNP0A08:00: _OSC: не запрашивает контроль ОС; ОС требует [ExtendedConfig ASPM ClockPM MSI]
[ 1.118571] acpi PNP0A08:02: _OSC: не запрашивает контроль ОС; ОС требует [ExtendedConfig ASPM ClockPM MSI]
[ 1.135435] acpi PNP0A08:03: _OSC: не запрашивает контроль ОС; ОС требует [ExtendedConfig ASPM ClockPM MSI] Я правильно понимаю, что это значит, что ASPM отключен? Есть какие-нибудь другие предложения?

RealPjotr

Guest

#11

29.12.2024 18:16:00

И снова вчера случилось, откуда ни возьмись. У меня заканчиваются идеи. Следующий шаг, который я могу попробовать, — убрать SATA-удлинитель/кабели, использующие возможности PCIE7 SATA материнской платы, и заменить их старенькой, проверенной картой HBA 9207.

wuwu

Guest

#12

13.01.2025 16:14:00

Привет, @RealPjotr. Нашёл ли ты источник проблемы? Для информации: у меня очень похожая конфигурация и похожие ошибки в логах. Материнская плата Asrock Rack SIENAD8-2L2T, процессор Epyc 8534P и 6x96 GB Registered ECC RAM. У меня также есть WD Red SN700 2 x 256 GB для загрузки в зеркальном режиме (в слотах M2) и WD Red SN700 2 x 4TB в зеркальном режиме для VM/LXC контейнеров (в слоте MCIO). Эти ошибки впервые появились, когда я активно использовал приложение tdarr с транскодированием тысяч мелких файлов и когда я поставил папку кэша на эти WD Red SN700 2 x 4TB в зеркальном режиме. Пока что ситуация происходила только один раз, и я внимательно за этим слежу. У меня видеокарта в слоте PCIE1, HBA-карта в слоте PCIE5 (переехала из PCIE6) и Radian Memory в слоте PCIE3.

IamTheForth Guest	#13 0 30.01.2025 05:50:00 У меня была та же проблема с Proxmox, он просто зависает случайным образом (иногда уже через несколько часов). Вернулся к ядру 6.5, с прошлой недели не перезагружался.

vineet Guest	#14 0 03.03.2025 10:09:00 Кто-нибудь нашёл решения этой проблемы? У меня тоже похожие проблемы, но с GPU passthrough. Вот скриншот ошибки.

RealPjotr

Guest

#15

19.03.2025 10:29:00

Извини за отсутствие, все это связано с тем, что сервер работает без сбоев уже более 70 дней с декабря. Я надеялся, что какая-то магия все исправила. Но нет, вдруг стали происходить три случайные перезагрузки за две недели. Обратите внимание, что в dmesg и системном журнале нет никаких записей. Что я сделал: отправил письмо в службу поддержки ASRock Rack и объяснил ситуацию. Я сразу получил ответ с просьбой попробовать BIOS 2.01! Его нет на их веб-сайте, я получил файл BIOS ROM по электронной почте, и он датирован 04 августа 2024 года! (Я спросил про README. EDIT: Они ответили: «Извините, нет списка изменений»!). Сейчас я обновил BIOS на материнской плате, пока все хорошо, изменился только один из двух идентификаторов устройств M.2, которые я использую для виртуальной машины. Посмотрим, будет ли все стабильно через несколько месяцев. В системе умного дома я заметил, что иногда бывают скачки потребления энергии на другом оборудовании, к которому подключен мой сервер. Я подумал, что это может быть причиной нестабильности, но после добавления скриптов для уведомлений это не синхронизируется с перезагрузками сервера, так что пока это скорее всего пустая теория. Еще одна проблема, которая, возможно, является причиной, это то, что слоты контроллера SATA используют одни и те же группы IOMMU с несколькими другими устройствами. Раз я использую слот PCIE7 SATA для своей виртуальной машины TrueNAS, это не очень хорошо, если другие устройства активны на хосте. Но я думаю, что это должно отражаться в журналах. Кто-нибудь знает, важны ли эти моменты: Опять же, если я установлю карту HBA для SATA, я обойду эту потенциальную проблему. Никакой разницы от разных ядер я не заметил. Сейчас использую opt-in ядро 6.11 в Proxmox. Мои перезагрузки происходят без каких-либо записей в журналах. Скорее всего, ваша проблема связана с группой IOMMU или какой-то другой проблемой. Разделение GPU с виртуальными машинами сложнее сделать правильно. Я не эксперт в этом, никогда этого не делал.

RealPjotr

Guest

#16

11.04.2025 09:43:00

Примерно через две недели, и вдруг в 05:35 утра — ребут, опять ничего в логах. Так что BIOS 2.01 не помог! Буду переходить на Proxmox 8.4, установлю опциональное ядро 6.14 и надеюсь на лучшее...

EDIT: Обновился до 8.4, ок. Установил опциональное ядро 6.14, а TrueNAS VM не загрузился, пока я не отключил общий доступ к слоту PCIE7 SATA. Так что пока вернулся к ядру 6.11.

kn2mUc Guest	#17 0 12.04.2025 01:14:00 Тоже ввели похожую систему в тест. Сообщу, если столкнусь с похожими проблемами.

kn2mUc

Guest

#18

13.04.2025 07:14:00

Моя система только что убила все мои ВМ. Попробую 8.4 тоже, будем надеяться. - Asrock Rack SIENAD8-2L2T - AMD EPYC 8024P 8-Core Processor - 6x32 MTC20F2085S1RC48BA1 - LSI 9400-16i HBA - 2 M2 drives. Память и ЦП проверены без проблем в течение 4 прогонов memtest и CPU burn.

RealPjotr

Guest

#19

13.05.2025 11:17:00

У меня до сих пор происходят случайные перезагрузки без каких-либо записей в логах. Что я делал с момента последнего сообщения:

* Установил HBA 2308 в PCIE6 взамен на использование функциональности SATA в PCIE7. В итоге перезагрузки стали происходить чаще, примерно каждые несколько дней.
* Вчера запустил полную проверку memtest, заняло около 10 часов. Ошибок и предупреждений не обнаружено.
* Вчера вечером убрал HBA, вернулся к использованию SATA-портов PCIE7, по-прежнему 1 SSD и 4 HDD.
* Также переместил две платы PCIe 4.0 M.2 4x, теперь работает 2 + 2 M-2 SSD. Ранее они были в PCIE1 и PCI3, теперь перенес в PCIE3 и PCIE5.

С тех пор, как все это заработало снова в 21:00 вчера вечером, за ночь было ТРИ перезагрузки:

-2 67badac6329f409a9100f1a0f1e5c651 Пн 2025-05-12 23:27:58 CEST Вт 2025-05-13 04:43:23 CEST
-1 fa1461eee470428582f3455fc9afe06d Вт 2025-05-13 04:49:31 CEST Вт 2025-05-13 07:32:59 CEST
0 c779ccdc195b4289bfaaad2ea8b19a5e Вт 2025-05-13 07:46:18 CEST Вт 2025-05-13 08:31:48 CEST

Ни в одном из них ничего нет в системном логе. Я все еще на опциональном ядре 6.11. Proxmox 8.4. Стоит попробовать запустить 6.14? Или вернуться к 6.8? Еще старше? Я вообще не знаю, что делать. Думаю, стоит спросить у магазина, где я покупал БП (Seasonic 850W ATX 3.0), чтобы они прислали еще один для тестирования, а потом вернул. Или попробовать заменить материнскую плату, что связано с большим количеством работы и простоя?

RealPjotr Guest	#20 0 13.05.2025 22:16:00 Окей, я получил BIOS 2.03 (от 12 февраля) от техподдержки ASRock Rack, очередная версия без release notes. Обновился и буду мониторить.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры