Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    5.3.18-3-pve проблема с multipath

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    5.3.18-3-pve проблема с multipath, Proxmox Виртуальная Среда
     
    speedlnx
    Guest
    #1
    0
    04.05.2020 20:09:00
    Привет, после последнего обновления моих серверов с ядром 5.3.18-3-pve multipath перестал работать. Все отлично функционирует на 5.3.10-1-pve, и я могу управлять своим кластерным хранилищем с помощью lvm на моем san. Есть ли какие-то изменения в последнем ядре? Нужно ли мне добавить какие-то параметры, чтобы это заработало? При загрузке с 5.3.18-3-pve multipath -ll выдает пустой вывод, а во время загрузки появляется эта ошибка: device-mapper: table: 253:9: multipath: ошибка получения устройства, а при загрузке рабочей версии ядра у меня такие сообщения: [ 17.617230] scsi 17:0:0:7: Подключено scsi generic sg10 тип 0 [ 17.617233] scsi 17:0:0:7: Встроенное устройство шкафа [ 17.617604] scsi 17:0:0:7: Произошло включение или сброс устройства [ 17.617617] scsi 17:0:0:7: Не удалось получить диагностическую страницу 0x1 [ 17.617671] scsi 17:0:0:7: Не удалось привязать корпус -19, но все равно все работает. Моя конфигурация: 2x серверы Lenovo с QLogic Corp. ISP2722 на 16/32Gb 1x Lenovo SAN DE2000H pve-manager/6.1-8/806edfe1 (используется ядро: 5.3.10-1-pve) Рабочее ядро!!! multipath.conf defaults { find_multipaths no polling_interval 2 path_selector "round-robin 0" path_grouping_policy multibus uid_attribute ID_SERIAL rr_min_io 100 failback immediate no_path_retry queue user_friendly_names yes } blacklist { devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[a-z][0-9]*" devnode "^sda[0-9]*" devnode "^cciss!c[0-9]d[0-9]*" } multipaths { multipath { wwid 36d039ea00006a630000001855ea5d2ff alias mpath1 } multipath { wwid 36d039ea00006a2480000014d5ea1c997 alias mpath2 } multipath { wwid 36d039ea00006a2480000018e5ea610f2 alias mpath3 } }
     
     
     
    speedlnx
    Guest
    #2
    0
    21.02.2021 17:51:00
    По-прежнему та же ошибка в последней версии (5.4.78-2-pve). Есть новости по моему контроллеру FC?
     
     
     
    kofik
    Guest
    #3
    0
    21.02.2021 22:29:00
    Не новость для ваших конкретных проблем, но этот FC массив является OEM-решением NetApp, продаваемым под брендом Lenovo, насколько я могу судить. Может быть полезно поискать подобные сообщения об ошибках при поиске устройств NetApp. Однако: большинство FC массивов, с которыми я работал в прошлом, требовали некоторой настройki в соответствии с рекомендациями производителя. У меня был опыт с системами хранения IBM V7000, где настройка некоторых параметров в области многопутевого ввода-вывода помогала обеспечить надежную работу. Например, некоторые устройства Lenovo на базе ONTAP рекомендуют правильно настраивать черный список: то есть https://thinksystem.lenovofiles.com...stem_storage_de_himg_11.60.2/IC_pdf_file.html Также, глядя на сообщение об ошибке, я вижу, что подобные статьи на сайте Red Hat с аналогичными рекомендациями тоже появляются. (https://access.redhat.com/solutions/38538) Обычно такие системы хранения доступны только по контракту на поддержку, так что стоит попробовать поднять вопрос с продавцом хранения.
     
     
     
    speedlnx
    Guest
    #4
    0
    21.02.2021 23:15:00
    Спасибо за ваш ответ. Поскольку вы считаете, что это карта Lenovo, подключенная к хранилищу Lenovo DS, я думаю, что не смогу получить поддержку от производителя, так как Debian/Proxmox не сертифицированная ОС для этого типа оборудования. Тем не менее, я попробую открыть тикет. Пока я посмотрю ваши ссылки...
     
     
     
    kofik
    Guest
    #5
    0
    22.02.2021 08:05:00
    Я должен добавить, что есть статья, не напрямую связанная с Lenovo (предыдущий пост), под названием "Настройка DM-Multipath". Скорее всего, ваш загрузочный диск внутренний и, следовательно, не работает в режиме мультипути, попробуйте определить диски, которые видит хост, и затем занести все устройства, не находящиеся на Lenovo SAN, в черный список. Также стоит протестировать "find_multipaths yes" вместо no. Но, пожалуйста, ознакомьтесь с man-страницами и сначала протестируйте это на узле, на котором нет работающих виртуальных машин. В общем: к сожалению, я очень хорошо знаю эту ситуацию, когда поставщики хранилищ официально поддерживают только RHEL, SUSE, VMware и Windows. SUSE стоит попробовать, поскольку SLES 15 SP2 поставляется с ядром 5.3. Обычно, если вы можете "предоставить доказательства", что та же проблема возникает на поддерживаемой дистрибуции, они, как правило, должны помочь вам. Но я думаю, что занесение в черный список мультипутей может быть стоящей идеей.
     
     
     
    speedlnx
    Guest
    #6
    0
    28.02.2021 19:13:00
    Разрешил вопрос сам. Я скачал http://filedownloads.cavium.com/Files/TempDownlods/98262/qla2xxx-src-v10.02.04.00-k.tar.gz, установил заголовки ядра и необходимые пакеты для сборки. Затем собрал и установил модули, после чего удалил multipath. Код: apt purge multipath-tools

    rm -fr /etc/multipath*

    apt purge multipath-tools-boot. Я занес в черный список в lvm.conf все, кроме моего локального диска (sda*), и перезагрузился. После перезагрузки я снова установил multipath и настроил его заново. Код: apt install multipath-tools

    multipath -v2 -ll

    update-initramfs -u -k all

    update-grub2

    systemctl mask systemd-udev-settle.service

    перезагрузка.
     
     
     
    kofik
    Guest
    #7
    0
    28.02.2021 20:59:00
    Не могли бы вы объяснить, почему это привело к решению? Это звучит интересно – на первый взгляд – почему загрузка исходников драйвера от QLogic решила вашу проблему. Если у вас есть источник ваших выводов, это может быть полезно кому-то в будущем. Мимоходом: QLogic была куплена Cavium в 2016 году, а сама Cavium была куплена Marvell в 2018, вот почему ссылка для загрузки ведет на Cavium...
     
     
     
    speedlnx
    Guest
    #8
    0
    02.03.2021 16:26:00
    Я не нашел много информации в сети, приходится полагаться только на свою голову. Модули источника решают задачи. Думаю, что исходный код в ядре, начиная с версии 5.3.10, отличается от предыдущих. Не могу утверждать, правда это или нет, но с собранными модулями (скачаны с Cavium) мой контроллер снова заработал. С оригинальным модулем (который шел с ядром pie) я не вижу никаких дисков на дисковом накопителе. У меня нет времени глубже разбираться в коде ядра, нужно просто запоминать, что надо перекомпилировать модули при каждом обновлении ядра, если это не сработает сразу!
     
     
     
    Kurtulus
    Guest
    #9
    0
    13.09.2022 02:58:00
    Можешь рассказать, в каком случае ты используешь Lenovo SAN DE2000H? Кроме того, возможно ли использовать ZFS или Ceph на дисковых массивах с Lenovo DE2000H? Я больше не хочу использовать аппаратный RAID, даже на таких устройствах, как Lenovo DE2000H.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры