Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Проблемы с multipath iSCSI в Windows 8.1.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Проблемы с multipath iSCSI в Windows 8.1., Proxmox Виртуальная Среда
     
    mweigelt
    Guest
    #1
    0
    11.12.2023 13:38:00
    Привет! В 8.1 была исправлена проблема с "улучшениями" iSCSI, связанными с попытками входа во все порталы, предоставляемые sendtargets. Проблема в том, что если вы используете определенные iSCSI-серверы (например, open-e), они отправляют вам все локально настроенные IP-адреса — и вы не можете изменить это поведение, даже если они не используются. В результате получается большой список целей, но вы не можете использовать их все. Регулярный стек iSCSI в Linux пытается подключиться ко всем отправленным целям и игнорирует неудачные подключения. Используются только успешно установленные пути для мультипути и избыточности. С новой "стеком PVE поверх стека Linux" PVE пытается подключиться к sendtargets снова и снова. Поскольку некоторые пути недостижимы (например, адреса локальных интерфейсов в кластере HA), эти подключения терпят неудачу в цикле, и узел PVE не запускается корректно. В системном журнале (syslog) появляется следующее:

    2023-12-11T13:31:55.678771+01:00 host-003 pvestatd[1999]: command '/usr/bin/iscsiadm --mode node --targetname iqn.2019-03:stor1.vg00 --login' failed: exit code 15
    2023-12-11T13:31:55.832249+01:00 host-003 kernel: [ 550.553383] scsi host15: iSCSI Initiator over TCP/IP
    2023-12-11T13:31:55.838261+01:00 host-003 kernel: [ 550.560050] connection19:0: detected conn error (1020)
    2023-12-11T13:31:55.912233+01:00 host-003 kernel: [ 550.632201] scsi host15: iSCSI Initiator over TCP/IP
    2023-12-11T13:31:55.916231+01:00 host-003 kernel: [ 550.636848] connection20:0: detected conn error (1020)
    2023-12-11T13:31:55.920232+01:00 host-003 kernel: [ 550.639074] scsi host16: iSCSI Initiator over TCP/IP
    2023-12-11T13:31:55.921482+01:00 host-003 kernel: [ 550.643286] connection21:0: detected conn error (1020)
    2023-12-11T13:31:56.049591+01:00 host-003 iscsid: Connection-1:0 to [target: iqn.2019-03:stor1.vg00, portal: 172.20.235.2,3260] through [iface: default] is shutdown.
    2023-12-11T13:31:56.049629+01:00 host-003 iscsid: Connection-1:0 to [target: iqn.2019-03:stor1.vg00, portal: 172.20.232.2,3260] through [iface: default] is shutdown.
    2023-12-11T13:31:56.049647+01:00 host-003 iscsid: Connection-1:0 to [target: iqn.2019-03:stor1.vg00, portal: 172.20.233.2,3260] through [iface: default] is shutdown.
    2023-12-11T13:31:56.049664+01:00 host-003 iscsid: Connection-1:0 to [target: iqn.2019-03:stor1.vg00, portal: 172.20.237.1,3260] through [iface: default] is shutdown.
    2023-12-11T13:31:56.049679+01:00 host-003 iscsid: Connection-1:0 to [target: iqn.2019-03:stor1.vg00, portal: 192.168.225.2,3260] through [iface: default] is shutdown.
    2023-12-11T13:31:56.049697+01:00 host-003 iscsid: connection19:0 login rejected: initiator error - target not found (02/03)
    2023-12-11T13:31:56.049715+01:00 host-003 iscsid: Connection19:0 to [target: iqn.2023-07:stor1.vg02, portal: 10.20.4.102,3260] through [iface: default] is shutdown.
    2023-12-11T13:31:56.049735+01:00 host-003 iscsid: connection20:0 login rejected: initiator error - target not found (02/03)
    2023-12-11T13:31:56.049752+01:00 host-003 iscsid: Connection20:0 to [target: iqn.2023-07:stor1.vg02, portal: 10.20.4.102,3260] through [iface: default] is shutdown.
    2023-12-11T13:31:56.049780+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)
    2023-12-11T13:32:02.050026+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)
    2023-12-11T13:32:05.050199+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)
    2023-12-11T13:32:08.050441+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)
    2023-12-11T13:32:11.050658+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)
    2023-12-11T13:32:14.050822+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)
    2023-12-11T13:32:17.051057+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)
    2023-12-11T13:32:20.051213+01:00 host-003 iscsid: connect to 192.168.225.2:3260 failed (No route to host)

    В общем, это связано с неудачными подключениями к целевому IP-адресу.
     
     
     
    alexkenon
    Guest
    #2
    0
    11.01.2024 22:29:00
    Проблему пока не решили? Какие есть идеи?
     
     
     
    RolandK
    Guest
    #3
    0
    11.01.2024 22:36:00
    Билет на это в Proxmox Bugzilla: https://bugzilla.proxmox.com/show_bug.cgi?id=5173
     
     
     
    Lephisto
    Guest
    #4
    0
    09.05.2024 18:50:00
    Есть какие-нибудь новости по этому вопросу? Различный iSCSI Cluster всё ещё не работает с Proxmox.
     
     
     
    bbgeek17
    Guest
    #5
    0
    09.05.2024 19:01:00
    Пожалуйста, посмотрите https://bugzilla.proxmox.com/show_bug.cgi?id=5173#c13. В частности: Код: если у кого-то есть верная конфигурация, которая не работает (или не будет работать с более коротким, возможно, настраиваемым таймаутом), пожалуйста, сообщите об этом. Обратите внимание, что человек, открывший баг, нашел способ решить проблему в своей среде. Поскольку разработчикам не были предоставлены конкретные и веские примеры, баг в настоящее время помечен как "недействительный".

    Blockbridge: Ультра-низкая задержка, полностью NVMe-хранилище для Proxmox - https://www.blockbridge.com/proxmox
     
     
     
    Lephisto
    Guest
    #6
    0
    09.05.2024 19:05:00
    Ну и что это мне говорит? Я никак не могу найти способ это исправить. Следующий мой вариант — заменить перловые модули на те, что были в предыдущем коммите, но это не решение, защищенное от обновлений, и я не могу предсказать другие побочные эффекты.
     
     
     
    bbgeek17
    Guest
    #7
    0
    09.05.2024 19:13:00
    Я думаю, разработчики просят подробное и технически грамотное описание вашей среды и проблемы. Можете выложить это здесь, но обязательно добавьте и в баг. Пока что мы знаем только, что у вас что-то не работает. Удачи, Blockbridge! Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
     
     
     
    Lephisto
    Guest
    #8
    0
    09.05.2024 20:07:00
    В общем, там происходит то же самое, что и в отчете Bugzilla: у меня есть клиент с Proxmox Cluster, который использует общий Open-E iscsi Storage Cluster. Эти storage Clusters довольно странные и имеют некоторые проблемы в дизайне, но до последней правки был обходной путь. Суть в том, что openE iscsi в кластерном режиме объявляет не только VIP-адреса для Multipathing, но и физические адреса каждого устройства. Этого нужно избегать любой ценой, потому что в конечном итоге это приведет к ситуациям "split-brain" при переключении кластера. Долгая известная проблема, OpenE её так и не исправили. Обходной путь заключался в том, чтобы разрешить трафик iscsi на всех хостах только к VIP-адресам. Это хорошо работало для большинства гипервизоров, но в Proxmox это сломалось с последней правкой. Проблема в том, что Proxmox по какой-то причине продолжает пытаться подключиться к недоступным адресам (поскольку он должен подключаться только к этим VIP-адресам), и в результате pvestatd падает, графики не отображаются, все символы дисков остаются серыми. Это тот же эффект, что и описано в отчете Bugzilla.
     
     
     
    gjani
    Guest
    #9
    0
    06.06.2024 00:06:00
    Есть какие-нибудь обновления по этому вопросу? У меня похожая проблема: я получаю недействительные IP-адреса от sendtargets, но с TrueNAS Scale 24.04.1.1. Возможно, опция в Proxmox для фильтрации списка целевых адресов (полученных от sendtargets) могла бы решить как мою проблему, так и проблему @Lephisto, при этом минимально нарушая работу? Таким образом, если у кого-нибудь есть iSCSI-хост, который возвращает известные недействительные IP-адреса, они могли бы просто отфильтровать эти адреса. Это сделало бы Proxmox более дружелюбным к iSCSI-хостам, у которых отсутствуют необходимые параметры конфигурации для предотвращения отправки недействительных IP-адресов, на мой взгляд. Что вы думаете? Вот подробности моей проблемы: iSCSI-хост (TrueNAS, упоминавшийся выше) отвечает на запрос sendtargets следующим образом:

    ```
    root@pve:~# iscsiadm -m discovery -t sendtargets -p truenas.lan
    192.168.12.89:3260,1 iqn.2005-10.org.freenas.ctl:proxmoxc1-test3
    172.16.0.1:3260,1 iqn.2005-10.org.freenas.ctl:proxmoxc1-test3
    172.17.0.10:3260,1 iqn.2005-10.org.freenas.ctl:proxmoxc1-test3
    172.17.37.60:3260,1 iqn.2005-10.org.freenas.ctl:proxmoxc1-test3
    172.17.0.1:3260,1 iqn.2005-10.org.freenas.ctl:proxmoxc1-test3
    ```

    Из вышеперечисленных целевых адресов только первая строка с IP-адресом 192.168.12.89 является действительной (и она действительно работает - я могу использовать iSCSI-хранилище как диск VM, так что никаких проблем нет). Все остальные строки, начинающиеся с 172..., недействительны - это фактически внутренние сети, которые установка k8s использует на хосте TrueNAS. Если бы я мог просто сказать инициатору в Proxmox учитывать только IP-адреса в сети 192.168.12.0/24 и игнорировать любые другие IP-адреса, это бы решило проблему, я думаю. Я не знаю, насколько это реализуемо, но это примерно мой первый опыт использования iSCSI.

    ```
    root@pve:~# pveversion -v
    proxmox-ve: 8.2.0 (running kernel: 6.8.4-3-pve)
    pve-manager: 8.2.2 (running version: 8.2.2/9355359cd7afbae4)
    proxmox-kernel-helper: 8.1.0
    pve-kernel-5.15: 7.4-13
    pve-kernel-5.13: 7.1-9
    proxmox-kernel-6.8: 6.8.4-3
    proxmox-kernel-6.8.4-3-pve-signed: 6.8.4-3
    pve-kernel-5.15.152-1-pve: 5.15.152-1
    pve-kernel-5.15.143-1-pve: 5.15.143-1
    pve-kernel-5.15.39-3-pve: 5.15.39-3
    pve-kernel-5.13.19-6-pve: 5.13.19-15
    pve-kernel-5.13.19-1-pve: 5.13.19-3
    ceph-fuse: 17.2.7-pve3
    corosync: 3.1.7-pve3
    criu: 3.17.1-2
    glusterfs-client: 10.3-5
    ifupdown2: 3.2.0-1+pmx8
    ksm-control-daemon: 1.5-1
    libjs-extjs: 7.0.0-4
    libknet1: 1.28-pve1
    libproxmox-acme-perl: 1.5.1
    libproxmox-backup-qemu0: 1.4.1
    libproxmox-rs-perl: 0.3.3
    libpve-access-control: 8.1.4
    libpve-apiclient-perl: 3.3.2
    libpve-cluster-api-perl: 8.0.6
    libpve-cluster-perl: 8.0.6
    libpve-common-perl: 8.2.1
    libpve-guest-common-perl: 5.1.2
    libpve-http-server-perl: 5.1.0
    libpve-network-perl: 0.9.8
    libpve-rs-perl: 0.8.8
    libpve-storage-perl: 8.2.1
    libspice-server1: 0.15.1-1
    lvm2: 2.03.16-2
    lxc-pve: 6.0.0-1
    lxcfs: 6.0.0-pve2
    novnc-pve: 1.4.0-3
    proxmox-backup-client: 3.2.2-1
    proxmox-backup-file-restore: 3.2.2-1
    proxmox-kernel-helper: 8.1.0
    proxmox-mail-forward: 0.2.3
    proxmox-mini-journalreader: 1.4.0
    proxmox-offline-mirror-helper: 0.6.6
    proxmox-widget-toolkit: 4.2.3
    pve-cluster: 8.0.6
    pve-container: 5.1.10
    pve-docs: 8.2.2
    pve-edk2-firmware: 4.2023.08-4
    pve-esxi-import-tools: 0.7.0
    pve-firewall: 5.0.7
    pve-firmware: 3.11-1
    pve-ha-manager: 4.0.4
    pve-i18n: 3.2.2
    pve-qemu-kvm: 8.1.5-6
    pve-xtermjs: 5.3.0-3
    qemu-server: 8.2.1
    smartmontools: 7.3-pve1
    spiceterm: 3.3.0
    swtpm: 0.8.0+pve1
    vncterm: 1.8.0
    zfsutils-linux: 2.2.3-pve2
     
     
     
    Lephisto
    Guest
    #10
    0
    06.06.2024 13:21:00
    Это срочно нужно довести до сведения разработчиков Proxmox. Multipath в принципе сломан. Да, я знаю, что iSCSI – это устаревшая технология, и я её избегаю, где только могу, но многие мои клиенты, особенно те, кто переходят с VMWare, часто переносят iSCSI-кластеры.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры