Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Реализации SDN-сетей

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Реализации SDN-сетей, Proxmox Виртуальная Среда
     
    u432897
    Guest
    #1
    0
    13.11.2021 06:25:00
    Всем привет! Интересно, получилось ли у кого-то из участников форума виртуализировать сети с помощью функции SDN, что-то вроде использования фаервола/роутера для маршрутизации трафика полностью внутри одного узла. Смысл в том, чтобы убрать зависимость от физических интерфейсов, если трафику не нужно выходить за пределы хоста (например, виртуальный фаервол на хосте маршрутизирует между подсетями), и упростить бэкапы/восстановления целого хоста на новый. К тому же, есть ли какая-то информация, когда функция SDN перестанет быть техническим превью и станет официально поддерживаемой? Спасибо!
     
     
     
    ic3cool
    Guest
    #2
    0
    09.01.2022 14:38:00
    Привет, старое сообщение, но вот что я пытаюсь понять. Не могли бы вы немного подробнее рассказать, как вы это сделали и что использовали для anycast-шлюза? В моей лаборатории BGP работает нормально. Он отправляет и получает маршруты с файрвола/роутера. Я могу пинговать WM. Но когда я добавляю несколько выходных узлов, трафик перестаёт идти. При этом маршруты для WM распространяются.
     
     
     
    spirit
    Guest
    #3
    0
    10.01.2022 04:50:00
    Привет, значит всё работает нормально, если у тебя только один exit-node? Anycast-шлюз — это IP, заданный непосредственно на vnet (одинаковый IP на одном и том же vnet, но на разных Proxmox-хостах). Так что трафик, который уходит наружу, идёт так: виртуальная машина —> anycast-шлюз (vnet) —> (анонсированный дефолтный маршрут 0.0.0.0/0) —> exit-node(ы) —> (BGP или статический маршрут) —> роутер. Обратный путь: роутер —> (анонсированный маршрут или статический маршрут к твоим EVPN подсетям) —> exit-node(ы) —> anycast-шлюз (vnet) —> виртуальная машина.
     
     
     
    ic3cool
    Guest
    #4
    0
    10.01.2022 21:15:00
    Привет! Да, и не важно, какой из трёх узлов — всё работает поочерёдно. BGP у нас в порядке с точки зрения связи, но похоже, что он не отдаёт предпочтение тому хосту, где находится виртуальная машина. Как ты настраивал свой EVPN? Выделял ли ты мост на каждом хосте и назначал на него IP напрямую, или используешь VLAN-интерфейс?
     
     
     
    spirit
    Guest
    #5
    0
    11.01.2022 07:59:00
    Действительно, если вы используете BGP между своим маршрутизатором и exit-узлами, будут использоваться любые exit-узлы. (А затем exit-узел пересылает трафик через EVPN к конечному узлу, где расположена виртуальная машина). Никак это не изменить, пока ваш маршрутизатор напрямую не поддерживает EVPN (то есть пока ваш маршрутизатор не станет самим exit-узлом). Лично у меня на работе в качестве выходного шлюза используются коммутаторы Arista. У меня есть оба метода: у некоторых моих узлов IP назначен напрямую на VLAN-интерфейс, у других — на vmbrX. Это не важно, так как инкапсуляция VXLAN происходит поверх TCP/IP — то есть на третьем уровне.
     
     
     
    ic3cool
    Guest
    #6
    0
    11.01.2022 18:16:00
    Странная вещь происходит, когда я добавляю больше одного exit-node. Я провёл несколько тестов с маршрутизацией — всё работает нормально. Но кажется, что при более чем одном ноде перестаёт работать исходящий трафик. Есть какой-то хороший режим отладки или место, где можно посмотреть подсказки, что может происходить с настройкой, когда активны несколько нод?
     
     
     
    ic3cool
    Guest
    #7
    0
    11.01.2022 18:35:00
    Кстати, я провёл ещё один «небольшой» тест с выходом. Два BR и одна настройка VLAN. VLAN напрямую к BR1 с физической сетевой картой, подключённой к ней, и VLAN-участник к BR2. Настроил IP для каждого хоста на BR2. Соединение работает. Один exit-ноду работает. Виртуальные машины могут пинговать друг друга на разных хостах — отлично.

    Теперь сам тест. Удаляю VLAN с BR2. Ожидаем, что хосты в этой подсети не смогут связаться между собой. Но VM1 и VM2 всё равно могут пинговать другой шлюз в другой LAN с разных хостов при включённых нескольких exit-ноду, при этом, конечно, не друг друга через vxlan.
     
     
     
    spirit
    Guest
    #8
    0
    12.01.2022 09:03:00
    Когда задано несколько выходных узлов, они оба анонсируют 0.0.0.0/0 в EVPN-сети. Это единственное отличие. Значит, внутри EVPN-сети должно работать ECMP (оба выходных узла имеют одинаковый вес для маршрута 0.0.0.0/0). Возможно, проблема где-то между маршрутизатором и выходными узлами? Можешь прислать содержимое /etc/pve/sdn/*.cfg, /etc/network/interfaces и /etc/network/interfaces.d/sdn с разных узлов? А также результат команды vtysh -c "sh bgp l2vpn evpn" на одном из узлов?
     
     
     
    ic3cool
    Guest
    #9
    0
    17.01.2022 22:11:00
    Привет, извини за задержку. Пока что я отключил BGP-соединение, чтобы немного упростить конфигурацию и уменьшить сложность. Просто чтобы разобраться с этим вопросом узла выхода. Узлы также обновлены до последних версий на сегодня. Я протестировал их по одному — всё работает. Также запускаю кучу виртуалок в «наследственном» VLAN-стиле, тоже всё функционирует.

    vtysh -c "sh bgp l2vpn evpn"
    Версия таблицы BGP: 14, локальный ID маршрутизатора — 192.168.89.11
    Коды состояния: s — подавлено, d — подавлено из-за частых колебаний, h — история, * — валидный, > — лучший, i — внутренний
    Коды источника: i — IGP, e — EGP, ? — неполный

    Префиксы EVPN по типам:
    EVPN type-1: [1]:[ESI]:[EthTag]:[IPlen]:[VTEP-IP]
    EVPN type-2: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
    EVPN type-3: [3]:[EthTag]:[IPlen]:[OrigIP]
    EVPN type-4: [4]:[ESI]:[IPlen]:[OrigIP]
    EVPN type-5: [5]:[EthTag]:[IPlen]:[IP]

    Network          Next Hop            Metric LocPrf Weight Path

    Route Distinguisher: 10.0.100.1:2
    * i[5]:[0]:[0]:[0.0.0.0] 192.168.89.10(parker) 100 0 i RT:65000:20000 ET:8 Rmac:4e:80:72:11:5e:12
    *> 192.168.89.11(stark) 32768 i ET:8 RT:65000:20000 Rmac:52:b7:46:eb:3a:c4
    * i 192.168.89.21(bruce) 100 0 i RT:65000:20000 ET:8 Rmac:52:1c:f4:59:e9:43
    * i[5]:[0]:[0]:[::] 192.168.89.10(parker) 100 0 i RT:65000:20000 ET:8 Rmac:4e:80:72:11:5e:12
    *> 192.168.89.11(stark) 32768 i ET:8 RT:65000:20000 Rmac:52:b7:46:eb:3a:c4
    * i 192.168.89.21(bruce) 100 0 i RT:65000:20000 ET:8 Rmac:52:1c:f4:59:e9:43

    Route Distinguisher: 192.168.89.10:3
    *>i[2]:[0]:[48]:[ba:54:48:61:98:df] 192.168.89.10(parker) 100 0 i RT:65000:10000 ET:8 MM:2
    *>i[3]:[0]:[32]:[192.168.89.10] 192.168.89.10(parker) 100 0 i RT:65000:10000 ET:8

    Route Distinguisher: 192.168.89.10:4
    *>i[2]:[0]:[48]:[de:5e:89:90:fb:87] 192.168.89.10(parker) 100 0 i RT:65000:10001 ET:8 MM:1
    *>i[2]:[0]:[48]:[de:5e:89:90:fb:87]:[32]:[10.0.100.12] 192.168.89.10(parker) 100 0 i RT:65000:10001 RT:65000:20000 ET:8 MM:1 Rmac:4e:80:72:11:5e:12
    *>i[2]:[0]:[48]:[de:5e:89:90:fb:87]:[128]:[fe80::dc5e:89ff:fe90:fb87] 192.168.89.10(parker) 100 0 i RT:65000:10001 ET:8 MM:1
    *>i[3]:[0]:[32]:[192.168.89.10] 192.168.89.10(parker) 100 0 i RT:65000:10001 ET:8

    Route Distinguisher: 192.168.89.11:3
    *> [2]:[0]:[48]:[de:c0:16:71:b9:aa] 192.168.89.11(stark) 32768 i ET:8 RT:65000:10000 MM:2
    *> [3]:[0]:[32]:[192.168.89.11] 192.168.89.11(stark) 32768 i ET:8 RT:65000:10000

    Route Distinguisher: 192.168.89.11:4
    *> [2]:[0]:[48]:[ae:13:ee:64:b0:b1] 192.168.89.11(stark) 32768 i ET:8 RT:65000:10001
    *> [2]:[0]:[48]:[ae:13:ee:64:b0:b1]:[32]:[10.0.100.11] 192.168.89.11(stark) 32768 i ET:8 RT:65000:10001 RT:65000:20000 Rmac:52:b7:46:eb:3a:c4
    *> [2]:[0]:[48]:[ae:13:ee:64:b0:b1]:[128]:[fe80::ac13:eeff:fe64:b0b1] 192.168.89.11(stark) 32768 i ET:8 RT:65000:10001
    *> [3]:[0]:[32]:[192.168.89.11] 192.168.89.11(stark) 32768 i ET:8 RT:65000:10001

    Route Distinguisher: 192.168.89.21:3
    *>i[3]:[0]:[32]:[192.168.89.21] 192.168.89.21(bruce) 100 0 i RT:65000:10000 ET:8

    Route Distinguisher: 192.168.89.21:4
    *>i[2]:[0]:[48]:[6a:c9:3a:e2:9d:e2] 192.168.89.21(bruce) 100 0 i RT:65000:10001 ET:8
    *>i[2]:[0]:[48]:[6a:c9:3a:e2:9d:e2]:[32]:[10.0.100.10] 192.168.89.21(bruce) 100 0 i RT:65000:10001 RT:65000:20000 ET:8 Rmac:52:1c:f4:59:e9:43
    *>i[2]:[0]:[48]:[6a:c9:3a:e2:9d:e2]:[128]:[fe80::68c9:3aff:fee2:9de2] 192.168.89.21(bruce) 100 0 i RT:65000:10001 ET:8
    *>i[3]:[0]:[32]:[192.168.89.21] 192.168.89.21(bruce) 100 0 i RT:65000:10001 ET:8

    Показано 19 из 23 префиксов всего.
     
     
     
    spirit
    Guest
    #10
    0
    18.01.2022 22:46:00
    Можешь форматнуть вывод vtysh -c "sh bgp l2vpn evpn"? Потому что сейчас в посте на форуме его довольно сложно читать.
     
     
     
    ic3cool
    Guest
    #11
    0
    19.01.2022 16:44:00
    Версия таблицы BGP — 18, локальный ID маршрутизатора — 192.168.89.11  
    Коды состояния: s — подавлено, d — заторможено, h — история, * — валидно, > — лучший, i — внутренний  
    Коды происхождения: i — IGP, e — EGP, ? — неполный  
    Префикс EVPN типа-1: [1]:[ESI]:[EthTag]:[IPlen]:[VTEP-IP]
    Префикс EVPN типа-2: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
    Префикс EVPN типа-3: [3]:[EthTag]:[IPlen]:[OrigIP]
    Префикс EVPN типа-4: [4]:[ESI]:[IPlen]:[OrigIP]
    Префикс EVPN типа-5: [5]:[EthTag]:[IPlen]:[IP]

      Сеть           Следующий Хоп       Метрика LocPrf Вес Маршрут  
    Route Distinguisher: 10.0.100.1:2  
    * i[5]:[0]:[0]:[0.0.0.0]
                       192.168.89.10(parker)  
                                                     100      0 i  
                       RT:65000:20000 ET:8 Rmac:4e:80:72:11:5e:12  
    *>                  192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:20000 Rmac:52:b7:46:eb:3a:c4  
    * i                 192.168.89.21(bruce)  
                                                     100      0 i  
                       RT:65000:20000 ET:8 Rmac:52:1c:f4:59:e9:43  
    * i[5]:[0]:[0]:[::] 192.168.89.10(parker)
                                                     100      0 i  
                       RT:65000:20000 ET:8 Rmac:4e:80:72:11:5e:12  
    *>                  192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:20000 Rmac:52:b7:46:eb:3a:c4  
    * i                 192.168.89.21(bruce)  
                                                     100      0 i  
                       RT:65000:20000 ET:8 Rmac:52:1c:f4:59:e9:43  
    Route Distinguisher: 192.168.89.10:3  
    *>i[2]:[0]:[48]:[ba:54:48:61:98:df]
                       192.168.89.10(parker)  
                                                     100      0 i  
                       RT:65000:10000 ET:8 MM:2  
    *>i[3]:[0]:[32]:[192.168.89.10]
                       192.168.89.10(parker)  
                                                     100      0 i  
                       RT:65000:10000 ET:8  
    Route Distinguisher: 192.168.89.10:4  
    *>i[2]:[0]:[48]:[de:5e:89:90:fb:87]
                       192.168.89.10(parker)  
                                                     100      0 i  
                       RT:65000:10001 ET:8  
    *>i[2]:[0]:[48]:[de:5e:89:90:fb:87]:[32]:[10.0.100.12]
                       192.168.89.10(parker)  
                                                     100      0 i  
                       RT:65000:10001 RT:65000:20000 ET:8 Rmac:4e:80:72:11:5e:12  
    *>i[2]:[0]:[48]:[de:5e:89:90:fb:87]:[128]:[fe80::dc5e:89ff:fe90:fb87]
                       192.168.89.10(parker)  
                                                     100      0 i  
                       RT:65000:10001 ET:8  
    *>i[3]:[0]:[32]:[192.168.89.10]
                       192.168.89.10(parker)  
                                                     100      0 i  
                       RT:65000:10001 ET:8  
    Route Distinguisher: 192.168.89.11:3  
    *> [2]:[0]:[48]:[de:c0:16:71:b9:aa]
                       192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:10000 MM:2  
    *> [3]:[0]:[32]:[192.168.89.11]
                       192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:10000  
    Route Distinguisher: 192.168.89.11:4  
    *> [2]:[0]:[48]:[ae:13:ee:64:b0:b1]
                       192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:10001  
    *> [2]:[0]:[48]:[ae:13:ee:64:b0:b1]:[32]:[10.0.100.11]
                       192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:10001 RT:65000:20000 Rmac:52:b7:46:eb:3a:c4  
    *> [2]:[0]:[48]:[ae:13:ee:64:b0:b1]:[128]:[fe80::ac13:eeff:fe64:b0b1]
                       192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:10001  
    *> [3]:[0]:[32]:[192.168.89.11]
                       192.168.89.11(stark)  
                                                          32768 i  
                       ET:8 RT:65000:10001  
    Route Distinguisher: 192.168.89.21:3  
    *>i[3]:[0]:[32]:[192.168.89.21]
                       192.168.89.21(bruce)  
                                                     100      0 i  
                       RT:65000:10000 ET:8  
    Route Distinguisher: 192.168.89.21:4  
    *>i[3]:[0]:[32]:[192.168.89.21]
                       192.168.89.21(bruce)  
                                                     100      0 i  
                       RT:65000:10001 ET:8

    Отображено 16 из 20 префиксов всего
     
     
     
    spirit
    Guest
    #12
    0
    19.01.2022 17:58:00
    Окей, не уверен, но вижу, что ты используешь функцию snat. Думаю, она не может работать корректно с несколькими выходными узлами, так как у каждого узла одинаковый вес, и трафик распределяется между ними, а отслеживание nat при этом ломается. Один из вариантов — реализовать conntrackd для синхронизации узлов (хотя это может конфликтовать с файрволом Proxmox). Другой вариант — поставить больший вес на один из выходных узлов (надо будет запрограммировать это в плагине sdn), чтобы nat всегда происходил на одном узле, с переключением при сбое. В обратном направлении, возможно, EVPN подсети тоже стоит анонсировать только с одного выходного узла. Я попробую всё протестировать у себя на следующей неделе.
     
     
     
    ic3cool
    Guest
    #13
    0
    19.01.2022 21:12:00
    Привет, спасибо, что уделил этому время. Я включил BGP, и, как и раньше, все три узла объявляют маршруты и подключаются к внешнему роутеру без проблем. Я также попробовал отключить SNAT. Результат тот же, что и раньше: множественные выходы не работают, если указать только один — всё работает как изнутри, так и снаружи.
     
     
     
    spirit
    Guest
    #14
    0
    19.01.2022 23:32:00
    Хорошо. Без SNAT я действительно не вижу, в чём может быть проблема, но мне нужно провести ещё несколько тестов, чтобы убедиться. На следующей неделе держу тебя в курсе.
     
     
     
    lunam
    Guest
    #15
    0
    01.04.2022 15:30:00
    Похоже, у меня такая же проблема, как и у вас. У меня настроен bgp-evpn, который распространяет мои подсети на коммутатор через обычный ipv4 BGP (сделал это, добавив BGP-контроллер на exit node). С одним exit node всё работает, кроме того, что внешний мир не может пропинговать узлы на хостах, которые не являются exit node. Чтобы решить эту проблему, на узле, который не был exit node, я скопировал конфигурацию BGP для vrf с другого узла и удалил "default originate", хотя это на самом деле не решение, потому что любые изменения в SDN перезаписывают эту правку. Хотелось бы, чтобы была опция сделать узел, который бы так работал. С exit node я вообще не понимаю, как это исправить. Включаю, с source NAT или без, и вдруг ВМ могут пинговать только другие ВМ в той же сети. Может, мне надо, чтобы сами хосты proxmox были на разных маршрутизируемых портах на моём коммутаторе, чтобы всё работало, но если они в одной подсети — всё просто ломается.
     
     
     
    spirit
    Guest
    #16
    0
    02.04.2022 08:46:00
    В последней версии SDN у меня появилась опция приоритета веса при использовании нескольких exit-nodes. Пока её нет в графическом интерфейсе, но с libpvenetwork 0.7 вы уже можете редактировать файл /etc/pve/sdn/zones.cfg и добавить там "exitnodes-primary".

    Код:
    evpn: myzon  
       controller evpnctl  
       vrf-vxlan 10000  
       exitnodes node1,node2  
       exitnodes-primary node1  
       mtu 1500

    Проблема с Snat в том, что мы используем iptables conntrack для отслеживания текущих установленных соединений, поэтому пакеты нельзя балансировать между двумя exit-nodes. С exitnodes-primary это активный резерв: пакеты всегда идут через node1, а если node1 выходит из строя — переходят на node2.

    Я не понимаю, зачем "default originate" добавляется только на exit-node. Просто не определяйте этот узел как "exit-node" в конфигурации зоны.
     
     
     
    lunam
    Guest
    #17
    0
    02.04.2022 18:22:00
    Я попробовал добавить exitnodes-primary, но это не изменило ситуацию. Та же самая проблема — узлы видят только сами себя и ни с кем больше не могут связаться. Я имел в виду, что добавил это на узлы без выхода, чтобы заставить всё работать, извиняюсь, что в первом комментарии был не очень ясен:

    Код:
    router bgp 65000 vrf vrf_main
    bgp router-id 10.0.0.210
    !
    address-family ipv4 unicast
     redistribute connected
    exit-address-family
    !
    address-family ipv6 unicast
     redistribute connected
    exit-address-family

    Когда я попробовал использовать локальную настройку маршрутизации, то вдруг перестали приходить любые маршруты на мой коммутатор по BGP. Опция advertise subnets тоже не помогла.

    Чтобы сейчас всё работало (по крайней мере в моём случае), я ставлю advertise subnets, а на втором узле (который не является выходным) вручную захожу в vtysh и ввожу router bgp 65000, а потом import vrf vrf_main в обеих семействах адресов — ipv4 и ipv6. Возможно, это особенности моей сети, но основной выходной узел, похоже, не работает.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры