Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    [TUTORIAL] ZeroTier + Proxmox PVE

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    [TUTORIAL] ZeroTier + Proxmox PVE, Proxmox Виртуальная Среда
     
    KatyComputer
    Guest
    #1
    0
    11.10.2020 03:44:00
    ZeroTier + Proxmox  
    Мы уже больше года используем ZeroTier, и когда пришло время настроить его с Proxmox, я потратил часы впустую из-за желания усложнить всё. Этот процесс из четырёх шагов позволит вам удалённо получить доступ к вашим контейнерам и виртуальным машинам через ZeroTier D-WAN / VPN.  

    Моя цель — настроить несколько контейнеров и виртуальных машин в подсети 10.101.101.0/24 на vmbr2.  

    Для этого:  
    1. Войдите в свой аккаунт ZeroTier, добавьте сеть — возьмём 10.255.0.0/24.  
    2. Подключите свою удалённую рабочую станцию и узел PVE к этой сети, назначьте узлу PVE IP-адрес, например 10.255.0.110.  
    3. В my.zerotier.com добавьте 10.101.101.0/24 как управляемый маршрут.  
    4. Добавьте маршрут к 10.101.101.0/24 на vmbr2.  
    5. При создании или изменении контейнеров используйте vmbr2 с подсетью 10.101.101.0/24.  
    6. Для обновления системы включите маскарадинг в /etc/network/interfaces.  

    Конфигурация интерфейсов:  
    auto lo  
    iface lo inet loopback  

    auto eno5  
    iface eno5 inet manual  

    auto eno6  
    iface eno6 inet manual  

    iface eno7 inet manual  

    iface eno8 inet manual  

    auto enp193s0f4u4  
    iface enp193s0f4u4 inet dhcp  

    auto vmbr0  
    iface vmbr0 inet static  
       address 2.6.170.42/30  
       gateway 2.6.170.41  
       bridge-ports eno5  
       bridge-stp off  
       bridge-fd 0  
       bridge-maxwait 0  
       post-up ip route add 3.3.199.160/29 dev vmbr0  

    auto vmbr1  
    iface vmbr1 inet static  
       address 192.168.101.32/24  
       bridge-ports eno6  
       bridge-stp off  
       bridge-fd 0  
       bridge-maxwait 3  

    auto vmbr2  
    iface vmbr2 inet static  
       address 10.101.101.1/24  
       bridge-ports ztzlgi8qn1  
       bridge-stp off  
       bridge-fd 0  
       bridge-maxwait 3  
       post-up echo 1 > /proc/sys/net/ipv4/ip_forward  
       post-up iptables -t nat -A POSTROUTING -s '10.101.101.0/24' -o vmbr0 -j MASQUERADE  
       post-down iptables -t nat -D POSTROUTING -s '10.101.101.0/24' -o vmbr0 -j MASQUERADE  

    Результат команды grep -ris "vmbr2" /etc/pve:  
    /etc/pve/nodes/vm101-01/qemu-server/103.conf:net0: e1000=F2:4E:F9:60:9A:40,bridge=vmbr2,firewall=1  
    /etc/pve/nodes/vm101-01/lxc/102.conf:net0: name=eth0,bridge=vmbr2,firewall=1,gw=10.101.101.1,hwaddr=86:11:17:5B:76:07,ip=10.101.101.10/24,type=veth  
    /etc/pve/nodes/vm101-01/lxc/100.conf:net1: name=eth1,bridge=vmbr2,firewall=1,gw=192.168.101.32,hwaddr=AE:79:8E:AD:E7:9D,ip=10.101.101.11/24,type=veth  

    my.zerotier.com:  
     
     
     
    kozaks
    Guest
    #2
    0
    18.11.2020 20:47:00
    Ты решил свою проблему?
     
     
     
    KatyComputer
    Guest
    #3
    0
    18.11.2020 21:01:00
    Я сдался.
     
     
     
    jamest65
    Guest
    #4
    0
    01.05.2021 13:01:00
    Я недавно собрал лабораторию на Proxmox и настроил Zerotier через NAT внутри виртуальных машин, используя стандартную конфигурацию NAT согласно инструкции. Теперь осталось разобраться с правилом, чтобы разрешить выход трафика из ВМ по нужным портам. С внешнего компьютера я могу подключаться по SSH к своей ВМ с ноутбука — это просто супер. Пишу это, чтобы узнать, есть ли у кого желание покопаться в этой теме глубже.
     
     
     
    crazy_otto
    Guest
    #5
    0
    07.07.2021 01:40:00
    Да, пожалуйста!
     
     
     
    Prochor
    Guest
    #6
    0
    02.09.2022 09:41:00
    Установка ZeroTier моста на хост PVE https://www.prochor.ru/content/nashi-stati/proxmox-ve/content11/proxmox-ve-zerotier-one.html

    "lightbox_close": "Закрыть",
    "lightbox_next": "Следующий",
    "lightbox_previous": "Предыдущий",
    "lightbox_error": "Запрашиваемый контент не может быть загружен. Пожалуйста, попробуйте позже.",
    "lightbox_start_slideshow": "Начать слайдшоу",
    "lightbox_stop_slideshow": "Остановить слайдшоу",
    "lightbox_full_screen": "Полноэкранный режим",
    "lightbox_thumbnails": "Миниатюры",
    "lightbox_download": "Скачать",
    "lightbox_share": "Поделиться",
    "lightbox_zoom": "Увеличить",
    "lightbox_new_window": "Новое окно",
    "lightbox_toggle_sidebar": "Переключить боковую панель"
     
     
     
    oldercoder
    Guest
    #7
    0
    08.09.2022 23:51:00
    Привет, я снова с тобой на связи. Мне нужно запустить zero-tier в докер-контейнере, который находится на виртуальной машине.
     
     
     
    struland
    Guest
    #8
    0
    30.11.2022 09:33:00
    Привет, очень старался настроить свою систему, но пока так и не получилось. В Zerotier я настроил маршрутизацию: 192.168.131.0/24 через 10.147.20.131. С моего ПК (KINGLOUIE) я смог пинговать 192.168.131.204 — это IP-адрес установки Proxmox, на котором я поставил Zerotier. Но пока не получилось пинговать другие устройства в сети 192.168.131.0/24. Как проверить, где ошибка?
     
     
     
    UdoB
    Guest
    #9
    0
    30.11.2022 20:09:00
    Хотя я не буду углубляться в детали вашей топологии, по моему личному опыту чаще всего проблема возникает из-за того, что забывают настроить маршрут обратно от пункта назначения к источнику. Соответствующие маршрутизаторы должны знать, по какому маршруту отправлять пакеты — с любой точки карты топологии. Так что... проверьте свои таблицы маршрутизации на предмет пакетов, идущих от этих конечных систем обратно к вам (и которые, возможно, не доходят). Удачи!
     
     
     
    crycheck
    Guest
    #10
    0
    12.09.2024 07:39:00
    Ниже приведён bash-скрипт для автоматической настройки моста на основе Zerotier.

    1. Нужно указать ZT_NETWORK, BR_IF и статический IP для интерфейса Zerotier.

    Bash:

    #/bin/bash

    ZT_NETWORK="zerotier-network-id-16-digits"  
    BR_IF="vmbr1"  
    ZT_IP="172.30.0.2/16"

    apt update  
    apt -y install curl pgp

    # Установка zerotier-one  
    curl -s 'https://raw.githubusercontent.com/zerotier/ZeroTierOne/main/doc/contact%40zerotier.com.gpg' | gpg --import && \  
    if z=$(curl -s 'https://install.zerotier.com/' | gpg); then echo "$z" | bash; fi

    # Задание имени интерфейса zerotier  
    echo $ZT_NETWORK"=enp1z0" > /var/lib/zerotier-one/devicemap

    zerotier-cli join $ZT_NETWORK  
    zerotier-cli set $ZT_NETWORK allowManaged=0

    echo "" >> /etc/network/interfaces  
    echo "auto vmbr1" >> /etc/network/interfaces  
    echo "iface vmbr1 inet static" >> /etc/network/interfaces  
    echo "    address" $ZT_IP >> /etc/network/interfaces  
    echo "    bridge-ports enp1z0" >> /etc/network/interfaces  
    echo "    bridge-stp off" >> /etc/network/interfaces  
    echo "    bridge-fd 0" >> /etc/network/interfaces  
    echo "    bridge-maxwait 3" >> /etc/network/interfaces

    # ========= /sbin/zerotier-bridge.sh =============  
    cat << EOF | tee /sbin/zerotier-bridge.sh  
    #!/bin/sh  
    VB=vmbr1  
    EthZT=enp1z0  
    zerotier-cli status | if grep ONLINE >/dev/null  
    then  
     echo "ZT OK";  
    else  
     echo "ZT НЕ ОК";  
     systemctl start zerotier-one.service  
     sleep 10  
    fi

    brctl show | if grep \$EthZT >/dev/null  
    then  
     echo "brctl OK";  
    else  
     echo "brctl НЕ ОК";  
     brctl addif \$VB \$EthZT  
     ip link set \$EthZT up  
    fi  
    EOF  
    # =================================================  
    chmod +x /sbin/zerotier-bridge.sh

    # ========= /usr/lib/systemd/system/zerotier-bridge.service =============  
    cat << EOF | tee /usr/lib/systemd/system/zerotier-bridge.service  
    [Unit]
    Description=Run script at startup zerotier-bridge.sh

    [Service]
    Type=oneshot  
    ExecStart=/sbin/zerotier-bridge.sh  
    TimeoutStartSec=0  
    EOF  
    # =================================================

    # ========= /usr/lib/systemd/system/zerotier-bridge.timer =============  
    cat << EOF | tee /usr/lib/systemd/system/zerotier-bridge.timer  
    [Unit]
    Description=Run script add ZT to Bridge Proxmox

    [Timer]
    OnBootSec=1min

    [Install]
    WantedBy=default.target  
    EOF  
    # =================================================

    systemctl disable zerotier-bridge.service  
    systemctl enable zerotier-bridge.timer

    2. Поставьте галочку "Allow Ethernet Bridging" на вкладке Advanced в настройках соединения на my.zerotier.com



    3. Перезагрузитесь. Учтите, что интерфейс zerotier станет активным спустя примерно 1 минуту после загрузки, или вы можете изменить время в файле zerotier-bridge.timer, поправив OnBootSec=1min.

    В итоге должно быть примерно так:

    Code:

    root@pve:~# ip a  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000  
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00  
       inet 127.0.0.1/8 scope host lo  
          valid_lft forever preferred_lft forever  
       inet6 ::1/128 scope host noprefixroute  
          valid_lft forever preferred_lft forever  
    2: ens18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UP group default qlen 1000  
       link/ether bc:24:11:00:00:01 brd ff:ff:ff:ff:ff:ff  
       altname enp0s18  
    3: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000  
       link/ether bc:24:11:00:00:01 brd ff:ff:ff:ff:ff:ff  
       inet 192.168.1.234/24 scope global vmbr0  
          valid_lft forever preferred_lft forever  
       inet6 fe80::be24:11ff:fe30:cbd8/64 scope link  
          valid_lft forever preferred_lft forever  
    4: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 2800 qdisc noqueue state UP group default qlen 1000  
       link/ether fa:5b:3b:00:00:01 brd ff:ff:ff:ff:ff:ff  
       inet 172.30.0.2/16 scope global vmbr1  
          valid_lft forever preferred_lft forever  
       inet6 fe80::6ca3:68ff:0000:0001/64 scope link  
          valid_lft forever preferred_lft forever  
    5: enp1z0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 2800 qdisc pfifo_fast master vmbr1 state UNKNOWN group default qlen 1000  
       link/ether fa:5b:3b:00:00:01 brd ff:ff:ff:ff:ff:ff  
       inet6 fe80::f85b:0000:0000:0001/64 scope link  
          valid_lft forever preferred_lft forever

    root@npve:~# brctl show  
    bridge name     bridge id               STP enabled     interfaces  
    vmbr0           8000.ab***       no              ens18  
    vmbr1           8000.bc***       no              enp1z0

    root@pve:~# ip route  
    default via 192.168.1.2 dev vmbr0 proto kernel onlink  
    172.30.0.0/16 dev vmbr1 proto kernel scope link src 172.30.0.2  
    192.168.1.0/24 dev vmbr0 proto kernel scope link src 192.168.1.234

    Работает на свежей установке PVE 8.2.4 (6.8.12-1-pve). Я не очень силён в bash-скриптах, буду признателен, если кто-то их оптимизирует.
     
     
     
    shallowal
    Guest
    #11
    0
    15.10.2024 14:06:00
    Столкнулся с проблемой. Во-первых, я пытался создать shell-скрипт и запустить его, но получил ошибку неожиданного конца файла (EOF). Тогда я начал выполнять части скрипта по отдельности из командной строки и обнаружил, что присвоение shell-переменных в скрипте не сработало. Пройдя эти пару проблем, мне всё же удалось запустить всю процедуру, но результата, к сожалению, нет. Поэтому пара вопросов, если не сложно:

    1. Откуда берутся интерфейсы vmbr0 и ens18? Я подозреваю, что vmbr0 — это виртуальный интерфейс Proxmox, а ens18 соответствует eth0 в моей конфигурации. Не могли бы вы прокомментировать? При перезагрузке у меня появляется мост vmbr1 по команде "brctl show", а vmbr0 совсем отсутствует.

    2. Команда "ip route" выдает совсем другой результат.

    3. Мне пришлось добавить строку из этого поста " https://www.reddit.com/r/Proxmox/comments/jctd6x/zerotier_on_proxmox/ " в конфигурацию контейнера, чтобы получить хоть какую-то информацию по команде "zerotier_cli listnetworks". Моя домашняя сеть работает в диапазоне 10.0.0.0, а у контейнера адрес 10.0.0.117. ZeroTier назначил виртуальной машине адрес 192.168.192.80.

    4. Скрипт zerotier-bridge.sh приходится запускать вручную дважды, чтобы он заработал. Я в общем-то новичок в ZeroTier и Proxmox.

    Код:

    root@Zerotier:~# brctl show  
    bridge name     bridge id               STP enabled     interfaces  
    vmbr1           8000.daa8c101694d       no              enp1z0  

    root@Zerotier:~# ip route  
    default via 10.0.0.138 dev eth0  
    10.0.0.0/24 dev eth0 proto kernel scope link src 10.0.0.117  
    10.0.0.0/24 via 192.168.192.1 dev enp1z0 proto static metric 5000  
    192.168.192.0/24 dev vmbr1 proto kernel scope link src 192.168.192.1  
    192.168.192.0/24 dev enp1z0 proto kernel scope link src 192.168.192.80  

    root@Zerotier:~# ip a  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000  
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00  
       inet 127.0.0.1/8 scope host lo  
          valid_lft forever preferred_lft forever  
       inet6 ::1/128 scope host noprefixroute  
          valid_lft forever preferred_lft forever  
    2: eth0@if57: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000  
       link/ether bc:24:11:e7:72:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0  
       inet 10.0.0.117/24 brd 10.0.0.255 scope global dynamic eth0  
          valid_lft 863988sec preferred_lft 863988sec  
       inet6 2406:2d40:474e:e100:be24:11ff:fee7:7202/64 scope global dynamic mngtmpaddr  
          valid_lft 245sec preferred_lft 95sec  
       inet6 fe80::be24:11ff:fee7:7202/64 scope link  
          valid_lft forever preferred_lft forever  
    3: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000  
       link/ether e2:fa:bb:53:1c:61 brd ff:ff:ff:ff:ff:ff  
       inet 192.168.192.1/24 brd 192.168.192.255 scope global vmbr1  
          valid_lft forever preferred_lft forever  
       inet6 fe80::e0fa:bbff:fe53:1c61/64 scope link  
          valid_lft forever preferred_lft forever  
    4: enp1z0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 2800 qdisc pfifo_fast state UNKNOWN group default qlen 1000  
       link/ether da:a8:c1:01:69:4d brd ff:ff:ff:ff:ff:ff  
       inet 192.168.192.80/24 brd 192.168.192.255 scope global enp1z0  
          valid_lft forever preferred_lft forever  
       inet6 fe80::d8a8:c1ff:fe01:694d/64 scope link  
          valid_lft forever preferred_lft forever  

    root@Zerotier:~# zerotier-cli listnetworks  
    200 listnetworks <nwid> <name> <mac> <status> <type> <dev> <ZT assigned ips>  
    200 listnetworks <my network ID> <Mynetwork name> da:a8:c1:01:69:4d OK PRIVATE enp1z0 192.168.192.80/24
     
     
     
    crycheck
    Guest
    #12
    0
    15.10.2024 15:18:00
    Привет, думаю, проблема в наличии двух маршрутов:  
    10.0.0.0/24 через 192.168.192.1 dev enp1z0 proto static metric 5000  
    192.168.192.0/24 dev vmbr1 proto kernel scope link src 192.168.192.1  

    Они создаются по умолчанию с помощью zerotier-cli. Чтобы отключить это, используй команду:  
    zerotier-cli set <NetworkID> allowManaged=0  

    Потом можно проверить так:  
    zerotier-cli get <NetworkID> allowManaged  

    Значение должно быть равно нулю. После этого перезапусти сеть и zerotier-cli (или просто перезагрузись) и снова проверь список маршрутов. Команду можно запускать дважды, но перед этим нужно удалить записи, связанные с vmbr1 в /etc/network/interfaces.
     
     
     
    shallowal
    Guest
    #13
    0
    16.10.2024 02:13:00
    Спасибо за быстрый ответ. Мой задержанный ответ был потому, что я спал. В любом случае, благодаря вашей помощи я теперь могу пинговать и подключаться по ssh к моему Zerotier-шлюзу CT извне (то есть через общественную телефонную сеть), но не могу подключиться ни к чему другому в моей локальной сети. Полагаю, что это потому, что нет моста между виртуальной сетью Zerotier и LAN-мостом на Proxmox VM.  

    То есть:  
    Code:  
    root@Zerotier:~# brctl show  
    bridge name     bridge id               STP enabled     interfaces  
    vmbr1           8000.daa8c101694d       no              enp1z0  

    Я пытался добавить интерфейс eth0 в мост, но это не сработало, так как его можно добавить только в vmbr1. Я пытался добавить в vmbr0, но система выдает, что такого моста не существует:  
    Code:  
    root@Zerotier:~# brctl addif vmbr0 eth0  
    bridge vmbr0 does not exist!  

    Виртуальная машина показывает, что vmbr0 привязан к eth0  

    Как настроить мост?  

    Code:  
    root@Zerotier:~# ip route  
    default via 10.0.0.138 dev eth0  
    10.0.0.0/24 dev eth0 proto kernel scope link src 10.0.0.117  
    192.168.192.0/24 dev vmbr1 proto kernel scope link src 192.168.192.1  

    root@Zerotier:~# ip a  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000  
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00  
       inet 127.0.0.1/8 scope host lo  
          valid_lft forever preferred_lft forever  
       inet6 ::1/128 scope host noprefixroute  
          valid_lft forever preferred_lft forever  
    2: eth0@if73: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000  
       link/ether bc:24:11:e7:72:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0  
       inet 10.0.0.117/24 brd 10.0.0.255 scope global dynamic eth0  
          valid_lft 863831sec preferred_lft 863831sec  
       inet6 2406:2d40:474e:e100:be24:11ff:fee7:7202/64 scope global dynamic mngtmpaddr  
          valid_lft 288sec preferred_lft 138sec  
       inet6 fe80::be24:11ff:fee7:7202/64 scope link  
          valid_lft forever preferred_lft forever  
    3: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 2800 qdisc noqueue state UP group default qlen 1000  
       link/ether da:a8:c1:01:69:4d brd ff:ff:ff:ff:ff:ff  
       inet 192.168.192.1/24 brd 192.168.192.255 scope global vmbr1  
          valid_lft forever preferred_lft forever  
       inet6 fe80::ece9:f0ff:fef4:af00/64 scope link  
          valid_lft forever preferred_lft forever  
    4: enp1z0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 2800 qdisc pfifo_fast master vmbr1 state UNKNOWN group default qlen 1000  
       link/ether da:a8:c1:01:69:4d brd ff:ff:ff:ff:ff:ff  
       inet6 fe80::d8a8:c1ff:fe01:694d/64 scope link  
          valid_lft forever preferred_lft forever
     
     
     
    jamest65
    Guest
    #14
    0
    09.07.2021 13:05:00
    Я настроил собственный контроллер, чтобы и сервер Proxmox, и VM/LXC могли быть в одной сети. Это позволяет мне блокировать всё и держать систему строго в автономном режиме. Дайте знать, что хотите обсудить.
     
     
     
    bhughes55
    Guest
    #15
    0
    02.09.2022 01:29:00
    Если кому-то интересно, я вроде бы разобрался или, по крайней мере, это работает на моём сервере Proxmox — если нужна помощь, дайте знать.
     
     
     
    KatyComputer
    Guest
    #16
    0
    02.09.2022 02:49:00
    Расскажи нам подробнее.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры