Привет, ребята! Я новенький на форуме, это мой первый пост. Хочу поделиться своей настройкой для установки PVE/PBS из ISO на выделенные серверы Hetzner без необходимости подключения KVM-консоли. Знаю, уже есть некоторые руководства, но многие из них неполные или не работают.
Коротко о преимуществах: установка из ISO позволяет, например, настроить ZFS RAID на загрузочном диске. Многие серверы Hetzner имеют только два диска. При установке из Debian 10 можно использовать только Linux RAID с помощью Hetzner InstallImage, но, на мой взгляд, встроенный ZFS мощнее. С другой стороны, с этой настройкой можно установить PVE7/PBS2 без предварительной установки Debian 10, а затем выполнить dist-upgrade до Debian 11 и, наконец, установить PVE7/PBS2. Лично мне не нравится такой способ установки и предпочитаю "чистый" способ с ISO. Поэтому я использую эту настройку.
Пример ниже описывает процедуру для PVE7 на машине Hetzner AX. Для других версий замените имя ISO-файла, чтобы соответствовать продукту, который хотите установить. Я тестировал PBS2, но должно работать и с PVE6 и PBS1.
Установка PVE7:
- загрузите сервер в систему восстановления Hetzner (на Robot console активируйте rescue + перезагрузите сервер)
- подключитесь по SSH к системе восстановления
- если сервер уже использовался, я бы рекомендовал начать с чистого листа и удалить все диски
- скачайте ISO PVE7 в систему восстановления:
```
wget
```
- сразу после подключения к системе восстановления отобразится информация о подключенных дисках и их названиях устройств.
- замените названия устройств в примере ниже на названия устройств в вашей системе. У меня подключены два NVMe-диска.
- запустите VM, которая загружается с ISO-файла PVE и отображает ее на физические диски вашего сервера:
```
qemu-system-x86_64 -enable-kvm -smp 4 -m 4096 -boot d -cdrom ./proxmox-ve_7.0-1.iso -drive file=/dev/nvme0n1,format=raw,media=disk,if=virtio -drive file=/dev/nvme1n1,format=raw,media=disk,if=virtio -vnc 127.0.0.1:1
```
- по соображениям безопасности вывод VNC VM установлен на локальный IP. Поэтому вам нужно установить SSH-туннель для доступа к машине.
- если используете Putty, перейдите в Connection->SSH->Tunnels и добавьте туннель с исходным портом 9501 и назначением 127.0.0.1:5901
- теперь вы можете подключиться с помощью второго сеанса SSH. После установления запустите свой VNC-клиент по адресу 127.0.0.1:9501
- теперь вы увидите экран настройки PVE. Выполните все настройки (например, создайте ZFS RAID1) и завершите процедуру настройки
- после завершения установки VM снова загрузится в настройку PVE
- нажмите ctrl+c в первом сеансе SSH и завершите работу VM (можно сделать без повреждений)
- если попытаться запустить физический сервер в этот момент, он будет недоступен. Необходимо выполнить дополнительный шаг.
- поэтому запустите VM во второй раз, но без загрузки ISO-образа:
```
qemu-system-x86_64 -enable-kvm -smp 4 -m 4096 -drive file=/dev/nvme0n1,format=raw,media=disk,if=virtio -drive file=/dev/nvme1n1,format=raw,media=disk,if=virtio -vnc 127.0.0.1:1
```
- только что установленный PVE впервые загружается внутри VM
- из-за того, что сетевые настройки отличаются от физической машины, они в настоящее время не работают, поэтому нам нужно их отредактировать
- в сеансе VNC войдите в PVE, используя желаемый пароль, установленный во время установки
- откройте файл конфигурации сети:
```
nano /etc/network/interfaces
```
- для настройки маршрутизированной сети следует удалить мост vmbr0 по умолчанию (я думаю, что большинство используют PVE на Hetzner с маршрутизированной настройкой и подсетями)
- также название сетевого адаптера VM отличается от названия физической машины. В моем случае адаптер назывался ens3, но его нужно называть enp41s0
- определите правильное название адаптера и отредактируйте конфигурацию, чтобы она выглядела примерно так:
```
auto lo
iface lo inet loopback
auto enp41s0
iface enp41s0 inet static
address x.x.x.x/xx
gateway x.x.x.x
```
- возможно, будет хорошей идеей добавить хотя бы один мост (например: vmbr0) для сети VM сразу.
- сохраните конфигурацию сети, выполните чистую остановку системы через оболочку VNC и дождитесь остановки VM
- перезагрузите физический сервер из оболочки восстановления
- через некоторое время вы должны иметь возможность получить доступ к веб-GUI по публичному IP () и завершить настройку
- не забудьте подписаться на фантастические продукты Proxmox, чтобы воспользоваться преимуществами стабильных корпоративных репозиториев.
Если вы думаете, что что-то можно оптимизировать или сделать лучше, не стесняйтесь сообщить мне свои предложения. Также дайте мне знать, если вас интересует более подробный просмотр моей конфигурации сети. Я использую маршрутизированную настройку с плавающей подсеткой и внутренними + внешними сетями. Во внешней сети я распределяю публичные IP через DHCP для VM, которым нужен прямой публичный доступ. Кстати, это часть полноценного облачного рабочего пространства для малых предприятий, основанного на Proxmox и силе нескольких других продуктов Linux. В моем случае требуется только одна коммерческая лицензия для Windows Terminal Server, на котором работает приложение. Все остальное, такое как контроллер домена, файловый сервер, межсетевой экран и VPN, построено на основе открытого исходного кода и простое в администрировании. Так что если кому-то нужно создать что-то подобное, не стесняйтесь обращаться ко мне. Я с удовольствием поделюсь своей работой.
С наилучшими пожеланиями,
Martin
Коротко о преимуществах: установка из ISO позволяет, например, настроить ZFS RAID на загрузочном диске. Многие серверы Hetzner имеют только два диска. При установке из Debian 10 можно использовать только Linux RAID с помощью Hetzner InstallImage, но, на мой взгляд, встроенный ZFS мощнее. С другой стороны, с этой настройкой можно установить PVE7/PBS2 без предварительной установки Debian 10, а затем выполнить dist-upgrade до Debian 11 и, наконец, установить PVE7/PBS2. Лично мне не нравится такой способ установки и предпочитаю "чистый" способ с ISO. Поэтому я использую эту настройку.
Пример ниже описывает процедуру для PVE7 на машине Hetzner AX. Для других версий замените имя ISO-файла, чтобы соответствовать продукту, который хотите установить. Я тестировал PBS2, но должно работать и с PVE6 и PBS1.
Установка PVE7:
- загрузите сервер в систему восстановления Hetzner (на Robot console активируйте rescue + перезагрузите сервер)
- подключитесь по SSH к системе восстановления
- если сервер уже использовался, я бы рекомендовал начать с чистого листа и удалить все диски
- скачайте ISO PVE7 в систему восстановления:
```
wget
```
- сразу после подключения к системе восстановления отобразится информация о подключенных дисках и их названиях устройств.
- замените названия устройств в примере ниже на названия устройств в вашей системе. У меня подключены два NVMe-диска.
- запустите VM, которая загружается с ISO-файла PVE и отображает ее на физические диски вашего сервера:
```
qemu-system-x86_64 -enable-kvm -smp 4 -m 4096 -boot d -cdrom ./proxmox-ve_7.0-1.iso -drive file=/dev/nvme0n1,format=raw,media=disk,if=virtio -drive file=/dev/nvme1n1,format=raw,media=disk,if=virtio -vnc 127.0.0.1:1
```
- по соображениям безопасности вывод VNC VM установлен на локальный IP. Поэтому вам нужно установить SSH-туннель для доступа к машине.
- если используете Putty, перейдите в Connection->SSH->Tunnels и добавьте туннель с исходным портом 9501 и назначением 127.0.0.1:5901
- теперь вы можете подключиться с помощью второго сеанса SSH. После установления запустите свой VNC-клиент по адресу 127.0.0.1:9501
- теперь вы увидите экран настройки PVE. Выполните все настройки (например, создайте ZFS RAID1) и завершите процедуру настройки
- после завершения установки VM снова загрузится в настройку PVE
- нажмите ctrl+c в первом сеансе SSH и завершите работу VM (можно сделать без повреждений)
- если попытаться запустить физический сервер в этот момент, он будет недоступен. Необходимо выполнить дополнительный шаг.
- поэтому запустите VM во второй раз, но без загрузки ISO-образа:
```
qemu-system-x86_64 -enable-kvm -smp 4 -m 4096 -drive file=/dev/nvme0n1,format=raw,media=disk,if=virtio -drive file=/dev/nvme1n1,format=raw,media=disk,if=virtio -vnc 127.0.0.1:1
```
- только что установленный PVE впервые загружается внутри VM
- из-за того, что сетевые настройки отличаются от физической машины, они в настоящее время не работают, поэтому нам нужно их отредактировать
- в сеансе VNC войдите в PVE, используя желаемый пароль, установленный во время установки
- откройте файл конфигурации сети:
```
nano /etc/network/interfaces
```
- для настройки маршрутизированной сети следует удалить мост vmbr0 по умолчанию (я думаю, что большинство используют PVE на Hetzner с маршрутизированной настройкой и подсетями)
- также название сетевого адаптера VM отличается от названия физической машины. В моем случае адаптер назывался ens3, но его нужно называть enp41s0
- определите правильное название адаптера и отредактируйте конфигурацию, чтобы она выглядела примерно так:
```
auto lo
iface lo inet loopback
auto enp41s0
iface enp41s0 inet static
address x.x.x.x/xx
gateway x.x.x.x
```
- возможно, будет хорошей идеей добавить хотя бы один мост (например: vmbr0) для сети VM сразу.
- сохраните конфигурацию сети, выполните чистую остановку системы через оболочку VNC и дождитесь остановки VM
- перезагрузите физический сервер из оболочки восстановления
- через некоторое время вы должны иметь возможность получить доступ к веб-GUI по публичному IP () и завершить настройку
- не забудьте подписаться на фантастические продукты Proxmox, чтобы воспользоваться преимуществами стабильных корпоративных репозиториев.
Если вы думаете, что что-то можно оптимизировать или сделать лучше, не стесняйтесь сообщить мне свои предложения. Также дайте мне знать, если вас интересует более подробный просмотр моей конфигурации сети. Я использую маршрутизированную настройку с плавающей подсеткой и внутренними + внешними сетями. Во внешней сети я распределяю публичные IP через DHCP для VM, которым нужен прямой публичный доступ. Кстати, это часть полноценного облачного рабочего пространства для малых предприятий, основанного на Proxmox и силе нескольких других продуктов Linux. В моем случае требуется только одна коммерческая лицензия для Windows Terminal Server, на котором работает приложение. Все остальное, такое как контроллер домена, файловый сервер, межсетевой экран и VPN, построено на основе открытого исходного кода и простое в администрировании. Так что если кому-то нужно создать что-то подобное, не стесняйтесь обращаться ко мне. Я с удовольствием поделюсь своей работой.
С наилучшими пожеланиями,
Martin
