+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Проблемы с хранением в Proxmox/Ceph, Proxmox Виртуальная Среда

tmsg

Guest

20.08.2015 20:40:00

Я пытаюсь протестировать кластер Proxmox/Ceph, но GUI/хранилище, похоже, перестает работать для всех задач и информации, связанных с хранилищем, когда я настраиваю Ceph. Я настроил вложенный кластер Proxmox (wiki/Nested_Virtualization), и все работает. Аппаратный сервер работает на pve-manager: 3.4-9 с ядром: 3.10.0-11-pve. У меня настроено три виртуальные машины: ОС: PVE 3.4-9, Ядро 2.6.32-40-pv, ССД: VIRTIO0 - мост к интернет-соединению, VIRTIO1 - мост для Proxmox/VMs, VIRTIO2 - мост для Ceph. Жесткие диски: VIRTIO0 - для Proxmox, VIRTIO1 - для журнала Ceph, VIRTIO2 - для диска Ceph #1, VIRTIO3 - для диска Ceph #2. Все работает нормально с вложенным кластером Proxmox, пока я не настраиваю Ceph (wiki - Ceph_Server). У меня установлен Ceph, настроены мониторы, настроены OSD-диски и создан пул. Теперь, если я пытаюсь проверить содержимое через GUI, появляется ошибка связи. Если я пытаюсь создать ВМ, окно "Жесткий диск -> Хранилище" серое/недоступно. Как только возникает эта ошибка связи, все, что связано с хранилищем, также выдает ошибку связи. Все, что делает вызов к /api2/json/nodes/pc1/storage, вызывает ошибку. Как только начинаются таймауты по хранилищу, могут возникать таймауты и в других частях GUI, и графики не показывают никаких данных. Запрос через GUI на информацию, связанную с хранилищем, похоже, запускает это. То же самое происходит на всех трех узлах вложенного кластера Proxmox. Я несколько раз начинал с нуля, устанавливая эту конфигурацию, проверяя каждый шаг на пути. Я пробовал создать ВМ из командной строки с локальным хранилищем, и это работает, но хранилище не создается. Буду признателен за любые идеи о том, что происходит. Из access.log Из syslog Топовая версия информации Вложенная версия информации Виртуализация работает на ВМ. CPUINFO Конфигурационный файл ВМ Сеть ВМ (пробовал с настройкой eth1/eth2 вместо vmbr1/vmbr2) Storage.cfg Статус Ceph

Nicolas Dey Guest	#2 0 09.12.2016 16:06:00 Привет, tmsg. Ты узнал, что вызывает сообщение об ошибке 'сбой связи (0)' в веб-интерфейсе Proxmox? У меня точно такие же симптомы на последней версии (4.3-1)... Спасибо.

spirit Guest	#3 0 09.12.2016 17:27:00 Вы скопировали ключ администратора в /etc/pve/priv/ceph/yourstorage.key?

Nicolas Dey Guest	#4 0 09.12.2016 17:53:00 Привет, дух! Да, я скопировал свой ключ в '/etc/pve/priv/ceph/<storage>.keyring' (а не '.key', я думаю, это опечатка?).

Nicolas Dey

Guest

09.12.2016 18:32:00

Кстати, я могу получить информацию для: Мой узел > Ceph (в правой панели), но не могу увидеть никакой информации о подключенных хранилищах: Мой узел > локальное (в левой панели). Например, "Сводка" отображает ни полное, ни частичное графическое использование, а написано 'сбой связи (0)'. С точки зрения системы выполняются следующие команды (я могу ошибаться, но кажется, что они выполняются для каждого выбранного мной хранилища, даже если оно не связано с Ceph!): Код: /usr/bin/rados -p rbd -m 10.2.x.201,10.2.x.202,10.2.x.203 -n client.root --keyring /etc/pve/priv/ceph/<storage>.keyring --auth_supported cephx df Где 10.2.x.0/24 — это моя частная сеть для хранения CEPH. Чтобы корректно завершить эти команды, мне нужно выполнить 'service pvestatd restart'. Я все еще исследую ситуацию, но разве 'rados' на несистемном хранилище не абсурд?

Nicolas Dey Guest	#6 0 09.12.2016 19:50:00 И все мои диски снова отображаются, если я закомментирую хранилище CEPH rbd в '/etc/pve/storage.cfg'…

spirit Guest	#7 0 09.12.2016 20:09:00 Если ты запускаешь команду вручную, она зависает? Можешь отправить свой файл ceph.conf? Также, у тебя включен файрвол Proxmox?

Nicolas Dey

Guest

09.12.2016 20:52:00

Если я запускаю команду вручную, она действительно зависает, даже если возвращает результат: Код: # /usr/bin/rados -p rbd -m 10.2.x.201,10.2.x.202,10.2.x.203 -n client.root --keyring /etc/pve/priv/ceph/<storage>.keyring --auth_supported cephx df 2016-12-09 14:39:27.318429 7f9e91f18700 0 -- :/3289528711 >> 10.2.x.202:6789/0 pipe(0x560c3a106160 sd=4 :0 s=1 pgs=0 cs=0 l=1 c=0x560c3a10b4d0).fault 2016-12-09 14:39:30.318630 7f9e769f1700 0 -- :/3289528711 >> 10.2.x.203:6789/0 pipe(0x7f9e68000c80 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x7f9e68001f90).fault 2016-12-09 14:39:33.318797 7f9e91f18700 0 -- :/3289528711 >> 10.2.x.202:6789/0 pipe(0x7f9e68005190 sd=4 :0 s=1 pgs=0 cs=0 l=1 c=0x7f9e68006450).fault … Пока я не нажму CTRL+C. Что касается фаервола: согласно Datacenter > Firewall > Options: Enable Firewall = No. согласно всем Узлам > Firewall > Options: Enable Firewall = Yes. согласно 'service pve-firewall status', статус активен. Я бы ответил да, фаервол включен. Вот копия моего ceph.conf: Код: [global] auth client required = cephx auth cluster required = cephx auth service required = cephx cluster network = 10.2.x.0/24 filestore xattr use omap = true fsid = 6a28a5eb-49c4-41a6-XXXX-XXXXXXXXXXXX # keyring = /etc/pve/priv/$cluster.$name.keyring keyring = /etc/ceph/$cluster.$name.keyring osd journal size = 5120 osd pool default min size = 1 # Разрешить запись 1 копии в деградированном состоянии osd pool default size = 2 # Записать объект 2 раза osd pool default pg num = 256 osd pool default pgp num = 256 public network = 10.2.0.0/18 mon initial members = node1,node2,node3 mon host = 10.2.0.201 [mon] debug mon = 9 [mon.2] host = node3 mon addr = 10.2.0.203:6789 [mon.1] host = node2 mon addr = 10.2.0.202:6789 [mon.0] host = node1 mon addr = 10.2.0.201:6789 [osd] # debug osd = 9 keyring = /var/lib/ceph/osd/ceph-$id/keyring [osd.0] public addr = 10.2.0.201 cluster addr = 10.2.x.201 [osd.1] public addr = 10.2.0.201 cluster addr = 10.2.x.201 [osd.2] public addr = 10.2.0.202 cluster addr = 10.2.x.202 [osd.3] public addr = 10.2.0.202 cluster addr = 10.2.x.202 [osd.4] public addr = 10.2.0.203 cluster addr = 10.2.x.203 [osd.5] public addr = 10.2.0.203 cluster addr = 10.2.x.203 Обратите внимание, что частная сеть 10.2.x.0/24 отличается от публичной 10.2.0.0/18.

Nicolas Dey

Guest

09.12.2016 22:22:00

Больше информации... Могу также подтвердить, что мой кластер находится в частной сети: Код: # cat /etc/pve/storage.cfg … rbd: cephstorage monhost 10.2.x.201;10.2.x.202;10.2.x.203 content images krbd pool test username root … Когда запускаются команды 'rados', они портят интерфейс Proxmox. Например, я больше не могу корректно получить доступ к: Узел 1 > Ceph (правая панель) опции. Некоторые получают 'communication timeout (0)' после этого. Мне нужно перезапустить CEPH, используя следующее: из интерфейса Proxmox я удостоверяюсь, что не нахожусь на странице CEPH, которая не работает, затем останавливаю CEPH на каждом узле (соответствующим образом обновив OSD #): Код: service ceph stop service ceph-osd@0 stop service ceph-osd@1 stop service pvedaemon restart service pvestatd restart Я убеждаюсь, что больше нет работающих (и висящих) процессов 'ceph': 'ps aux | grep ceph'. Если они есть, просто снова выполните 'service pvestatd restart'. Затем я перезапускаю CEPH на каждом узле: 'service ceph start'. В этот момент я снова могу получить все меню из: Узел1 > Ceph (правая панель). Если я вернусь к: Узел1 > <ceph storage> (левая панель) снова, я смогу воспроизвести проблему… Сейчас я задаюсь вопросом, не было ли проблемы с сетью между подсетями, например, общая сеть не может достичь частной сети по какой-то причине. Но разве ceph-osd не предназначены для этого? Это не может быть проблема маршрутизации?

spirit Guest	#10 0 10.12.2016 16:50:00 клиенту нужно использовать мониторы и OSD через публичную сеть. Поэтому необходимо использовать публичный IP-адрес монитора в /etc/pve/storage.cfg. Кластерная сеть используется только для репликации между OSD.

gkovacs

Guest

#11

10.12.2016 20:03:00

@Nicolas Dey @spirit @dietmar Я сталкиваюсь с очень похожими проблемами с Ceph. Я настроил двухмостовую сеть в своем пятиузловом кластере Proxmox 4.3: vmbr0 для обычного трафика кластера (10.10.0.x) и vmbr1 для трафика Ceph (192.168.0.x настроено с pveceph -init). После установки Ceph, создания мониторов на всех 5 узлах кластера и добавления 1-2 OSD с каждого из 5 узлов, я создал пул и монтирование хранилища (и скопировал файл ключей согласно вики). Я не смог получить доступ к пулу через Storage ни разу, независимо от того, какой адрес монитора я использовал. Кроме того, связь в кластере Proxmox (которая, как предполагалось, должна быть на другой подсети и адаптере) начала давать сбои: веб-интерфейс стал зависать, появились проблемы с коммуникацией и ошибки, статистика не обновляется. В итоге я удалил Ceph, подумал, что допустил ошибку (но все шаги установки выполнил по вики). Теперь похоже, что и другие сталкиваются с такой же проблемой... Есть ли у кого-то успешный опыт установки Ceph на 4.3 в последнее время?

udo Guest	#12 0 10.12.2016 22:44:00 Привет, да, я установил ceph (hammer) на кластер 4.3 три-четыре недели назад. И я тоже использую вики - не помню никаких проблем. Кстати, обновил кластер до jewel сегодня после обеда. Удо

spirit Guest	#13 0 11.12.2016 13:31:00 можешь выложить свой ceph.conf? ты настроил публичную сеть ceph на 192.168.0.x?

gkovacs Guest	#14 0 11.12.2016 17:53:00 Да как же так? Код: root@proxmox:~# pveceph install -version jewel 400 Ошибка проверки параметров. version: значение 'jewel' отсутствует в перечислении 'hammer'.

spirit

Guest

#15

11.12.2016 18:28:00

pveceph install -version, предназначен только для новой установки. (и proxmox еще не обновил / не поддерживает jewel, в старой версии имелась ошибка). Для обновления существующего кластера вам нужно изменить ваш /etc/apt/sources.list.d/ceph.list и обновиться до jewel. Прочитайте примечания к выпуску ceph на ceph.com перед обновлением.

Nicolas Dey

Guest

#16

12.12.2016 17:12:00

Привет, @spirit, спасибо за ответ. Я заменил адреса частной сети на адреса публичной сети и перезапустил CEPH. Всё выглядит нормально, но есть одна проблема: я снова столкнулся с проблемой подключения к RBD. При выборе: Node1 > Ceph Storage > Content появляется серое сообщение: "rbd error: rbd: couldn't connect to the cluster! (500)", и я по-прежнему не могу создать диск ВМ на хранилище Ceph (время ожидания истекает). В логах монитора у меня есть: Код: … 2016-12-12 11:36:33.018611 7f201e395700 0 mon.0@0(leader).auth v247 поймал ошибку, пытаясь обработать запрос на авторизацию, вероятно, неправильно сформированный запрос 2016-12-12 11:36:52.591387 7f201e395700 0 mon.0@0(leader).auth v247 поймал ошибку, пытаясь обработать запрос на авторизацию, вероятно, неправильно сформированный запрос … Я думаю, что это проблема с правами… До сих пор не смог её решить, но теперь, когда я уверен, что публичная сеть указана правильно в storage.cfg, попробую ещё раз.

spirit

Guest

#17

12.12.2016 19:52:00

Вы заменили только IP-адреса мониторов в proxmox /etc/pve/storage.cfg? Или вам нужно изменить публичную/приватную сеть в ceph.conf? (как вы говорили, вы перезапустили ceph). Поскольку вы не можете изменить IP-адреса мониторов или сеть, когда ваш кластер ceph уже построен.

frantek Guest	#18 0 12.12.2016 20:08:00 Я столкнулся с тем же самым. Вики устарела, а веб-интерфейс в большинстве случаев не работает. Для меня это решение сработало: https://forum.proxmox.com/threads/c...dnt-connect-to-cluster-500.18319/#post-152563

Nicolas Dey

Guest

#19

12.12.2016 20:51:00

@spirit, адреса монитора находятся в публичной сети, единственные упоминания о частной сети были в 'storage.cfg'. В 'ceph.conf' (как уже упоминалось в моем предыдущем посте) у меня есть ссылка на частную сеть для OSD. Я правильно понял, что ты имел в виду? @frantek, да, я уже видел этот пост, и он немного мне помог. Моя проблема с недопониманием возникла из-за множества попыток установки в начале, с разными ключами. Не мог бы ты подтвердить, какой именно ключевой файл нужно скопировать в '/etc/pve/priv/ceph/', так как мне неясно, какой файл ключа следует скопировать? На данный момент у меня есть: Код: … # ls -la /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/<ceph_storage>.keyring -rw-r----- 1 root www-data 137 Dec 8 14:23 /etc/ceph/ceph.client.admin.keyring -rw------- 1 root www-data 137 Dec 8 16:38 /etc/pve/priv/ceph/<ceph_storage>.keyring # md5sum /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/<ceph_storage>.keyring 285f46b706aa3e69ee76135971947bf2 /etc/ceph/ceph.client.admin.keyring 285f46b706aa3e69ee76135971947bf2 /etc/pve/priv/ceph/<ceph_storage>.keyring

spirit Guest	#20 0 12.12.2016 20:58:00 Похоже, все в порядке. /etc/ceph/ceph.client.admin.keyring генерируется при установке вашего кластера Ceph. (Это может быть внешний кластер Ceph без Proxmox). Затем вам нужно скопировать этот файл в /etc/pve/priv/ceph/<ceph_storage>.keyring.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры