[technique] Migration du cluster libvirt+ceph vers proxmox+ceph / mise a jour

[Laurent GUERBY]

Bonsoir,

On Wed, 2023-03-22 at 13:52 +0100, Laurent GUERBY wrote:
> Bonjour,
> 
> Notre cluster de machine virtuelle est actuellement composé de 7
> machines identiques sous Ubuntu 18.04.6 LTS, libvirt 4.0.0-
> 1ubuntu8.21, 
> ceph 15.2.17-1bionic, le tout géré par un ensemble de scripts sur
> mesure ecrits lors de la migration de openstack a libvirt.
> 
> L'equipe benevole hosting a décidé de migrer cette infrastructure
> sous
> Proxmox VE (7.3, basé debian 11) et le ceph associé (16.2.x ou 17.2.x
> au choix).
> 
> Un brouillon de plan de migration est ici :
> 
> https://pad.tetaneutral.net/p/TODO2023

Le week-end du 25 mars nous avons testé du "promox dans promox" en
creant 3 VMs dans une proxmox, et en mettant ces 3 VMs sous proxmox en
cluster. Cela nous a permis de valider la creation d'un ceph avec les
classes hdd et ssd.

> 
> En gros nous allons:
> - vider VM+OSD d'une des 7 machines physique (g20, en cours).
> - la reinstaller sous proxmox, ajouter des disques
> - accueillir dessus les premieres VMs pour mettre au point le process
> - migrer les VMs avec un gros espace de stockage sur un RAIDZ2 ou Z3
> local a g20 pour liberer de l'espace sur l'ancien ceph (quasiment la
> moitié en une douzaine de VM)

Mardi 28 mars Matthieu et Aymeric ont ajouté la carte PCIe de stockage
sur la machine g20 ainsi que 2x500GB SSD pour l'OS proxmox 7.4 en ZFS
RAID1. 

6x4 TB SSD ont été mis en RAIDZ2 pour accueillir de maniere temporaire
un sous ensemble de VM dans promxox durant la migration.

Nous avons entamé la migration des VMs a gros espace disque et le
cluster ceph est passé de 85 TiB a 62 TiB d'usage en quelques VMs
migrées.

Sincèrement,

Laurent


> - vider deux autres machines et les mettre en proxmox, creer le
> nouveau
> ceph coté proxmox avec ces 3 machines proxmox.
> - migrer le reste des VMs jusqu'a ne plus rien avoir coté ancien
> - si besoin passer une quatrieme machine dans proxmox, 3 coté ancien.
> - quand les 3 anciennes sont vide tout mettre en proxmox+ceph.
> 
> Note : cela impliquera probablement au moins un reboot de chacune de
> nos 213 VM hébergées par le cluster.
> 
> Zorun regarde ce qu'on peut faire avec terraform/python pour la
> creation et maintenance des nouvelles VM une fois la migration
> terminée. proxmox a une API et supporte cloudinit (je m'en sers en
> pro
> pour la creation par API de VMs).
> 
> Bénévoles bienvenus, vous pouvez vous signaler sur matrix avec votre
> experience proxmox ou autre.
> 
> Sincèrement,
> 
> Laurent
> 
> https://pve.proxmox.com/wiki/Ceph_Pacific_to_Quincy