[technique] Migration du cluster libvirt+ceph vers proxmox+ceph / mise a jour / demain vendredi 31 mars midi panio puis TLS00

[Laurent GUERBY]

Bonsoir,

Nous avons maintenant migré 31 VMs sur proxmox (hote g20) et nous avons
vidé OSD et VM de deux hotes de l'ancien cluster : g22 et g23.

Demain midi nous allons avec Matthieu manger au restaurant la paniolade
aux minimes  https://www.lapaniolade.fr/

Puis vers 13h30-14h intervention a TLS00 pour :

- installer les cartes PCIe miniSAS sur g22 et g23
- reinstaller g22 et g23 en proxmox ZFS RAID1 2x500G SSD
- repartir les disques sur g20+g22+g23
- creer le cluster proxmox+ceph comprenant g20+g22+g23

Si vous souhaitez venir a la panioloade et/ou nous aider a TLS00 vous
inscrire ici avant 11h demain vendredi (pour la reservation, la
paniolade est en general plutot pleine a midi) :

https://pad.tetaneutral.net/p/TODO2023

Sincèrement,

Laurent

On Wed, 2023-03-29 at 20:38 +0200, Laurent GUERBY wrote:
> Bonsoir,
> 
> On Wed, 2023-03-22 at 13:52 +0100, Laurent GUERBY wrote:
> > Bonjour,
> > 
> > Notre cluster de machine virtuelle est actuellement composé de 7
> > machines identiques sous Ubuntu 18.04.6 LTS, libvirt 4.0.0-
> > 1ubuntu8.21, 
> > ceph 15.2.17-1bionic, le tout géré par un ensemble de scripts sur
> > mesure ecrits lors de la migration de openstack a libvirt.
> > 
> > L'equipe benevole hosting a décidé de migrer cette infrastructure
> > sous
> > Proxmox VE (7.3, basé debian 11) et le ceph associé (16.2.x ou
> > 17.2.x
> > au choix).
> > 
> > Un brouillon de plan de migration est ici :
> > 
> > https://pad.tetaneutral.net/p/TODO2023
> 
> Le week-end du 25 mars nous avons testé du "promox dans promox" en
> creant 3 VMs dans une proxmox, et en mettant ces 3 VMs sous proxmox
> en
> cluster. Cela nous a permis de valider la creation d'un ceph avec les
> classes hdd et ssd.
> 
> > 
> > En gros nous allons:
> > - vider VM+OSD d'une des 7 machines physique (g20, en cours).
> > - la reinstaller sous proxmox, ajouter des disques
> > - accueillir dessus les premieres VMs pour mettre au point le
> > process
> > - migrer les VMs avec un gros espace de stockage sur un RAIDZ2 ou
> > Z3
> > local a g20 pour liberer de l'espace sur l'ancien ceph (quasiment
> > la
> > moitié en une douzaine de VM)
> 
> Mardi 28 mars Matthieu et Aymeric ont ajouté la carte PCIe de
> stockage
> sur la machine g20 ainsi que 2x500GB SSD pour l'OS proxmox 7.4 en ZFS
> RAID1. 
> 
> 6x4 TB SSD ont été mis en RAIDZ2 pour accueillir de maniere
> temporaire
> un sous ensemble de VM dans promxox durant la migration.
> 
> Nous avons entamé la migration des VMs a gros espace disque et le
> cluster ceph est passé de 85 TiB a 62 TiB d'usage en quelques VMs
> migrées.
> 
> Sincèrement,
> 
> Laurent
> 
> 
> > - vider deux autres machines et les mettre en proxmox, creer le
> > nouveau
> > ceph coté proxmox avec ces 3 machines proxmox.
> > - migrer le reste des VMs jusqu'a ne plus rien avoir coté ancien
> > - si besoin passer une quatrieme machine dans proxmox, 3 coté
> > ancien.
> > - quand les 3 anciennes sont vide tout mettre en proxmox+ceph.
> > 
> > Note : cela impliquera probablement au moins un reboot de chacune
> > de
> > nos 213 VM hébergées par le cluster.
> > 
> > Zorun regarde ce qu'on peut faire avec terraform/python pour la
> > creation et maintenance des nouvelles VM une fois la migration
> > terminée. proxmox a une API et supporte cloudinit (je m'en sers en
> > pro
> > pour la creation par API de VMs).
> > 
> > Bénévoles bienvenus, vous pouvez vous signaler sur matrix avec
> > votre
> > experience proxmox ou autre.
> > 
> > Sincèrement,
> > 
> > Laurent
> > 
> > https://pve.proxmox.com/wiki/Ceph_Pacific_to_Quincy