[technique] Mises à jour du cluster machine virtuelle & ceph

[Aymeric]

Bonsoir,

Il n’y a pas eu trop de comm. de notre part sur les dernières avancé du 
cluster de machine virtuelle depuis le mois mai, on va essayer de 
rattraper ça :)

Dans les choses qui ont été faites :

Remplacement de toutes¹ les anciennes machines du cluster par les 
nouveaux boitier rackable avec 128Go RAM, processeur Ryzen 5900 et 
surtout 16 emplacements disques en facade "hot swap"², on en parle 
depuis décembre 2020 mais c’est maintenant terminé depuis mi mai.

Quelques semaines après cette intervention nous sommes revenu faire un 
"équilibrage" de charge au niveau des onduleurs, ces boitiers ont tous 
une double alim, ils ont été branché de manière a être tous sur 2 
onduleurs différents.
Les machines étant double alim, la puissance en nominale est réparti sur 
les deux alims, si on utilise une patte en direct, l'autre sur un 
onduleur, en cas de bascule suite a une coupure la charge risque de 
faire claquer l'onduleur.. et donc perdre la machine.

Ensuite, dans l'optique de mettre à jour ceph vers une nouvelle version, 
les anciens disques utilisé par ceph ont été converti au nouveau format 
de stockage.
Concrètement le cluster ceph date de 2014 et à l’époque ceph utilisait 
des disques formatés en ext4 ou xfs (format de fichier standard sous 
Linux) pour stocker les données. Ce format s'appelle filestore, depuis 
quelques années (depuis 2017) un nouveau format nommée "bluestore" est 
venu remplacé filestore permettant d'être plus rapide, robuste, etc.
A tetaneutral.net on a eu comme politique de ne pas convertir les 
disques en bluestore mais de se baser simplement sur le remplacement des 
disques par des neufs pour migrer progressivement en bluestore.

Il y'a quelques semaines il restait encore 16 disques³ sur 60 en 
filestore, nous avons pris la décision d'accélérer les choses même si la 
conversion entraine une charge plus importante et augmente les risques 
de casse de disque/ssd. En effet les disques doivent être formaté pour 
être converti, donc les données sont déplacés ailleurs avant d'être 
re-copié dessus.

Et enfin, nous avons mis à jour la version de ceph d'une version plus 
supporté a ... une version plus supporté (mais plus récente).
Aujourd'hui le cluster est en version 14 (nautilus) de ceph.

Cette mise à jour était un prerequis pour mettre à jour les OS des 
machines vers une version plus récente (ubuntu 20.04), maintenant il 
nous faut faire cette partie et ensuite on mettra, à nouveau, ceph à 
jour vers une version supporté (16 ou 17).

Voilà pour les nouvelles ... dans les grandes lignes ! Si vous voulez 
d’explication plus en détail n’hésitez pas à poser vos questions par 
mail ou a venir sur Matrix https://tetaneutral.net/contact/ pour les poser !

Aymeric pour tetaneutral.net.

PS : Si vous êtes motivés et/ou intéressé pour aider l’équipe "hosting" 
les tâches sont diverses (en ce moment c'est surtout mises à jour..) 
mais on est ouvert a avoir de nouvelles personnes :)

¹     il reste une vieille machine (stri) mais rackable avec deux 
disques qui participent au cluster, on attend sagement la fin de vie de 
cette machine

²     la partie hotswap, on a une petite blague car au final seul 8 
emplacements sont hot swap mais pas sur toutes les machines, on a 
quelques pistes liées probablement à la version du BIOS ou a des 
réglages légèrement différent. Malgré tout ça simplifie la vie, au pire 
il y'a un reboot de la machine a faire.

³    Le plus vieux disques du cluster à 95985 heures (soit presque 11 
ans) de fonctionnement !

-- 
Aymeric
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.tetaneutral.net/pipermail/technique/attachments/20220728/7aec3e16/attachment.htm>