[technique] Intervention cluster Ceph 16/01/2019

[ininow]

Merci pour tout Mehdi

et merci d'avoir tenu au courant ce matin

Clement

Le 16/01/2019 à 07:51, Mehdi Abaakouk via technique a écrit :
> Bonjour,
>
> Nous avons procéder hier au remplacement de 3 disques HS du cluster et
> au rajout d'un onduleur.
>
> Lors du remplacement d'un des disques sur la machine g5, celle-ci a
> rebooté de façon inattendu rebootant quelque VMs (en peu avant 12h):
>
> * scriptbox.tetaneutral.net
> * himalia.tetaneutral.net
> * rodo.tetaneutral.net
> * canalsud.tetaneutral.net
> * gllm.tetaneutral.net
>
> Malheureusement les VMs ne sont pas reparti suite au reboot (IO error
> dans les VMs alors que les disque étaient OK et clean vu de l’extérieur).
>
> Après pas mal de recherche, ce matin, j'ai trouvé que lors d'une mise
> à jour nous avons loupé la mise à jour de permissions des clients ceph
> [1]
> (en meme temps y'avait rien sur le sujet dans les release notes et la
> procédure d'upgrade...).
>
> Ceci empêchait qemu de supprimer le précédent lock en écriture des
> disques de ces VMs, provoquant les erreurs.
>
> Après avoir appliqué les nouvelles permissions, j'ai rebooté les 5 VMs
> qui sont reparti normalement.
>
>
> Ensuite pendant le déplacement de certaines machines sur le nouvelles
> onduleur, g11 n'a pas voulu redémarrer, nous avons du remplacer
> l'alimentation.
> Quand la machine a redémarré, nous nous sommes pas aperçu de suite que
> un des disques n'était plus détecté (surement mal reconnecté).
>
> Le cluster restera en mode dégradé jusqu'à la prochaine intervention
> (peu être Vendredi), vu le nombre de disques du cluster ceci n'aura
> pas d'impact sur la prod.
>
> A+,
> Mehdi
>
>
> [1]
> http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/020693.html
> _______________________________________________
> technique mailing list
> technique at lists.tetaneutral.net
> http://lists.tetaneutral.net/listinfo/technique