[technique] DELL R720

[Mehdi Abaakouk]

Salut,

Mar 22 sept 2020, à 12:58, Fabien ADAM via technique a écrit :
> Je précise donc certaines choses :
> 1/ Ceph n'est *pas* un SPOF dans notre asso : la redondance est de 3x, 
> et le mode cluster sur plusieurs machines rend le truc vraiment 
> résilient (bien plus que toutes les sortes de RAID)

Je suis tout à fait d'accord.

> Illustration : on a changé pas moins de 6 disques sur 57 la semaine 
> dernière, sans aucune perte de données.

Un grand merci pour ce travail !

> 2/ Les perturbations observées ce WE sont du au processus de réparation 
> de Ceph, qui dégrade les performances d'utilisation. J'en la même cause, 
> puisque j'ai fait les opérations.
> Sur ce sujet là précis, notre expérience dans l'asso est limité, et il y 
> a sûrement des choses à faire mieux pour réduire cet impact.
> 3/ En conclusion, Ceph n'est pas une solution qui marche toute seule.
> Ceph peut donner d'excellente performance, avoir peu d'impact lors des 
> réparations, etc. Mais notre capacité à expérimenter et améliorer est 
> limitée par notre temps, entraînant certains désagréments.

Je tiens à ajouter, que les personnes qui voient le moindre ralentissement de Ceph pendant la reconstruction sont celles qui n'ont jamais reinstallé leur VM depuis Ganeti.

Ces VMs;
* ont leur rootfs sur les disques rotationnels
* sont en mode ide (sans virtio-io)
* n'ont aucune option libvirt pour améliorer les perfs
* le partitionnement n'est pas aligné sur les blocks de Ceph (pour chaque IO de la VM, Ceph doit faire minimum deux IOs dans le meilleur des cas)

Cela divise les perfs par ~4-5 par rapport à une VM neuve sur disque rotationnel et je ne parle même pas de si le roofs est sur SSD.

Plus générallement, pour réduire l'impact de la reconstruction, je vois trois pistes:
* aller changer les disques plus souvent 
* rajouter des machines et des disques
* changer la configuration pour ralentir le recovery (c'est plus dure que ca n'en a l'air)

Personnelement, quand je vois le peu de temps passer par les bénévoles sur le cluster par rapport au service rendu, c'est assez exceptionnel. Malgré ca, cela reste un service associatif, rien de critique ou nécessitant des perfs ne devrait y être hébergé.

Sinon, pour les perfs, y'a l'option hébergement dédié avec les NUCs à deux ports M.2 pour faire du raid avec deux SSDs.

A+