[technique] DELL R720

[Alexandre GUY]

> Le 22 sept. 2020 à 21:00, Mehdi Abaakouk via technique <technique at lists.tetaneutral.net> a écrit :
> 
> Salut,

Salut Mehdi,

> 
> Mar 22 sept 2020, à 12:58, Fabien ADAM via technique a écrit :
>> Je précise donc certaines choses :
>> 1/ Ceph n'est *pas* un SPOF dans notre asso : la redondance est de 3x, 
>> et le mode cluster sur plusieurs machines rend le truc vraiment 
>> résilient (bien plus que toutes les sortes de RAID)
> 
> Je suis tout à fait d’accord.

Je suis d’accord sur la redondance 3x multi-machines, c’est top.

Mon soucis, et apparement celui aussi de picbackup, c’est que l’on fait des sauvegardes de pleins de petits fichiers, rien que mon Maildir/ doit contenir plus d’un million de fichiers.

Et ça, ça donne des backups qui prennent 10 à 20 fois plus de temps.

Mon serveur lance un cron à 3h du matin qui lance des tar / gzip de répertoires importants. Au final une dizaine de tgz pour un total de 19Go. Sur le cluster, ce script se terminait généralement entre 12h et 13h, soit un temps d’exécution de 9 à 10h. Soit 10 à 20 fois plus lent que sur un serveur physique avec des disques rotatifs. 

Du coup, durant le cron qui dure 10h, tout le reste de la VM rame, sauf ce qui est en ram (lol).

Le moindre accès disque, la moindre requête SQL, est genre 5 à 10 fois plus lent.

Et pendant le cron, le noyal s’en donne à coeur joie à coup de OOM-killer sur mariadb, spampd, python …

Matthieu Herrb a passé hier ma VM à 4Go de ram, cette nuit pas de services oom-killés, pas eu à les relancer à la mano ce matin, on verra demain.

> 
>> Illustration : on a changé pas moins de 6 disques sur 57 la semaine 
>> dernière, sans aucune perte de données.
> 
> Un grand merci pour ce travail !

Un grand merci surtout à toi qui a mis en place cette infra, et également beaucoup d’autres choses chez tetaneutral.net.

Je n’aurai pas ces horribles ralentissements de IO disques, je serai très satisfait.

Fabien : les 6 disques que tu as changé avaient grillés sur quelle période de temps ?

6 sur 57, ça fait quand même plus de 10%.

> 
>> 2/ Les perturbations observées ce WE sont du au processus de réparation 
>> de Ceph, qui dégrade les performances d'utilisation. J'en la même cause, 
>> puisque j'ai fait les opérations.
>> Sur ce sujet là précis, notre expérience dans l'asso est limité, et il y 
>> a sûrement des choses à faire mieux pour réduire cet impact.
>> 3/ En conclusion, Ceph n'est pas une solution qui marche toute seule.
>> Ceph peut donner d'excellente performance, avoir peu d'impact lors des 
>> réparations, etc. Mais notre capacité à expérimenter et améliorer est 
>> limitée par notre temps, entraînant certains désagréments.
> 
> Je tiens à ajouter, que les personnes qui voient le moindre ralentissement de Ceph pendant la reconstruction sont celles qui n’ont jamais reinstallé leur VM depuis Ganeti.

C’est vrai que cela fait un bon moment que l’on a pas du à souffrir d’un « reconstruction » comme cela avait pu être le cas par le passé.

> 
> Ces VMs;
> * ont leur rootfs sur les disques rotationnels
> * sont en mode ide (sans virtio-io)
> * n'ont aucune option libvirt pour améliorer les perfs
> * le partitionnement n’est pas aligné sur les blocks de Ceph (pour chaque IO de la VM, Ceph doit faire minimum deux IOs dans le meilleur des cas)

Comme l’a si justement souligné Obinou, tu fais comment pour le savoir ?

Te connaissant, tu es bien capable d’écrire quelques bonnes lignes de shell pour identifier ces VM :)

> 
> Cela divise les perfs par ~4-5 par rapport à une VM neuve sur disque rotationnel et je ne parle même pas de si le roofs est sur SSD.

Ca serait sympa que tu testes les perfs avec beaucoup de petits fichiers, car ma VM a été installée il y a 2 / 3 ans. Suis-je sur un disque rotationnel ?

> 
> Plus générallement, pour réduire l'impact de la reconstruction, je vois trois pistes:
> * aller changer les disques plus souvent 
> * rajouter des machines et des disques

Cela serait bien que notre trésorier nous fasse un petit point sur les finances de l’asso. Pour voir ce qui est faisable, le principe de l’asso étant de ne pas faire de bénéfices en les investissant dans l’évolution de l’infra-structure.

> * changer la configuration pour ralentir le recovery (c’est plus dure que ca n'en a l'air)
> 

OK te casse pas la tête ;)

> Personnelement, quand je vois le peu de temps passer par les bénévoles sur le cluster par rapport au service rendu, c'est assez exceptionnel. Malgré ça, cela reste un service associatif, rien de critique ou nécessitant des perfs ne devrait y être hébergé.

Merci encore Mehdi car globalement, ça juste marche.

Après, je fais parti de l’aventure de ce cluster, j’ai migré mon infra dessus il y a déjà plusieurs années, bien avant que l’on ne se pose ce genre de questions.

Là on va tenter l’aventure du DELL R720 !

> 
> Sinon, pour les perfs, y'a l'option hébergement dédié avec les NUCs à deux ports M.2 pour faire du raid avec deux SSDs.
> 
> A+

Tu as des marques à conseiller ?

Merci Mehdi pour ton implication dans tetaneutral.net

Bonne soirée,

Alex.

> 
> 
> _______________________________________________
> technique mailing list
> technique at lists.tetaneutral.net
> http://lists.tetaneutral.net/listinfo/technique