[technique] DELL R720

[Fabien ADAM]

Bonjour à tous,

Le 22/09/2020 à 10:45, obconseil via technique a écrit :
> Bonjour,
>
> C'est vrai que je pense moi aussi que ceph est délicat à gérer.
>
> Je sais qu'ils l'utilisent au CERN par exemple sur de très très gros 
> volumes, est-ce qu'ils ont un retour d'expérience sur la config...?

J'en profite pour rebondir là dessus : l'exemple du CERN est la preuve 
que Ceph peut parfaitement fonctionner en prod, avec de très gros volume.

Je précise donc certaines choses :
1/ Ceph n'est *pas* un SPOF dans notre asso : la redondance est de 3x, 
et le mode cluster sur plusieurs machines rend le truc vraiment 
résilient (bien plus que toutes les sortes de RAID)
Illustration : on a changé pas moins de 6 disques sur 57 la semaine 
dernière, sans aucune perte de données.
2/ Les perturbations observées ce WE sont du au processus de réparation 
de Ceph, qui dégrade les performances d'utilisation. J'en la même cause, 
puisque j'ai fait les opérations.
Sur ce sujet là précis, notre expérience dans l'asso est limité, et il y 
a sûrement des choses à faire mieux pour réduire cet impact.
3/ En conclusion, Ceph n'est pas une solution qui marche toute seule.
Ceph peut donner d'excellente performance, avoir peu d'impact lors des 
réparations, etc. Mais notre capacité à expérimenter et améliorer est 
limitée par notre temps, entraînant certains désagréments.

Ceci étant dit, l'essence même de l'asso c'est d'expérimenter : je crois 
qu'on a tout à gagner à ce que d'autres personnes motivées mettent en 
place d'autres solutions en parallèle, et qu'on apprenne ainsi tous de 
ces différentes expériences.

>
> Perso j'ai une petite VM sur cette infrastructure, peu utilisée sauf 
> ponctuellement et pour une assos de terreux dans mon coin, mais c'est 
> clair que dans la situation actuelle j'y placerais pas mes mails.
>
> Je suis donc assez favorable à la solution du R720 pour y placer des 
> VM un peu plus critiques sans pour autant sous-estimer le fait que oui,
> une seule machine c'est un SPOF non négligeable.

J'apprécie toutes les idées vues, permettant à plus de monde 
d'expérimenter :
- monter un serveur/cluster avec du libvirt + raid (6 donc) logiciel ou 
matériel (je déconseille le raid matériel des vieux DELL, souvent assez 
pourri car prévu pour disque mécanique)
- monter un serveur proxmox, avec du stockage en ZFS ou autre
- louer une baie à FullSave
- etc

Suite à ce que disait Nicolas, il me semble que c'est au CA de TTN de 
rediscuter du sujet pour consolider toutes ces idées, et essayer de voir 
lesquelles sont faisables/réalistes au sein de l'asso.

>
> Après faudra investir en disques ou SSD en 2.5' .
>
> Pour finir, perso j'aime bien ZFS que j'utilise avec succès sous Debian
> en mode RaidZ depuis quelques année, après j'ai pas de recul sur de la 
> casse en série de disques.
>
> Obinou
>
>
>
>
> Le 22/09/2020 à 08:50, Alexandre GUY via technique a écrit :
>>
>>> Le 22 sept. 2020 à 07:38, Sébastien Dinot via technique 
>>> <technique at lists.tetaneutral.net> a écrit :
>>>
>>> Bonjour à tous,
>>
>> Salut Sébastien,
>>
>>>
>>> Alexandre GUY via technique a écrit :
>>>> on installe dessus un système Linux avec des disques en RAID1 logiciel
>>>> + des spares
>>>
>>> En marge de cette discussion, je me permets de signaler que je 
>>> trouve le
>>> RAID1 un peu luxueux sur un tel serveur. En ce qui me concerne, je
>>> réserve le RAID1 aux serveurs qui ne peuvent accueillir que deux
>>> disques. Sur un serveur pouvant en accueillir seize, j'opterais plutôt
>>> pour du RAID6. Le RAID6 est par conception plus fiable que le RAID5,
>>> puisqu'il supporte la perte d'un second disque, mauvaise expérience que
>>> j'ai déjà vécue deux fois au cours de ma carrière, à chaque fois 
>>> lors de
>>> la reconstruction du volume RAID suite à la perte d'un premier disque.
>>> Le RAID6 a la réputation d'être plus gourmand en ressources CPU et plus
>>> lent que le RAID5, mais il faut relativiser le problème, car avec un 
>>> tel
>>> nombre de disques, on obtient de très jolis scores sur les I/O.
>>
>> C’est surtout cela qui m’importe :)
>>
>> Je n’ai pas d’expérience en production sur du RAID6, mais si tu me 
>> confirmes que cela juste marche et que ce n’est pas la misère quand 
>> un disque grille, ça me va.
>>
>> Je suis assez partant pour tester ZFS avec du RAIDZ.
>>
>>> En
>>> outre, si les performances en écriture deviennent vraiment critiques ou
>>> si l'écriture occupe trop les processeurs, il doit être possible
>>> d'acquérir un contrôleur RAID matériel (là, je m'avance peut-être, car
>>> je ne connais pas l'évolutivité des DELL R720). Je ne sais pas quelle
>>> est la configuration exacte de ce serveur DELL R720 ; d'après la fiche
>>> technique du constructeur, il peut être livré avec ou sans contrôleur
>>> RAID matériel intégré :
>>>
>>> https://i.dell.com/sites/csdocuments/Shared-Content_data-Sheets_Documents/fr/fr/Dell-PowerEdge-R720-Spec-Sheet_FR.pdf 
>>>
>>>
>>> Si tu évoques le RAID logiciel, je devine que c'est parce que celui que
>>> tu as donné à TTN ne dispose d’aucun contrôleur RAID matériel.
>>
>> Honnêtement, je n’en sais rien, j’ai juste récupéré le serveur, 
>> stocké chez moi quelques temps sans le brancher, et désormais il est 
>> stocké quelque part dans une pièce de TTNN.
>>
>> Autant il est équipé d’un contrôleur RAID matériel. La seule chose 
>> que je peux te confirmer, c’est que l’on me l’a donné sans disque 
>> dur, il faudra donc prévoir l’achat des disques.
>>
>> Excellente journée à tous,
>>
>> Alex.