[technique] Test boitier Inter-Tech 3U-3416 + ASRockRack X470D4U + AMD Ryzen 9 3900X

[Laurent GUERBY]

Bonjour,

Le cluster libvirt + ceph actuel est composé de machines type PC tour
avec quad core de génération Intel sandy bridge a haswell, gerable a
distance en vPro, 13 machines au total, avec 32 GB RAM chacune et
quelques unes a 64 GB.

Au dela d'un materiel plus tout jeune un des defaut constaté est que
les changements de disques necessitent l'arret et l'ouverture des
machines ce qui n'est pas tres engageant pour les benevoles qui
s'occupent du cluster.

Nous avons donc cherché des pistes du coté hot swap, rackable ou pas.
Une premiere machine a base de boitier silverstone grandia GD07 - 6
emplacements host swap 3.5 pouces - a été montée mais le boitier est un
peu juste en place au final (et en simple alimentation). 

Le deuxieme essai a été fait avec un boitier Inter-Tech 3U-3416 16
baies disques (4 Cable SFF-8087 to 4x S-ATA) et une double alimentation
hot swap. Le boitier est bien fait, juste trois vis un peu penibles
d'acces a enlever pour changer la plaque permettant a la double alim de
s'inserer. C'est spacieux, des trous sont prévus pour les cables, les 3
ventilos 12cm hot swap font un bon courant d'air uniforme sur tout le
boitier. Les tiroirs fournis ont la visserie pour les disques 3.5
pouces mais aussi les 2.5 pouces.

Photos :

http://pano.tetaneutral.net/data/tls00/20201223-boitier-3u/

Le ventirad du Ryzen 3900X etait trop haut car la limite est vers 12cm
de haut pour un boitier 3U j'ai donc enlevé le ventilateur du ventirad
et je l'ai mis un peu a coté pour refermer le boitier qui a donc 4
ventilateurs 12cm, plus deux 6cm plus les deux 3cm des deux
alimentations.

Apres 1h30 de 24 commandes md5sum /dev/zero en parallele la temperature
CPU est montée a 91 degré et la frequence a baissé de 4100 MHz a vers
3970 MHz, consommation 165 Watt (idle vers 45 Watt).

La carte mere ASRockRack X470D4U a un IPMI HTML5 qui fonctionne avec
firefox sans aucun soucis, sa documentation mentionne meme les
commandes openssl pour generer des certificats https. Modulo changer le
timing d'attente du BIOS y acceder via l'IPMI. La double alim a un
connecteur qui se branche sur la carte mere et le BIOS la reconnait.

Les deux cables SFF-8087 "mini SAS" vers 4 SATA permettent de connecter
8 des 16 emplacements sur les 8 SATA de la carte mere. On peut
envisager une carte PCIe a deux emplacements mini SAS supplémentaire
pour exploiter les 16 emplacements (de 50-200 EUR selon la carte). Il y
a aussi deux M.2 NVME 4x sur la carte mere (mais pas hot swap ceux-la).

Au niveau tarif cela fait en EUR TTC pour une configuration a 128G RAM
(avec la version chipset plus recente de la carte mere) :

740  ; boitier 3U + rails + double alim + miniSAS-SATA
430  ; ASRock Rack X570D4U (+ 70 EUR pour -2L2T qui a 2x10G cuivre en plus)
480  ; Ryzen 3900X (ou 5xxx)
520  ; 4x32G RAM DDR4 (ECC a priori possible)
2170 ; total

Avec 4 a 5 machines comme cela on renouvelle le cluster avec de
nouvelles possibilités : plus d'emplacements disques donc
RAID6/ZFS/montage direct VM en plus de ceph, cluster ceph NVME only
haute performance, etc...

L'alternative est de trouver des machines rackable en occasion type
R630 ou pas trop vieux, si possible avec une carte JBOD (pas RAID only
comme trop souvent).

Asrock Rack a aussi un modele EPYC embedded qui permettrait de pousser
en RAM au dela de 128G mais pas encore disponible donc prix inconnu :

https://www.asrockrack.com/general/productdetail.asp?Model=EPYC3451D4U-2L2T2O8R#Specifications

On peut aussi proposer de vendre les machines actuelles du cluster aux
adherents ou personnes interesses, elles idle vers 30-40 Watt donc
peuvent encore avoir une longue vie utile en serveur ou desktop :).

Merci a François pour les commandes et aux bénévoles qui ont participé,

Sincèrement,

Laurent