[technique] Test boitier Inter-Tech 3U-3416 + ASRockRack X470D4U + AMD Ryzen 9 3900X

[léo sartre]

Y'a pas à dire, le "Redmi Note 8T" fait de belles photos, c'est
dommage qu'il colle une incrustation tellement moche sur toutes les
photos qu'il prend!

Le mer. 23 déc. 2020 à 14:01, Laurent GUERBY via technique
<technique at lists.tetaneutral.net> a écrit :
>
> Bonjour,
>
> Le cluster libvirt + ceph actuel est composé de machines type PC tour
> avec quad core de génération Intel sandy bridge a haswell, gerable a
> distance en vPro, 13 machines au total, avec 32 GB RAM chacune et
> quelques unes a 64 GB.
>
> Au dela d'un materiel plus tout jeune un des defaut constaté est que
> les changements de disques necessitent l'arret et l'ouverture des
> machines ce qui n'est pas tres engageant pour les benevoles qui
> s'occupent du cluster.
>
> Nous avons donc cherché des pistes du coté hot swap, rackable ou pas.
> Une premiere machine a base de boitier silverstone grandia GD07 - 6
> emplacements host swap 3.5 pouces - a été montée mais le boitier est un
> peu juste en place au final (et en simple alimentation).
>
> Le deuxieme essai a été fait avec un boitier Inter-Tech 3U-3416 16
> baies disques (4 Cable SFF-8087 to 4x S-ATA) et une double alimentation
> hot swap. Le boitier est bien fait, juste trois vis un peu penibles
> d'acces a enlever pour changer la plaque permettant a la double alim de
> s'inserer. C'est spacieux, des trous sont prévus pour les cables, les 3
> ventilos 12cm hot swap font un bon courant d'air uniforme sur tout le
> boitier. Les tiroirs fournis ont la visserie pour les disques 3.5
> pouces mais aussi les 2.5 pouces.
>
> Photos :
>
> http://pano.tetaneutral.net/data/tls00/20201223-boitier-3u/
>
> Le ventirad du Ryzen 3900X etait trop haut car la limite est vers 12cm
> de haut pour un boitier 3U j'ai donc enlevé le ventilateur du ventirad
> et je l'ai mis un peu a coté pour refermer le boitier qui a donc 4
> ventilateurs 12cm, plus deux 6cm plus les deux 3cm des deux
> alimentations.
>
> Apres 1h30 de 24 commandes md5sum /dev/zero en parallele la temperature
> CPU est montée a 91 degré et la frequence a baissé de 4100 MHz a vers
> 3970 MHz, consommation 165 Watt (idle vers 45 Watt).
>
> La carte mere ASRockRack X470D4U a un IPMI HTML5 qui fonctionne avec
> firefox sans aucun soucis, sa documentation mentionne meme les
> commandes openssl pour generer des certificats https. Modulo changer le
> timing d'attente du BIOS y acceder via l'IPMI. La double alim a un
> connecteur qui se branche sur la carte mere et le BIOS la reconnait.
>
> Les deux cables SFF-8087 "mini SAS" vers 4 SATA permettent de connecter
> 8 des 16 emplacements sur les 8 SATA de la carte mere. On peut
> envisager une carte PCIe a deux emplacements mini SAS supplémentaire
> pour exploiter les 16 emplacements (de 50-200 EUR selon la carte). Il y
> a aussi deux M.2 NVME 4x sur la carte mere (mais pas hot swap ceux-la).
>
> Au niveau tarif cela fait en EUR TTC pour une configuration a 128G RAM
> (avec la version chipset plus recente de la carte mere) :
>
> 740  ; boitier 3U + rails + double alim + miniSAS-SATA
> 430  ; ASRock Rack X570D4U (+ 70 EUR pour -2L2T qui a 2x10G cuivre en plus)
> 480  ; Ryzen 3900X (ou 5xxx)
> 520  ; 4x32G RAM DDR4 (ECC a priori possible)
> 2170 ; total
>
> Avec 4 a 5 machines comme cela on renouvelle le cluster avec de
> nouvelles possibilités : plus d'emplacements disques donc
> RAID6/ZFS/montage direct VM en plus de ceph, cluster ceph NVME only
> haute performance, etc...
>
> L'alternative est de trouver des machines rackable en occasion type
> R630 ou pas trop vieux, si possible avec une carte JBOD (pas RAID only
> comme trop souvent).
>
> Asrock Rack a aussi un modele EPYC embedded qui permettrait de pousser
> en RAM au dela de 128G mais pas encore disponible donc prix inconnu :
>
> https://www.asrockrack.com/general/productdetail.asp?Model=EPYC3451D4U-2L2T2O8R#Specifications
>
> On peut aussi proposer de vendre les machines actuelles du cluster aux
> adherents ou personnes interesses, elles idle vers 30-40 Watt donc
> peuvent encore avoir une longue vie utile en serveur ou desktop :).
>
> Merci a François pour les commandes et aux bénévoles qui ont participé,
>
> Sincèrement,
>
> Laurent
>
> _______________________________________________
> technique mailing list
> technique at lists.tetaneutral.net
> http://lists.tetaneutral.net/listinfo/technique



-- 
Léo