[technique] Incident sur le cluster de machines virtuelles ce mercredi 10 novembre

[Aymeric]

Salut,

On est en train de migrer (lentement) le cluster vers des nouveaux 
boitier double alim.

Et lles boitiers qui sont branchés sur un onduleur et en direct n’ont 
pas été coupé :)

A savoir que notre salle à TLS00 est alimenté par la voie A ou B de 
TLS00 (bascule automatique) mais on a qu’une seule voie a un instant T 
(et l’arrivé est non ondulé donc micro coupure lors d’une bascule).

Aymeric

On 11/11/2021 11:38, Ludovic Pouzenc via technique wrote:
>
> Sans être sur que c'était la panacée, dans mon précédent boulot 
> j'avais une salle avec des équipements qui n'avaient pas tous 2 alim.
> (typiquement des routeurs fournis par des tiers + un serveur ou deux 
> arrivé là en mono-alim pour des raisons diverses et avariées).
>
> J'avais :
>
> 1 circuit elec 240V --> 1 onduleur -> entrée A -\
>                                                   inverter -> serveurs mono alim
> 1 circuit elec 240V --> 1 onduleur -> entrée B -/
>
> (et des serveurs double alim directement branchés sur les 2 onduleurs)
>
> Je ne suis pas sûr que ça vous aidera beaucoup car ça fait toujours un 
> SPOF. Il censé être moins compliqué que la régul d'un onduleur mais 
> SPOF qd même. Ça apporte le fait de pouvoir remplacer un onduleur sans 
> éteindre les serveurs mono-alim.
>
> Les 2 sources ne sont pas forcément en phase, au moment où l'inverter 
> bascule ça fait un peu du random. Quand les charges sont uniquement 
> des alim à découpage, ça a le bon goût de fonctionner (ne surtout pas 
> brancher de moteurs/clims etc). Il me semble que le cas où l'inverter 
> passe automatiquement de la source A à B n'est pas pire en terme de 
> déphasage / spikes / bruit / blablabla que le cas où un onduleur 
> ("merdique" de quelques kVA) passe de "passthrough" à "j'ondule depuis 
> les batteries". Si il y a des alims fatiguées prêtes à mourir, elles 
> vont mourir en même temps quoi.
>
> Je n'ai pas trop de retour dans le temps sur ce montage là car je ne 
> l'ai vu fonctionner que 2 ans avant de partir (sans grands événements 
> à part des cas où les 2 circuits elec sont coupés simultanément genre 
> grève ErDF ou maintenance annuelle locale). Laurent G. a probablement 
> plus de recul là dessus :)
>
> Ludo
>
> Le 11/11/2021 à 08:52, Alexandre GUY via technique a écrit :
>> Bonjour,
>>
>> Avant toute chose, merci infiniment à Matthieu et Aymeric pour leurs interventions.
>>
>>> Le 10 nov. 2021 à 18:50, Matthieu Herrb via technique<technique at lists.tetaneutral.net>  a écrit :
>>>
>>> Bonjour,
>>>
>>> Ce matin tôt, un onduleur qui protège plusieurs machines du cluster de
>>> machines virtuelles de l'association à lâché, entrainant avec lui
>>> plusieurs 6 machines hôtes et les machine virtuelles associées, ainsi
>>> que tout le stockage associé.
>> L’onduleur est sensé nous protéger des coupures électriques, et s’avère au final un SPOF électrique lorsqu’il grille.
>>
>> Plutôt que de brancher 6 machines sur le même onduleur, pourrait-on envisager d’acheter 4 autres onduleurs pour ne brancher que 2 machines dessus ?
>>
>> A défaut d’avoir des machines avec deux alimentations électriques, existe-t-il des alim avec 2 entrées électriques et à prix raisonnable ? Si oui cela serait cool de brancher la même alim sur deux onduleurs différents.
>>
>> Merci encore pour l’intervention et belle journée à tous,
>>
>> Alex.
>>
>>> Cela a eu pour effet de bloquer les accès à l'ensemble des VMs des
>>> adhérent·es à Tetaneutral.net ainsi qu'une bonne partie de
>>> l'infrasutructure (serveur de listes de mail, sites web et wikis,
>>> matrix, mastodon,...)
>>>
>>> Après une intervension cette après-midi vers 17h30, le courant est
>>> revenu, l'alimentation d'un des hôtes a du être remplacée, mais le
>>> cluster revient progressivement à la normale.
>>>
>>> Si d'ici demain matin l'un de vous services n'était pas de retour en
>>> marche, contactez-nous via equipage-hosting at lists point
>>> tetaneutral.net, sur matrix #question:tetaneutral.net ou sur IRC
>>> #tetaneutral.net sur libera.chat.
>>>
>>> Merci pour votre compréhention.
>>> -- 
>>> Matthieu Herrb
>>> _______________________________________________
>>> technique mailing list
>>> technique at lists.tetaneutral.net
>>> http://lists.tetaneutral.net/listinfo/technique
>> _______________________________________________
>> technique mailing list
>> technique at lists.tetaneutral.net
>> http://lists.tetaneutral.net/listinfo/technique
> -- 
> Ludovic Pouzenc
> www.pouzenc.fr
>
> _______________________________________________
> technique mailing list
> technique at lists.tetaneutral.net
> http://lists.tetaneutral.net/listinfo/technique

-- 
Aymeric

-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.tetaneutral.net/pipermail/technique/attachments/20211113/b2c9fa8c/attachment.htm>