[technique] Incident : perturbations sur le reseau 3h30-10h mercredi 20131120

[Laurent GUERBY]

Bonsoir,

A partir de 3h30 du matin cette nuit le traffic a été tres perturbé sur
le reseau tetaneutral.net, cf le graphe smokeping ci-apres.

A 8h22 j'ai reçu une alerte SMS de Mehdi et le routeur h3 a Myrys
n'etait plus accessible depuis le LAN mais le reste des machines etait
Myrys ok. Je suis allé a Myrys et j'ai rebooté electriquement h3.
Malgré le reboot le reseau est resté perturbé. 

J'ai d'abord debranché l'ethernet d'une machine a Myrys qui avait un
traffic inhabituel, mais cela n'a pas suffit. 

J'ai ensuite observé des routes qui disparaissaient et reapparaissaient
sur le routeur a Paris et Mehdi a fini par reperer un deuxieme process
bird IPv4 en concurrence avec le premier qui explique ce phenomene. Une
fois ce process supprimé tout est revenu a la normale et j'ai pu enlever
la solution temporaire d'une route par defaut vers un de nos
transitaires et config BGP simplifiées.

En effet bird a un gros defaut d'ergonomie en ligne de commande : la
commande de controle est "birdc" et "bird" sans argument lance un demon
en background avec les parametres par defaut, il y a donc juste une
lettre d'ecart entre les deux. Lors de la migration a une nouvelle
version de debian + bird on rajoutera un patch pour que "bird" sans
argument explicite sur un fichier de configuration retourne une erreur
plutot que de se lancer silencieusement en tache de fond.

Sincèrement,

Laurent

http://smokeping.tetaneutral.net/pong.cgi?displaymode=n;start=2013-11-20%2000:00;end=2013-11-20%2011:00;target=France.Misc.Google