[technique] Instabilité sur France-IX / fix arp_announce

[Laurent GUERBY]

Bonjour,

Il y a eu un incident sur France-IX ce qui a causé des problemes d'acces
a divers services dont google (et 8.8.8.8 en DNS), apres quelques
minutes nous avons coupé les ports France-IX :

# sur h3
ip link set eth0.4032 down
# sur gw
ip link set eth0.126 down

Puis remonté les ports apres la resolution du probleme
par France-IX, cf message d'explication du NOC France-IX ci-apres.

Au passage sur #frnog une personne (nick remil) nous a signalé
un arp avec une ip source tetaneutral.net suspecte sur
le LAN France-IX:

"arp who-has 37.49.236.77 tell 91.224.149.254"

Apres investigation des documentations ARP du noyau Linux la cause du
probleme est le parametre arp-announce qui a une valeur par
defaut avec un comportement non deterministe :

# https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
<<
arp_announce - INTEGER
	Define different restriction levels for announcing the local
	source IP address from IP packets in ARP requests sent on
	interface:
	0 - (default) Use any local address, configured on any interface (...) 
        2 - Always use the best local address for this target.
(...)
>>

Le choix par defaut (0) doit etre en pratique proche du 2 car
jusqu'ici je n'avais jamais observé de choix non naturel
sur les seances d'observation au tcpdump.

Solution sur h3 et gw :

for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i;done

Merci a Jérôme et Mehdi pour leur vigilance.

Sincèrement,

Laurent

<<
Dear Members,

The connectivity flaps you have undergone were due to an external loop
from two members connected into France-IX directly (Paris Courbevoie)
and France-IX through SFINX. These ports have been isolated and the
network is now stable.

We will come back to you with additional information when these members
are back online and detailed information is available.

Please accept our apologies for the inconvenience caused.

Best regards,
FranceIX NOC.
>>