[technique] Bilan 1 semaine / Transit fullsave et peering TouIX-FranceIX

Laurent GUERBY laurent at guerby.net
Sam 8 Aou 11:16:03 CEST 2015


Bonjour,

Suite au vote sur le pad le changement de politique BGP a été mis en
place dans la nuit de vendredi a samedi 1er aout.

Apres une petite semaine, un petit bilan :

1/ Le changement d'annonce a mis en evidence un probleme
avec la configuration BGP de gitoyen lié a la propagation
non voulue aux upstream BGP de gitoyen du /24 PA gitoyen assigné a
tetaneutral.net, le patch de correction commité par Sebastien hiers :

https://code.ffdn.org/gitoyen/bird-config/commit/b73c2789926b290b4c21982882a23a3bd8180b8e

2/ Les adhérents qui font tourner des smokeping ont
l'air de voir une stabilisation. Par contre a l'interieur
d'Orange (3215) les rtt ne sont pas optimaux sans
doute a cause de chemins de fibres redondés mais un peu longs. Tout le
traffic ADSL/VDSL et fibre particulier (incluant de Toulouse) passe par
Poitiers puis Bordeaux. Meme si on perd un peu par rapport au theorique
en ping on devrait y gagner en evitant la saturation Cogent<=>Orange,
a verifier.

3/ Un exemple de traffic moyen 5 minutes plutot en pointe hiers soir
20150807 a 23h47-23h52 :

Port          RX/TX vu du routeur en Mbit/s

eth3.3166: 498.7/509.8 marylou nos-oignons.net
eth0.2417:   7.7/89.1  CELAN Saint-Gaudens
autre:     122.6/128.6 Toulouse acces, hosting, VM et tunnels

eth4:      345.7/305.7 Cogent
eth0.2301: 148.2/91.4  Fullsave
eth0.4032: 233.6/230.9 FranceIX
eth3.4031:   0.1/ 1.0  TouIX
Total:     727.5/629.0 Total Transit+Peering

Donc un bon tiers de peering. 

En moyenne mensuelle en aout ce pourcentage de peering devrait etre plus
elevé que lors de cette pointe, sur une semaine on est au 95eme 5mn a
128/116 fullsave, 268/240 cogent et 193/191 FranceIX donc 39% peering.

4/ Pour reference pour le mois de juillet en moyenne 5mn, donc avant le
changement BGP, les statistiques de traffic en Mbit/s :

* FranceIX
RX avg 146.59 median 149.49 90eme 203.08 95eme 217.33 max 919.75
TX avg 117.40 median 117.90 90eme 156.60 95eme 169.56 max 345.00

* Cogent
RX avg 271.05 median 270.31 90eme 346.76 95eme 373.48 max 6744.43
TX avg 248.20 median 251.51 90eme 318.35 95eme 335.16 max 558.67

Je n'ai pas vérifié le 6.7 Gbit/s en max RX Cogent.

5/ La gestion des routes venant du TouIX/Fullsave-Lyonix vs
TouIX-FranceIX n'est pas simple a faire, il faudra peut-etre faire un
outil pour reperer les prefixes vraiment a Lyon et ceux qui seraient
mieux via FranceIX Paris.

6/ Dans le sens grenode=>tetaneutral.net si on passe par le
lien fullsave (transit de notre coté, peering Lyonix coté Grenode)
on a un probleme de performance iperf/wget avec une limite
vers 30 Mbit/s, on cherche d'ou peut venir ce soucis. Dans
l'autre sens on est au gigabit.

7/ En faisant des tests depuis une fibre orange particulier
avec un iperf TCP -P 8 on arrive bien a 250 Mbit/s d'upload
vers tetaneutral.net (avec un seul thread on ne sature pas).
La livebox orange a l'air de limiter par contre a 44 Mbit/s
le flux total montant UDP quelque soit le nombre de correction.

8/ En jouant avec les prepend et annonces sur la PA /24
gitoyen on peut arriver a faire passer le traffic Nerim
vers tetaneutral.net soit par Telia=>Cogent soit par
Telia=>Level3=>Fullsave. Nerim est présent a FranceIX
mais a une politique de peering "selective", pas testé
(si Nerim s'installe a Toulouse tetaneutral.net est potentiellement
client transit, ils nous avaient demandé).

N'hesitez pas a passer sur IRC irc.freenode.net #tetaneutral.net
si vous avez des questions ou informations a remonter :

https://kiwiirc.com/client/irc.freenode.net?chan=#tetaneutral.net

Sincèrement,

Laurent

On Tue, 2015-07-28 at 19:48 +0200, Laurent GUERBY wrote:
> Bonsoir,
> 
> Deux points sur peering et transit, et l'impact financier des choix
> faits pour le routage de tetaneutral.net :
> 
> 1/ Depuis le 19 mai 2015 le lien L2 entre TouIX et FranceIX a Paris est
> fourni par fullsave avec un ping de 10-11ms vs 18-19ms avant via Zayo,
> le routage tetaneutral.net a donc été changé le 19 mai pour favoriser
> plutot que limiter (a cause du ping moins bon que Cogent) le FranceIX.
> 
> Le traffic mensuel tetaneutral.net au 95eme centile 5 minute sur le
> TouIX-FranceIX est d'un peu plus de 200 Mbit/s, le tarif TouIX
> est de 100 euros/mois de commit 50 Mbit/s, puis 2.5 EUR TTC/mois/Mbit/s
> au dela de 50 Mbit/s, ce qui va nous faire une facture de 475 EUR
> TTC/mois au lieu de 100 EUR/mois avant.
> 
> 2/ Depuis le 22 juillet 2015 fullsave a du transit "AS3215" c'est
> a dire en direct avec le reseau Orange (FTTH,ADSL,VDSL,hosting,...)
> via une connection a Bordeaux. Apres des tests passer par
> ce nouveau transit nous fait gagner quelques millisecondes
> (par exemple 6ms pour une FTTH Orange a Toulouse), SFR, Free et Bouygues
> choissisent de passer par la et a priori il y a peu de chance pour que
> ce transit sature meme aux heures de pointes (vs Cogent).
> 
> Fullsave nous fait un tres bon tarif : si on equilibre le routage
> en profitant de cette offre cela fera une depense supplementaire
> d'environ 450 EUR TTC/mois en transit fullsave d'apres les tests
> de quelques minutes fait en cooperation avec l'equipe reseau de
> fullsave. Je propose d'activer ce transit le samedi 1er aout.
> 
> La somme des deux evolutions va donc entrainer une depense
> d'environ 1000 euros TTC/mois et amener le "fixe" mensuel de
> l'association de 3600 a 4600/mois, avec un cout au Mbit/s
> moyen entre 2 et 3 EUR TTC/mois pour 600 Mbit/s.
> 
> Pour donner votre avis sur ces changements :
> 
> http://pad.tetaneutral.net/p/TouSIX
> 
> Sincèrement,
> 
> Laurent
> 





Plus d'informations sur la liste de diffusion technique