[technique] Etat des miroirs chez tetaneutral.net
Baptiste Jonglez
baptiste at bitsofnetworks.org
Lun 30 Oct 11:21:29 CET 2023
Bonjour,
Voilà un nouveau point sur les miroirs hébergés par tetaneutral, déjà
2 ans et 9 mois après le dernier point. Pour rappel, les points
précédents sont là :
https://lists.tetaneutral.net/pipermail/technique/2017-August/002853.html
https://lists.tetaneutral.net/pipermail/technique/2017-October/002888.html
https://lists.tetaneutral.net/pipermail/technique/2018-June/003233.html
https://lists.tetaneutral.net/pipermail/technique/2018-July/003246.html
https://lists.tetaneutral.net/pipermail/technique/2019-October/003691.html
https://lists.tetaneutral.net/pipermail/technique/2021-January/004169.html
# Matériel
Tout d'abord, l'association a acheté un nouveau serveur physique le 5 juin
2021 : Intel NUC NUC10i3FNH2, 32 Go RAM, Samsung SSD 970 EVO Plus M.2 PCIe
NVMe 2 To, Samsung SSD 870 EVO 4 To, pour un coût de 1485 € chez LDLC.
Ce nouveau serveur, utilisé en complément du premier, a permis d'augmenter
l'espace de stockage disponible en répartissant les différents miroirs.
Concrètement, la répartition est la suivante :
- mirror-01 (NUC acheté mi-2018) : Tails, CPAN, CTAN, Debian, F-Droid
- mirror-02 (NUC acheté mi-2021) : LineageOS, OpenWrt
Quelques mois plus tard, en décembre 2021, la machine mirror-01 est tombée
en panne. Matthieu a prêté une petite machine équivalente pour pouvoir
rapidement relancer le service en mettant simplement les SSD de mirror-01
dans cette machine de prêt. Cette solution, à la base temporaire, est
encore en place aujourd'hui.
# Utilisation disque
Voilà l'espace utilisé par chaque projet, toujours en prenant le maximum
sur le dernier mois pour "lisser" les variations naturelles :
| Projet | Espace occupé | Espace occupé | Evolution | Evolution |
| | octobre 2023 | janvier 2021 | absolue | annuelle % |
|-----------+---------------+---------------+-----------+------------|
| Debian | 1400 GiB | 1159 GiB | +241 GiB | +7% |
| OpenWrt | 2160 GiB | 935 GiB | +1225 GiB | +37% |
| LineageOS | 810 GiB | 412 GiB | +398 GiB | +29% |
| F-Droid | 1865 GiB | 484 GiB | +1381 GiB | +66% |
| CTAN | 53 GiB | 43 GiB | +10 GiB | +8% |
| CPAN | 33 GiB | 30 GiB | +3 GiB | +4% |
| Tails | 30 GiB | 29 GiB | +1 GiB | +1% |
|-----------+---------------+---------------+-----------+------------|
| Total | 6351 GiB | 3092 GiB | +3259 GB | +31% |
On constate une grosse augmentation du volume de données stockées :
globalement, le volume a plus que doublé en 2 ans et 8 mois, soit +31 %
par an. Cette augmentation est en majorité dûe à F-Droid, qui a explosé
avec +66 % par an en moyenne, mais OpenWrt et LineageOS ne sont pas en
reste avec +37 % par an et +29 % par an respectivement.
En l'état actuel, il n'est clairement plus possible de stocker tous ces
miroirs sur une seule machine. Sur l'ensemble des deux machines, il reste
environ 400 Go d'espace à allouer, ce qui ne permettra pas de tenir très
longtemps si cette augmentation se poursuit. Plusieurs solutions sont
envisageables, par exemple :
- racheter des disques de taille supérieure
- rajouter une machine
- réduire la quantité de données que l'on mirrore (on a déjà réduit par le
passé, en arrêtant de mirrorer les très vieilles versions d'OpenWrt)
- déplacer certaines données plus anciennes et moins demandées vers un
autre espace de stockage
# Trafic réseau
Sur mirror-01, nous ne disposons malheureusement que de données partielles
sur le trafic réseau, avec des données seulement entre juin 2023 et
octobre 2023. Sur cette période, nous étions à 130 Mbit/s de trafic
sortant en moyenne et 4 Mbit/s de trafic entrant en moyenne. Rapporté à
l'année, cela représenterait environ 486 TiB envoyés et 15 TiB reçus.
Sur mirror-02, on est à 48 Mbit/s de trafic sortant en moyenne sur la
dernière année, ce qui représente environ 181 TiB envoyés par an. Mesuré
au 95ème percentile, ça représente environ 100 Mbit/s. Concernant le
trafic entrant (pour synchroniser les miroirs), on est à 12 Mbit/s en
moyenne, soit 45 TiB reçus par an. Le trafic sortant est majoritairement
dû à LineageOS (environ 85%) ; le trafic du miroir OpenWrt représente les
15% restants, principalement à cause du trafic rsync, le trafic HTTP étant
très faible en comparaison.
Au total, on peut donc estimer que tetaneutral.net envoie actuellement
entre 650 et 700 TiB de données par an sur l'ensemble des miroirs.
# Trafic HTTP
Pour connaître le détail par projet, je me base sur une analyse des logs
HTTP (avec goaccess) moyennée sur les deux dernières semaines :
| Trafic HTTP | Données servies | Données servies | Evolution | Note |
| par projet | Octobre 2023 | Janvier 2021 | annuelle % | |
|-------------+-----------------+-----------------+------------+------------------|
| Fdroid | 1338 GiB/jour | 720 GiB/jour | +26 % | |
| LineageOS | 432 GiB/jour | 365 GiB/jour | +6.5 % | |
| Tails | 123 GiB/jour | 160 GiB/jour | -10 % | |
| CTAN | 88.5 GiB/jour | 81 GiB/jour | +3.4 % | |
| Debian | 3.4 GiB/jour | 0.2 GiB/jour | +189 % | 50% à 70% robots |
| OpenWrt | 2.8 GiB/jour | 0.8 GiB/jour | +60 % | 55% à 75% robots |
| CPAN | 0.5 GiB/jour | 0.5 GiB/jour | N/A | 70% à 95% robots |
|-------------+-----------------+-----------------+------------+------------------|
| Total | 1988 GiB/jour | 1327 GiB/jour | +16 % | |
Ces chiffres ne comptent que le trafic applicatif HTTP(S), et non les
accès via rsync (voir ci-dessous).
F-Droid est toujours le miroir qui génère le plus de trafic : il
représente 25,000 requêtes par heure en moyenne et on a largement dépassé
le To envoyé par jour. Les applications qui ont été le plus téléchargées
en volume ces deux dernières semaine sont : OSMAnd avec 190 GiB / jour
(14% du total), puis l'application F-Droid elle-même avec 130 GiB / jour
(10% du total), puis Firefox avec 70 GiB / jour (5% du total).
LineageOS, Tails et CTAN sont relativement stables. Sur CTAN, il y a
toujours un gros biais : MacTeX représente 45% du volume total. C'est
visiblement une distribution LaTeX assez populaire, et elle pèse par
ailleurs assez lourd.
Debian, OpenWrt et CPAN ne font toujours pas partie d'un système de
répartition de charge, il faut que l'utilisateur décide explicitement
d'utiliser notre miroir. On reste donc sur des volumes assez bas, mais
qui augmentent néanmoins.
# Trafic rsync
Tous les miroirs sont également accessibles via rsync sans
authentification, ce qui permet à d'autres entités de synchroniser leurs
propres miroirs à partir des miroirs hébergés par tetaneutral.net.
Sur l'année 2023, le trafic sortant total dû à rsync représente en moyenne
118 GiB par jour, c'est à dire environ 17 fois moins que le trafic HTTP.
C'est donc relativement peu, mais ça reste conséquent.
Ci-dessous un total par an et par projet, calculé à partir des logs de rsyncd :
| Trafic rsync | 2019 | 2020 | 2021 | 2022 | 2023 (10 mois) |
|--------------+----------+----------+-----------+-----------+----------------|
| OpenWrt | 9366 GiB | 8487 GiB | 13705 GiB | 19929 GiB | 32088 GiB |
| CTAN | 80 GiB | 91 GiB | 106 GiB | 113 GiB | 23 GiB |
| LineageOS | 1.7 GiB | 2.8 GiB | 2.8 GiB | 5.4 GiB | 158 GiB |
| CPAN | 1.4 GiB | 5.5 GiB | 9.3 GiB | 25 GiB | 178 GiB |
| Debian | | | 0.2 GiB | 213 GiB | 2971 GiB |
F-Droid n'apparaît pas parce qu'il n'était pas exposé en rsync jusqu'ici
(c'est un oubli). Tails n'est pas représenté parce que le volume de
données envoyées par rsync est proche de zéro.
On voit que OpenWrt représente la très grosse majorité du trafic rsync, en
forte augmentation de 50% à 60% par an. Il s'agit probablement en
majorité de miroirs OpenWrt tiers qui se synchronisent chez nous, avec
peut-être quelques autres usages comme de l'intégration continue. En
regardant les IP sources, les plus gros consommateurs viennent des pays
suivants : Kazakhstan, USA, Suisse, France (OVH), Cuba, Singapore (CDN77),
Thaïlande.
Debian est en grosse augmentation sur le trafic rsync en 2023. Cette
augmentation est très majoritairement dûe à deux IP, l'une en Pologne
(Microchip) et l'autre en France (Université d'Evry-Val-d'Essonne). Ces
deux entités ont visiblement décidé de synchroniser leur miroir Debian à
partir de chez nous.
-------------- section suivante --------------
Une pièce jointe autre que texte a été nettoyée...
Nom: signature.asc
Type: application/pgp-signature
Taille: 833 octets
Desc: non disponible
URL: <http://lists.tetaneutral.net/pipermail/technique/attachments/20231030/e8d9183f/attachment.sig>
Plus d'informations sur la liste de diffusion technique