[technique] Retour sur switch fs.com S3900-48T6S-R en successeur des ubiquiti ES48-Lite

[Laurent GUERBY]

Bonjour,

Pour continuer a renforcer le reseau d'hebergement de tetaneutral.net
nous avons du trouver un modele de switch 1G+10G car les ubiquiti ES48-
Lite que nous achetions jusque la ne sont plus disponibles :

https://store.ui.com/collections/operator-edgemax-switches/products/edgeswitch-48-lite

Apres quelques recherches nous avons choisi le S3900-48T6S-R de fs.com:

https://www.fs.com/fr/products/134657.html
550.80 EUR TTC

Commande de deux switch livrés en 2 jours, merci a geek31 pour la
logistique. 

C'est un switch 48 ports 1G cuivre, 6 ports 10G SFP+, un port console
serie, deux alimentations (intégrées, non hot swap), stackable
logiciellement (plusieurs switch apparaissent comme un seul), et avec
une CLI classique CISCO-like (interface web aussi).

https://img-en.fs.com/file/user_manual/s3900-r-series-switches-cli-reference-guide.pdf

https://resource.fs.com/mall/doc/20221221175343z1qbak.pdf

Par rapport au ES48-Lite il a donc en plus la double alim et 4 ports
10G SFP+ de plus (le ES48-Lite a 2x10G SFP+ et 2x1G SFP).

Ls ventilateurs ne sont pas tres bruyants (vs un nexus 3064) mais
souflent quand meme, donc eviter d'en mettre un dans un bureau. 

La consommation a vide du switch est autour de 20 Watt.

Apres quelques tests nous avons remplacé les switch "s16xg1" et "s58"
de picto par un seul S3900-48T6S-R "f30" grace a ses 6 ports SFP+,
photos par Matthieu :

https://pano.tetaneutral.net/data/picto/IMG_20221229_123140.jpg
https://pano.tetaneutral.net/data/picto/IMG_20221229_123128.jpg

Dans les retours sur ce modele :

- le stacking fonctionne et est plutot facile a mettre en place (1)

- pour destacker attention le "no bvss enable" ne suffit pas, il laisse
les ports de stacking dans un etat bizarre (pas de traffic), il faut
explicitement faire "no xxx" pour toute la config (2)

- il y a un petit bug dans le firmware actuel ou sur les trames tag sur
les ports 10G avec un payload de 1500 sont comptés en "error" en plus
de "oversize" sur le port, alors que le traffic passe bien. Le support
fs.com (reactif) a confirmé le bug apres quelques echanges de mails
(show run, pcap du traffic). Le workaround est de passer la MTU du
switch a plus de 1500. Nous avons mis le max via "system mtu 9216".

- SNMP via check_mk a fonctionné sans soucis comme pour les autres
switch de tetaneutral.nt

- pour NTP il faut utiliser "sntp" qui n'est pas dans la doc PDF.

- bouts de la config en (4) ci-apres.

Nous allons en acheter deux autres début 2023 ce qui nous permettra de
remplacer s52 (ES48-Lite) a TLS00 par un switch fs.com double alim et
d'avoir du double alim partout sur la partie cluster + admin + routage
de TLS00, et un spare dans chaque local (picto, TLS00).

Sincèrement,

Laurent

(1)
(switch top)
Switch#conf
Switch_config#bvss
Switch_config_bvss#bvss enable 
Please write bvss configuration and reboot switch, if not bvss function
invalid.
Switch_config_bvss#bvss domain-id 1
Switch_config_bvss#bvss member-id 1
Switch_config_bvss#bvss priority 254
Switch_config_bvss#bvss mode normal 
Switch_config_bvss#bvss interface 1 type TGigaEthernet port 53 group 1 
Switch_config_bvss#bvss interface 2 type TGigaEthernet port 54 group 1
Switch_config_bvss#bvss sgnp neighbour-timeout 10
Switch_config_bvss#quit
Switch#write bvss-config 
Saving current bvss configuration...
OK!
Switch#reboot

(switch bottom)
Switch_config#bvss
Switch_config_bvss#bvss enable
Please write bvss configuration and reboot switch, if not bvss function
invalid.
Switch_config_bvss#bvss domain-id 1
Switch_config_bvss#bvss member-id 2
Switch_config_bvss#bvss priority 200
Switch_config_bvss#bvss mode normal 
Switch_config_bvss#bvss interface 1 type TGigaEthernet port 53 group 2 
Switch_config_bvss#bvss interface 2 type TGigaEthernet port 54 group 2
Switch_config_bvss#bvss sgnp neighbour-timeout 10
Switch_config_bvss#quit
Switch#write bvss-config 
Saving current bvss configuration...
OK!
Switch#reboot

(2)
f30_config#bvss 
f30_config_bvss#no bvss enable                   
f30_config_bvss#no bvss interface 1 
f30_config_bvss#no bvss interface 2 
f30_config_bvss#no bvss mode 
f30_config_bvss#no bvss domain-id 
f30_config_bvss#no bvss member-id 
f30_config_bvss#no bvss priority  
f30_config_bvss#no bvss sgnp neighbour-timeout 
f30_config_bvss#exit
f30#write bvss-config 
Saving current bvss configuration...
OK!
f30#reboot

(4)
!version 2.2.0F build 99729
service timestamps log date
service timestamps debug date
service timestamps microsecond
logging source-interface VLAN3175
logging 192.168.3.7 debugging
logging buffered 1048576
logging trap debugging

hostname f30
system mtu 9216

no spanning-tree
...
interface GigaEthernet0/1
 description A1
 switchport pvid 3131
...
interface TGigaEthernet0/49
 description TLS00-1
 switchport trunk vlan-allowed 128,3131-3132,3166,3175,3196,3199
 switchport mode trunk
...
interface VLAN3175
 ip address 192.168.3.30 255.255.255.0
 no ip directed-broadcast
!
!
!
vlan 128
 name IPMI
!
vlan 3131
 name Toulouse
!
vlan 3175
 name admin
!
vlan 1,128,3131-3132,3166,3175,3196,3199
...
snmp-server community 0 public RO 
sntp server 192.168.3.7