[technique] Premiers tests de la plateforme Openstack + ceph + 10Gbit/s a tetaneutral.net

[Gaël]

Salut !

C'est excellent ce projet :)


Je me demande :
Comment ça se passe pour profiter du cluster ? (je vois ça dans le fil
de jocelyn)
Je sais que c'est pas prêt et tout, je questionne juste.

Si je viens avec mes disques (mettons 20To), je peux en mettre 10To
qui s'auto backupent sur les 10 autres To ou ça marche différemment ?

Évidemment, je chiffre tout. Aucun problème ?
Le protocole d'accès et ceph c'est ça ? Ça transite chiffré sur le réseau ?
Jusqu'à ma machine à Myrys j'entends.
D'ailleurs ça serait quoi le débit myrys/TLS00 ?


Merci pour tout tetaneutral, ça envoie :)



Gaël

Le 19 septembre 2014 19:14, Laurent GUERBY <laurent at guerby.net> a écrit :
> Bonsoir,
>
> Fabien, Jérôme et Mehdi ont installé a TLS00 le cluster
> ceph de test g1+g2+g3 et les switch s9 et s4810a (48x10G) ce mardi
> 20140916 vers 18h :
>
> http://chiliproject.tetaneutral.net/projects/tetaneutral/wiki/Openstack#Ressources
>
> Depuis avec Mehdi et les conseils de Loic nous avons commencé a tester
> le comportement et la performance en reseau et stockage du cluster
>
> Au niveau reseau avec notre solution tout routé en /32 (aucun L2
> partagé, chaque VM est sur son propre tap sans aucun bridge) + BGP avec
> BIRD pour le suivi des VM on a obtenu en iperf TCP :
> - 35 Gbit/s de VM  a VM sur le meme hote
> - 9.5 Gbit/s de VM a VM sur deux hotes differents donc
> a la limite de l'interface physique (si on fait
> du bonding des 2x10G ca devrait monter vers 20Gbit/s).
>
> Ces resultats sont sans aucun tuning de la partie reseau kernel, la MTU
> est donc a 1500 partout.
>
> En mode bridge (VLAN3131 91.224.149.0/24) avec Openvswitch et la
> configuration par defaut d'openstack ajoute quelques dizaine de regles
> iptables qui ne servent a rien dans notre cas on etait limité a
> 600 Mbit/s entre deux VM sur le meme host.
>
> Mehdi a trouvé le moyen de desactiver ces regles et dans ce cas
> ca remonte a 20 Gbit/s VM sur le meme host.
>
> Coté stockage apres un peu de tuning et l'activation du cache tiering de
> ceph entre notre pool SSD et celui HDD nous sommes arrivés a  55 Mbyte/s
> agregé en write de 6 VM simultanés sur une dizaine de minutes soit
> environ 9 Mbyte/s par VM, chaque VM executant :
>
> dd if=/dev/zero of=test5G bs=5M count=1024 oflag=direct
>
> La redondance du stockage ceph est triple donc chaque donnée
> est ecrite 6 fois : 1 fois dans le journal puis une fois en stockage
> et ca sur 3 machines. Ensuite au fil de l'eau les données
> passent du pool cache SSD vers le rotationnel, il nous
> reste a comprendre le tuning de cette partie la.
>
> En read l'agrégé monte a 2.6 Gbyte/s soit plus de 400 Mbyte/s
> sur chacune des 6 VM :
>
> dd if=test1G of=/dev/null bs=20M iflag=direct
>
> Le nombre d'IO/s vu de la VM a l'air de plafonner vers
> 2400 IO/s, donc avec "bs=4k" on est a 10 Mbyte/s.
>
> A noter que lors des tests meme dans les cas ou nous avions mis
> de tres mauvais parametres ce qui bloquait les VM sur les IO
> (un des disques full, etc...) tout c'est bien passé
> et la VM a été mise en pause par le systeme, on a pu
> la unpause avec libvirt sans autre soucis.
>
> Il nous reste aussi a regler un probleme de flag cpuinfo
> qui empechent la migration live dans certains cas.
>
> La doc en cour de redaction sur l'installation :
>
> http://chiliproject.tetaneutral.net/projects/tetaneutral/wiki/Openstack_Installation_TTNN
>
> Sincèrement,
>
> Laurent
>
>
> _______________________________________________
> technique mailing list
> technique at lists.tetaneutral.net
> http://lists.tetaneutral.net/listinfo/technique