[technique] Logiciel de backup : choix de attic

[Laurent GUERBY]

Bonsoir

Avec Mehdi et quelques benevoles nous avons fait recemment un petit tour
des logiciels de backup pour remplacer notre venerable backuppc.

Une page tres complete sur les solutions libres :

https://wiki.archlinux.org/index.php/Backup_programs

Apres avoir teste obnam (pas performant) nous avons choisi attic qui
gere la deduplication+compression+remote de maniere impressionnante en
efficacité et simplicité :

https://attic-backup.org/
https://attic-backup.org/usage.html

Nous faisons un repo attic par machine a backuper, c'est
automatisé via puppet avec un developpement de Mehdi, 
par exemple :

	class { 'ttnn::backup':
		paths               => [ "/var/www/" ],

J'ai aussi passé mes backups personels et familiaux dessus
du coup, et en "full" c'est a dire toute la machine a partir de /.
Attic gere la reprise sur backup interrompu avec une perte
de 5 minutes de temps de backup maximum et c'est packagé dans debian
depuis quelques versions.

Mon cron personnel de backup remote avec le disque destination via ssh
sur ma machine a Myrys "xeon" qui monte un volume rbd ceph de
notre cluster "/mnt/backup7/" qui est chiffré en luks (donc je n'utilise
pas le chiffrement attic) est quasiment un "one liner" :

STAMP=$(date '+%Y%m%dT%H%M%S')
attic create --stats  --exclude-caches \
--do-not-cross-mountpoints --exclude /home/tmp/ \
attic at xeon:/mnt/backup7/attic/pc2-repo.attic::pc2-$STAMP / \
> /home/tmp/attic/log-$STAMP 2> /home/tmp/attic/err-$STAMP

Le backup de cette nuit :

guerby at pc2:/home/tmp/attic$ cat log-20150918T002001
-------------------------------------------------------------
Archive name: pc2-20150918T002001
Archive fingerprint:  (...)
Start time: Fri Sep 18 00:20:01 2015
End time: Fri Sep 18 00:26:25 2015
Duration: 6 minutes 24.26 seconds
Number of files: 2000554

              Original size Compressed size Deduplicated size
This archive: 214.14 GB     132.39 GB       346.50 MB
All archives: 4.05 TB       2.51 TB         124.33 GB
-------------------------------------------------------------

Donc au final 6 minutes pour remote backup "full" incremental de 2
millions de fichiers et 200+ GB (et le disque de mon PC est un bon vieux
rotationnel, pas un SSD), avec au final seulement 346.5 Mbytes consommés
en incremental. Bien sur le tout premier backup est plus long et
proportionnel au volume de donnée :).

Le repository attic en interne est composé uniquement de fichiers de 5
MB rangés a hauteur de ~ 9000 par repertoire donc il n'y a pas de
consommation d'inodes delirante ni de repertoires avec trop de fichiers
dedans.

A noter une petite astuce si comme moi vous convertissez des backups
rsync "--link-dest" avec un repertoire quotidien en attic :

http://pad.tetaneutral.net/p/attic

Utilisez toujours le meme path pour le backup aide beaucoup
niveau performance lors de la convertion.

Sincèrement,

Laurent