Follow

Bon, je crois que j'ai trouvé mon graal pour les backups.

Un truc avec:

- des fichiers de conf *lisibles* (en yaml)
- le support pour plusieurs type de stockage (local, ftp, S3, etc.), en même temps (par exemple backuper sur 2 stockages S3 différents)
- backups chiffrés et incrémentaux
- basé sur un truc fiable
- automatisable très simplement avec ansible

Je prévois un article dessus cette semaine

So, I've just published a loooong blog entry about my new system.

eliotberriot.com/2019/12/03/a-

Backup are surprisingly hard to set up, especially when you want them encrypted, incremental, stored on multiple remote storages, pruned automatically and easy to configure.

I think I have found a decent solution based on Restic, Autorestic and Ansible.

If you have ever been struggling with backups, in your life, maybe this could interest you? I tried to make the post acessible with context, explanations and step by step instructions, let me know what you think about it :)

cc @vitria c'est en anglais, mais j'ai essayé de vulgariser un certain nombre de choses concernant Ansible :)

@vitria nope, borgbackup supporte pas les stockages genre S3 ou autre

@vitria j'essaie de faire l'article demain mais en gros Restic + Autorestic + Ansible :)

@eliotberriot

Moi j'avais automatisé un truc avec SaltStack + backuppc. Mais je vais virer Backuppc (trop vieux, n'évolue plus, manque de fonctionnalités) par BorgBackup ou Burp un de ces 4. Suffit que je trouve le temps de le faire.

@Fritange ouais, le souci de borg c'est que ça supporte pas les stockages cloud genre S3 :/

@eliotberriot ça me fais penser que j'ai toujours pas de backup sur mon serveur au bout de deux mois de service. oupsi. :ms_shrug_v1:

@amaranthe si tu veux j'ai fait un role ansible, tu pourras tester rapidement ;)

@eliotberriot normalement online.net (chez qui j'ai mon serveur) permet de configurer un serveur de backup ftp, mais je m'y suis pas du tout penché dessus parce que ça m'a l'air aussi chiant que faire un serveur mail :x

@amaranthe je me focalise plus sur la partie configuration des backups, nettoyage des anciens backups, etc. ce qui de mon expérience est aussi chiant (voire plus) que faire le backup en lui même

@eliotberriot quand j'aurais la foi de m'y mettre je te ferais signe alors. ^^

@taziden agreed, although, from my experience, material on the topic is typically incomplete and cover only a portion of the topic (e.g setting up backups but no encryption or no pruning).

Also, except from very basic use cases (e.g backing up a single SQL DB and copying to a remote host), I don't think backups are simple, in any way. Encryption, deduplication, incremental backups, snapshots, remote storage… There is complexity everywhere, complexity that is part of the solution unfortunately.

@eliotberriot yep. Je repasse en français … :)

Pour moi, le duo backupninja+borgbackup est parfait (mais parce que je ne mets pas mes données, celles de mes clients ou celles des membres de mon asso sur des infras tierces comme AWS, etc).

Au boulot, on avait écrit ça : sysnove.fr/blog/2016/06/backup
C'est plus à jour mais la philosophie est là.

@taziden

J'aime beaucoup backupninja et c'est ce que j'ai utilisé pendant plusieurs années, mais c'est plus du tout maintenu. Rien que pour trouver la source officielle c'est galère :s

> mais parce que je ne mets pas mes données, celles de mes clients ou celles des membres de mon asso sur des infras tierces comme AWS, etc

Restic supporte n'importe quel stockage S3 (donc tu pourrais envoyer les backups sur un Minio autohébergé, par exemple). Les backups Restic sont forcément chiffrés aussi.

Un autre aspec qui me semble manquer dans borg, c'est de pousser les sauvegarde à plusieurs endroits en parallèle. Par exemple sur un stockage S3 tiers ET sur un serveur interne via SCP.

Autorestic gère ça de façon transparente.

@eliotberriot c'est vrai que c'est mou du côté backupninja, après ça marche et pour les BDD, y'a rien à faire, y'a déjà tous les helpers qui vont bien, etc.

J'ai une micro merge request qui attend depuis des plombes 0xacab.org/riseuplabs/backupni :(

@taziden ouais, c'est vrai que les helpers sont plutôt chouettes !

@wxcafe @eliotberriot voilà, pareil, "mais bon". C'est toujours des solutions assez "particulières" et pas très accessible.

@taziden @eliotberriot bah c'est des backups hein. c'est comme le monitoring, tout le monde a son truc un peu personalisé pour ses besoins persos parce que t'as toujours des cas particuliers, que les devs s'en tapent parce que c'est pas sexy comme projet, et que du coup t'as que des outils d'y a 20 ans

@eliotberriot you don't say anything about how to restore with this setup. Restoring is as important if not even more than doing backups.

@eliotberriot oops, sorry, I missed it.
Hmm, does it download all the content and put it in /tmp/etc-restore ? or is it a fuse mount like what "borg mount" does ?

@eliotberriot anothing thing, you ditched entirely backupninja ? how do you handle databases backup ? where launching dump commands is needed to ensure the data integrity is preserved

@taziden yeah, that's maybe the last missing bit for me.

Restic supports backups from stdin, so I think I'll simply submit a contribution to autorestic to handle that, e.g:

locations:
psqldata:
command: pg_dumpall

Sign in to participate in the conversation
Mastodon.eliotberriot.com

mastodon.eliotberriot.com is one server in the network