Rsync occupe plus 8 Montres pour la sauvegarde plus 15 Millions de fichiers

j'ai ~ 700 Gb stockages où j'ai stocké ~ 15 des millions de fichiers, de sorte que la taille moyenne du fichier est ~ 50 KB. Rafraîchir, par nuit, je cours un simple

rsync

Script avec le prochain ensemble de drapeaux:

--archive --update --compress --numeric-ids --human-readable --stats

Ça sort 8+ Regardez

rsync

Remplir ses travaux sur les mouvements quotidiens moyens autour 1–4 Gb de données. Il me semble incroyablement inefficace.

Je peux configurer mon

rsync

Script comme? Je suppose qu'il est préférable de transférer des données à

MongoDB

ou quelque chose comme ça, mais il y a un problème avec cela, car l'infrastructure actuelle repose sur les fichiers auxquels l'accès est accessible

posix

Système de fichiers, transférez-les à quelque chose de complètement différent peut nécessiter un travail supplémentaire, potentiellement trop de travail ... Que peut être la meilleure stratégie?
Invité:

Babette

Confirmation de:

Tant de temps requis rsync, Analyser un tel nombre de fichiers, même si la transmission est effectuée efficacement. Il doit effectuer plus 15 Des millions d'opérations d'E / S d'E / S Plus-Minus Caching. Vous pouvez utiliser un stockage très rapide, mais cela peut être coûteux.

Phrase zfs Il est d'utiliser des copies du niveau de bloc dans lequel elle devient un fichier gigantesque pour la transmission.

Ces concepts sont également applicables à lvm, Bien que cela puisse nécessiter plus de scénarios, les images distantes ne sont pas intégrées. Voir quelque chose comme
https://github.com/mpalmer/lvmsync
Pour les idées.

Pour répondre aux questions, connectez-vous ou registre