Comment puis-je accélérer la sauvegarde Duplicity?

J'ai besoin d'exécuter la sauvegarde locale de centaines de gigaoctets avec plusieurs machines virtuelles Xen Dans certains stockages, disponibles sur un serveur sélectionné sur le même réseau, avec une connexion Gigabit. Ceci est fondamentalement des données MySQL - j'utilise Percona XtraDB Cluster - Sauvegardes localement sur des serveurs avec Xtrabackup, Par conséquent, je suppose que ces données devraient être bien comprimées.

Pour le moment j'utilise duplicity 0.6.08b avec cryptage utilisant une phrase de mot de passe (Je n'utilise pas de clés), Puisque je synchronise également des volumes de sauvegarde créés avec duplication, avec un stockage externe. Le niveau de compression est actuellement égal 6, et volume - 250. La sauvegarde prend plus d'une journée, je suis donc à la recherche de paramètres de duplication recommandés vous permettant de créer rapidement des copies de sauvegarde sur le stockage partagé du réseau local, sans prendre trop d'espace.

Une idée?
Invité:

Catherine

Confirmation de:

Dans les commentaires, vous dites que vous voyez la bande passante de ces sauvegardes sur 50 Mb / de.

50 Mb / de - c'est

d'accord

Que pouvez-vous attendre de la bande passante semi-durable des disques avec des disques rouillés rotatifs simples (c'est-à-dire sans miroir ou alternance RAID, Ce qui vous permet de distribuer la lecture sur des disques pour augmenter la bande passante). Notez que certaines configurations RAID En fait, limitez la bande passante même le disque plus lent, même au mieux. Oui, de nombreux disques durs sont conçus pour la vitesse de ~ 200 Mb / C, mais gardez à l'esprit que ces chiffres sont au mieux des numéros d'accès en série. 50 Mb / de - C'est aussi près de 400 Mbit / avec cela avec un faux pour la tête de la propriété intellectuelle et ainsi de suite 500-600 Mbit / Avec sur un fil de réseau, alors que vous n'êtes pas saturé d'un canal Gigabit, vous n'approchez-vous pas assez près de la probabilité d'une collision.

Vous ne spécifiez pas de chiffres pour l'utilisation de la CPU pendant la sauvegarde, sauf que vous avez «il y a trois hyperviseurs avec un tas de machines virtuelles sur chacun, plus ou moins occupé». Mais la copie et la compression des données ne chargent pas grandement le processeur et si lors de la sauvegarde, vous disposez de la CPU de temps libre, cela signifie que vous n'êtes pas lié à la CPU.

Le seul moyen de répondre à cette question - Découvrez quel facteur limite la bande passante.

Puis concentrez-vous vos efforts.

Mon devin

sera ce que vous êtes attaché à la sortie d'entrée, ou lors de la lecture, ou lorsque vous enregistrez, et que vous

Puissance

Se tourner vers le réseau. Vous parlez d'un serveur de stockage de sauvegarde dédié avec une connexion Gigabit Ethernet, Mais ne parlez pas de la nature de cette connexion. La connexion réseau pour la sauvegarde entre les nœuds physiques est courante ou dédiée? (Réseau physique séparé reliant chacun des HV avec un serveur de sauvegarde serait acceptable si une seule machine virtuelle ou HV Transfère les données de sauvegarde en même temps.)

Si la connexion réseau physique sur le serveur de sauvegarde est utilisée conjointement avec d'autres trafic réseau, vous pouvez accéder à l'architecture de connexion sélectionnée. Quel est le bénéfice de cela, dépend en grande partie de l'endroit où les données sont comprimées et du nombre d'affrontements observent-vous vraiment actuellement, mais si vous le faites et que rien de plus, vous

Puissance

Si vous avez la possibilité de doubler la bande passante du réseau et, par conséquent, si vous êtes attaché au réseau, réduisez le délai de sauvegarde deux fois.

Si vous êtes limité à la saisie de la sortie lors de la lecture et / ou enregistrer, puis allez dans un miroir ou un réglage alternatif qui vous permet de distribuer la sortie de disque-sortie à plusieurs disques, peut aider à augmenter la bande passante; Cela augmentera la largeur de bande totale du pneu de disque. Bien sûr, il a ses inconvénients. En fonction de la quantité de données que vous envoyez à la fois, en ajoutant

vite

Disque de cache sur le serveur de stockage de sauvegarde

Puissance

Cela aide également, mais je soupçonne que si vous êtes attaché au retrait d'entrée, il est sur le côté de la lecture, car les enregistrements sont probablement plus ou moins cohérents, et dans ce cas, l'ajout du cache ne vous aide pas.

Vous pouvez également envisager la possibilité d'aller au système de fichiers sur des machines virtuelles ou HV et / Ou sur un serveur de stockage de sauvegarde, lequel à l'été effectue la compression des données enregistrées sur le disque ou l'inclusion de cette compression si elle est prise en charge. . Il coûtera du temps du processeur, mais augmente

efficace

Taux de transfert de données sur le disque, car moins de données doivent être déplacées vers des plaques physiques et d'eux pour le même volume de données stockées dans l'espace utilisateur. Si ce sera un bénéfice net dans une situation, en fait, il est de lancer une pièce de monnaie et qu'il doit être évalué dans chaque cas, mais c'est certainement un

occasion

Pour une situation dans laquelle vous êtes limitée à la sortie d'entrée, surtout si les données sont initialement très compressables. Même si les données ne peuvent être comprimées que sur 20% (Équivalent au diplôme de compression 1,25: 1 et réaliser définitivement, par exemple, avec du texte dans une langue naturelle; En comparaison, ZFS Avec compression gzip-9 me donne la compression 1,20: 1 Lors de l'échantillonnage des sites en ligne,

y compris des images

), Les mêmes taux de transmission des plaques 50 Mb / avec soudainement vous donner plus 60 Mb / Avec des données utiles, s'il est supposé que le processeur central peut faire face à la compression et à la décompression.

Veuillez noter que les données cryptées

supposé

Il est très mauvais de compresser, car il devrait ressembler à un bruit aléatoire; Vous comprimez généralement avant de crypter si vous envisagez de chiffrer des données et, dans ce cas, la compression au niveau du système de fichiers sur le côté crypté ne vous apportera aucun avantage.

Pour répondre aux questions, connectez-vous ou registre