Transférer un grand nombre de petits fichiers

J'ai besoin de migrer deux serveurs avec de grandes connexions. SAN Dans notre nouvel environnement VMWare.

EDIT: Je dois fournir des informations supplémentaires car j'ai de bonnes réponses concernant la solution VMWare.

Donc, je ne peux pas connecter le précédent LUN EMC Au nouveau système en raison de restrictions de certaines technologies sur le serveur.

Je ne peux pas utiliser VMWare Converter pour cloner des volumes manquants sur ma nouvelle machine virtuelle, car VMWare Converter ne peut pas voir pseudo-appareils EMC PowerPath Et l'administrateur précédent a utilisé ces pseudo-périphériques pour créer des volumes LVM2 et / ou ASM Haut.

Ces deux serveurs physiques sont connectés à l'ancien réseau de stockage de données. EMC² CX-340 et traité 5 Data TB.

Ces 5 TB Data est un petit fichier PDF et je dois les transférer sur un nouvel ordinateur via notre réseau local. 1 Gbit / de.

J'ai essayé d'utiliser


        rsync

, Mais il est vraiment lent et affecte fortement la performance de la RAM et du processeur.

J'ai essayé d'utiliser NC de TAR, Mais le taux de transfert est assez bas, car j'ai une bande passante moyenne à propos de 50 Mb / avec sur le canal 1 Gbit / avec avec un trafic pratiquement zéro.

Pourriez-vous me donner des conseils ou partager votre expérience avec ce type de migration et comment réussissez-vous à le compléter correctement dans un délai raisonnable?
2021-03-13 ajouter un commentaire
Partager ceci

Aucun résultat connexe trouvé

    Invité:

    Blanche

    Confirmation de:

    Si vous avez vraiment besoin d'un moyen rapide de transférer des fichiers, et les deux systèmes sont basés sur Linux, tu peux essayer
    https://github.com/LabAdvComp/UDR
    .

    Ceci est vraiment formulaire rsync-over-UDP (utilisant open-source
    http://udt.sourceforge.net
    ) et particulièrement pratique pour déplacer un grand nombre de fichiers ou de transmission par des canaux de bande passante élevée ou un retard élevé. De plus, le cryptage par défaut est désactivé, donc la charge sur la RAM / Le processeur est inférieur à celui de la traditionnelle rsync. SSH soit pas impliqué.

    Je peux facilement obtenir

    Traductions télégraphes

    Suite 1 Gbit / avec S. 10 des millions de petits fichiers TIFF dans l'arbre de catalogue.

    Votre syntaxe sera légèrement modifiée par rapport à rsync. Tous les drapeaux rsync doit se tenir avant la spécification source / Nominations:

    udr rsync -avP --stats --delete /data/ server2:/data/

    Facile à construire ... Tu auras besoin de

    
          g++

    et

    
          openssl-devel

    :

    git clone [url=https://github.com/LabAdvComp/UDR.git]https://github.com/LabAdvComp/UDR.git[/url]
    
cd UDR/
    
make
    
cp src/udr /usr/local/bin/

    Faites-le dans la source et la destination.

    Voir:
    https://serverfault.com/questi ... 38065
    2021-03-13 0 0
    Partager ceci

    Emilie

    Confirmation de:

    Lorsqu'il est utilisé dans un démon sans cryptage rsync Il peut transmettre efficacement un grand nombre de petits fichiers. Donnez-lui une autre tentative en l'utilisant en mode démon.
    2021-03-13 0 0
    Partager ceci

    Babette

    Confirmation de:

    Vous n'avez pas pensé de fournir LUN-S SAN Directement de nouvelles machines virtuelles - Cela fonctionne généralement bien et peut être plus rapide que la copie de fichiers à VMDK, Bien qu'il puisse "bloquer" des machines virtuelles sur leur hôte initial. Mais vous pouvez l'utiliser pour commencer, puis transférer des fichiers vers VMDK dans son propre rythme - par rsync - puis récolter la référence à l'original LUN.
    2021-03-13 0 0
    Partager ceci

    Hannah

    Confirmation de:

    Si les machines virtuelles cible ne sont pas encore créées, vous pouvez essayer d'utiliser gratuitement VMware Converter Copier des données.

    En fait, même s'ils sont créés, vous pouvez cloner des disques à la machine virtuelle fictive, puis les attacher à une machine virtuelle existante après la fin du clonage.

    Dans tous les cas, le convertisseur utilise deux méthodes de clonage des fichiers de la source à la destination, des informations complètes sur lesquelles vous pouvez trouver.
    http://kb.vmware.com/selfservi ... 71014
    .

    Si les cibles sont configurées comme

    moins

    La source, il clonera des fichiers individuels à une nouvelle machine virtuelle.

    Cependant, si les disques cibles sont configurés comme

    Également ou plus

    , Il clones bloque. Cela rendra le nombre de fichiers sur le disque est largement insignifiant et il devrait fonctionner relativement rapidement.

    Je doute que vous remplissez la chaîne 1 Gbit / C, mais vous devez avoir plus 50 Mbit / de.

    Rappelez-vous que vous voulez toujours bouger 5 TB, donc ça va prendre du temps.
    2021-03-13 0 0
    Partager ceci
    Pourquoi est-ce complexe? 0 réponses ont été bouchées

    Pour répondre aux questions, connectez-vous ou registre

    Copyright © 2023, All Rights Reserved