Copier des fichiers avec le multithreading rapide parsyncfp

Introduction

Dans le monde informatique d'aujourd'hui, le multitâche est devenu une exigence essentielle. Pour utiliser efficacement les ressources disponibles et améliorer les performances de nos applications, nous avons souvent recours au multithreading. Dans ce guide étape par étape, nous allons vous guider à travers le processus de multithreading rapide à l'aide de la bibliothèque parsyncfp.

Qu'est-ce que le multithreading ?

En programmation, le multithreading vous permet de faire plusieurs choses simultanément. Vous pouvez ainsi rendre vos applications plus rapides et plus réactives.

Définissons le multithreading et son fonctionnement.

Le multithreading, c'est l'exécution simultanée de plusieurs threads dans un programme. Les threads s'exécutent indépendamment les uns des autres et ont leur propre contexte d'exécution. Le multitâche améliore les performances et la réactivité de vos applications en exécutant de nombreuses tâches en parallèle.

Qu'est-ce que parsyncfp ?

Parsyncfp rassemble les fichiers en fonction de leur taille ou de leur nombre dans des chunkfiles qui peuvent être transmis à rsync morceau par morceau.

Parsyncfp ajoute quelques fonctionnalités supplémentaires à parsync, comme la possibilité de sauter des fichiers en fonction de leur taille ou de leur nombre, ainsi que la possibilité de mettre en pause et de reprendre le transfert. Il prend également en charge des options plus avancées telles que la mise en miroir d'une arborescence de répertoires ou la sauvegarde sur un disque dur local. De cette manière, pfp peut transférer des fichiers avant que la descente récursive complète du répertoire source ne soit terminée. Cette fonction peut s'avérer très utile lorsque l'on a affaire à de très grandes arborescences de répertoires.

De plus, pfp offre la possibilité de reprendre les transferts là où ils se sont arrêtés, ce qui est particulièrement utile en cas de crash du système. pfp offre également la possibilité de mettre en pause et de reprendre le processus de transfert, ce qui permet à l'utilisateur de personnaliser le processus de transfert en fonction de ses préférences.

Les fichiers ~/.parsyncfp

Par défaut, le répertoire cache contient le répertoire fpcache, qui contient le journal fpart, tous les fichiers PID et les fichiers chunk. Parce que le découpage en morceaux de fpart est si rapide, parsyncfp n'assure plus la réutilisation du cache. Les fichiers journaux sont horodatés et ne sont pas écrasés. En plus de spécifier des emplacements alternatifs pour le cache, vous pouvez spécifier des emplacements pour plusieurs instances afin que plusieurs parsyncfp puissent fonctionner simultanément. Cependant, ils détecteront les fparts des autres au démarrage et remettront en question cette situation. Vous serez alerté des rsyncs s'exécutant sur les hôtes SEND dans la version multi-hôte.

Copier des fichiers avec le multithreading rapide Parsyncfp & Guide étape par étape

Étape 1 : Sauvegarder sur le fichier source - pfp doit être installé uniquement sur la SOURCE.

wget <a href="https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp">https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp</a> 
chmod +x parsyncfp

Étape 2 : Copier la clé sur la machine distante (il peut être nécessaire de faire un ssh-keygen d'abord)

ssh-keygen
ssh-copy-id 1.1.1.1<strong>
</strong>

Etape 3. Ensuite, vous devez installer

apt-get install fpart

Étape 4 : S'il n'est pas inclus dans les paquets, vous pouvez le trouver à l'adresse suivante : https://github.com/martymac/fp...running

./parsyncfp --NP=10 --altcache=/dir/local/tmp --startdir='/dir/local/' www 192.168.67.1:/var/dir/

Quelques termes clés

• altcache - où les fichiers intermédiaires seront stockés. Cette option n'est pas nécessaire.
• NP - spécifie le nombre de threads.
• www - c'est le dossier qui sera copié de /dir/local/ vers /var/dir/ - vous pouvez spécifier plusieurs dossiers séparés par un espace.

Source : https://github.com/hjmangalam/parsyncfp