Copia de archivos con multihilo rápido parsyncfp

Introducción

En el mundo actual de la informática, la multitarea se ha convertido en un requisito esencial. Para utilizar eficientemente los recursos disponibles y mejorar el rendimiento de nuestras aplicaciones, a menudo confiamos en el multithreading. En esta guía paso a paso, te guiaremos a través del proceso de multithreading rápido utilizando la librería parsyncfp.

¿Qué es el multithreading?

En programación, el multithreading te permite hacer múltiples cosas simultáneamente. De esta manera puedes hacer tus aplicaciones más rápidas y con mayor capacidad de respuesta.

Definamos el multithreading y cómo funciona.

Multithreading es cuando múltiples hilos se ejecutan simultáneamente en un programa. Los hilos se ejecutan de forma independiente y tienen su contexto de ejecución. La multitarea mejora el rendimiento y la capacidad de respuesta de tus aplicaciones ejecutando numerosas tareas en paralelo.

¿Qué es parsyncfp?

Parsyncfp recopila archivos basándose en el tamaño o el número en chunkfiles que pueden ser alimentados a rsync trozo a trozo.

Parsyncfp añade algunas características adicionales a parsync, como la capacidad de saltar archivos basados en tamaño o número, así como la capacidad de pausar y reanudar la transferencia. También añade soporte para opciones más avanzadas como reflejar un árbol de directorios o hacer copias de seguridad en un disco duro local. De este modo, pfp puede transferir ficheros antes de que se haya completado el descenso recursivo completo del directorio de origen. Cuando se trabaja con árboles de directorios muy grandes, esta característica puede ser muy útil.

Además, pfp ofrece la posibilidad de reanudar las transferencias desde donde se quedaron, lo que es especialmente útil en caso de caída del sistema. pfp también ofrece la posibilidad de pausar y reanudar el proceso de transferencia, permitiendo al usuario personalizar el proceso de transferencia según sus preferencias.

Los archivos ~/.parsyncfp

Por defecto, el directorio cache contiene el directorio fpcache, que contiene el log de fpart, todos los archivos PID y los archivos chunk. Debido a que fpart chunking es tan rápido, parsyncfp ya no proporciona reutilización de caché. Los archivos de registro tienen fecha y no se sobrescriben. Además de especificar ubicaciones alternativas para la caché, se pueden especificar ubicaciones para múltiples instancias de forma que varios parsyncfps puedan ejecutarse simultáneamente. Sin embargo, detectarán los fparts de los demás ejecutándose al inicio y cuestionarán esta situación. En la versión multihost, se le avisará de los rsyncs que se estén ejecutando en los hosts SEND.

Copiando archivos con multihilo rápido Parsyncfp & Guía Paso a Paso

Paso1 . Guardar en la Fuente del Archivo - pfp necesita ser instalado sólo en la FUENTE

wget <a href="https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp">https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp</a> 
chmod +x parsyncfp

Paso 2. Copiar la clave a la máquina remota (puede ser necesario hacer un ssh-keygen primero)

ssh-keygen
ssh-copy-id 1.1.1.1<strong>
</strong>

Paso 3. Luego hay que instalar

apt-get install fpart

Paso 4. Si no está incluido en los paquetes, puedes encontrarlo en https://github.com/martymac/fp...running

./parsyncfp --NP=10 --altcache=/dir/local/tmp --startdir='/dir/local/' www 192.168.67.1:/var/dir/

Algunos términos clave

• altcache - donde se almacenarán los archivos intermedios. Esta opción no es necesaria.
• NP - especifica el número de hilos.
• www - es la carpeta que se copiará de /dir/local/ a /var/dir/ - puede especificar varias carpetas separadas por un espacio.

Fuente: https://github.com/hjmangalam/parsyncfp