Копирование файлов - быстрое многопоточное parsyncfp

Что такое многопоточность? 

В программировании многопоточность позволяет выполнять несколько задач одновременно. Таким образом, можно повысить скорость работы и скорость отклика приложений. Давайте определим, что такое многопоточность и как она работает.

Многопоточность - это одновременная работа нескольких потоков в одной программе. Потоки работают независимо друг от друга и имеют свой контекст выполнения. Многозадачность повышает производительность и скорость отклика приложений за счет параллельного выполнения множества задач.

Что такое parsyncfp?

Parsyncfp - собирает файлы по размеру или количеству в чанкфайлы, которые могут быть переданы в rsync по принципу фрагмент за фрагментом.

Parsyncfp добавляет несколько дополнительных возможностей к parsync, таких как возможность пропускать файлы по их размеру или количеству, а также возможность приостанавливать и возобновлять передачу. 

Также добавлена поддержка более сложных опций, таких как зеркалирование дерева каталогов или резервное копирование на локальный жесткий диск. Таким образом, pfp может передавать файлы до завершения полного рекурсивного спуска по исходному каталогу. При работе с очень большими деревьями каталогов эта функция может оказаться очень полезной.

Кроме того, pfp позволяет возобновить передачу с того места, где она была закончена, что особенно полезно в случае сбоя системы. pfp также предлагает возможность приостанавливать и возобновлять процесс передачи, что позволяет пользователю настроить процесс передачи в соответствии со своими предпочтениями.

Пошаговое руководство по быстрой многопоточности parsyncfp

1. Сохраняем на Источнике файлов - pfp needs to be installed only on the SOURCE

wget https://raw.githubusercontent....
chmod +x parsyncfp

2. Копируем ключ на удаленную машину (возможно сперва надо будет сделать ssh-keygen)

ssh-keygen
ssh-copy-id 1.1.1.1

3. дальше надо установить

apt-get install fpart

4. если нет в пакетах, то можно найти здесь https://github.com/martymac/fpart и запуск

./parsyncfp --NP=10 --altcache=/dir/local/tmp --startdir='/dir/local/' www 192.168.67.1:/var/dir/

Некоторые ключевые термины

altcache - место хранения промежуточных файлов. Данная опция не является обязательной.

NP - задает количество потоков.

www - папка, которая будет скопирована из /dir/local/ в /var/dir/ - можно указать несколько папок, разделенных пробелом.

Источник:  https://github.com/hjmangalam/parsyncfp


]]