Копіювання файлів за допомогою швидкого багатопотокового parsyncfp

Вступ

У сучасному світі обчислень багатозадачність стала невід'ємною вимогою. Щоб ефективно використовувати доступні ресурси і підвищити продуктивність наших програм, ми часто покладаємося на багатопоточність. У цьому покроковому посібнику ми проведемо вас через процес швидкої багатопоточності за допомогою бібліотеки parsyncfp.

Що таке багатопоточність?

У програмуванні багатопоточність дозволяє виконувати кілька завдань одночасно. Таким чином, ви можете зробити ваші програми швидшими і більш чуйними.

Давайте визначимо, що таке багатопоточність і як вона працює.

Багатопоточність - це коли в одній програмі одночасно виконується декілька потоків. Потоки виконуються незалежно і мають свій контекст виконання. Багатозадачність покращує продуктивність і швидкість реакції ваших програм за рахунок паралельного виконання численних завдань.

Що таке parsyncfp?

Parsyncfp збирає файли за розміром або кількістю у chunk-файли, які можна передавати до rsync по частинах.

Parsyncfp додає до parsync декілька додаткових можливостей, таких як можливість пропускати файли за розміром або кількістю, а також можливість призупиняти і відновлювати передачу. Він також додає підтримку більш просунутих опцій, таких як віддзеркалення дерева каталогів або резервне копіювання на локальний жорсткий диск. Таким чином, pfp може передавати файли до того, як буде завершено повний рекурсивний спуск до каталогу-джерела. Ця можливість може бути дуже корисною для роботи з дуже великими деревами каталогів.

Крім того, pfp надає можливість відновити передачу з того місця, де її було зупинено, що особливо корисно у випадку збою системи. pfp також надає можливість призупиняти і відновлювати процес передачі, що дозволяє користувачеві налаштовувати процес передачі відповідно до своїх уподобань.

Файли ~/.parsyncfp

За замовчуванням, каталог кешу містить каталог fpcache, який містить журнал fpart, усі PID-файли та chunk-файли. Оскільки chunking fpart відбувається дуже швидко, parsyncfp більше не забезпечує повторного використання кешу. Файли журналів позначаються датою і не перезаписуються. Окрім вказівки альтернативних місць розташування кешу, ви можете вказати місця для декількох екземплярів, щоб кілька parsyncfps могли працювати одночасно. Однак під час запуску вони виявлятимуть запущені fparts один одного і ставитимуть під сумнів цю ситуацію. Ви отримаєте сповіщення про rsyncs, запущені на хостах SEND у багатохостовій версії.

Копіювання файлів за допомогою швидкого багатопотокового Parsyncfp і покрокова інструкція

Крок1. Збережіть на джерелі файлу - pfp потрібно встановити тільки на ДЖЕРЕЛО

wget <a href="https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp">https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp</a> 
chmod +x parsyncfp

Крок2. Скопіюйте ключ на віддалену машину (можливо, спочатку потрібно буде зробити ssh-keygen)

ssh-keygen
ssh-copy-id 1.1.1.1<strong>
</strong>

Крок 3. Потім потрібно встановити

apt-get install fpart

Крок4. Якщо він не входить до складу пакунків, ви можете знайти його на https://github.com/martymac/fp...running

./parsyncfp --NP=10 --altcache=/dir/local/tmp --startdir='/dir/local/' www 192.168.67.1:/var/dir/

Деякі ключові терміни

• altcache - місце, де будуть зберігатися проміжні файли. Цей параметр не є обов'язковим.
• NP - вказує кількість потоків.
• www - тека, яку буде скопійовано з /dir/local/ до /var/dir/ - можна вказати декілька тек, розділених пробілом.

Джерело: https://github.com/hjmangalam/parsyncfp