Kopiowanie plików z szybkim wielowątkowym parsyncfp
Wprowadzenie
W dzisiejszym świecie komputerów wielozadaniowość stała się niezbędnym wymogiem. Aby efektywnie wykorzystać dostępne zasoby i poprawić wydajność naszych aplikacji, często polegamy na wielowątkowości. W tym przewodniku krok po kroku przeprowadzimy Cię przez proces szybkiej wielowątkowości przy użyciu biblioteki parsyncfp.
Czym jest wielowątkowość?
W programowaniu wielowątkowość pozwala na wykonywanie wielu czynności jednocześnie. Dzięki temu aplikacje mogą być szybsze i bardziej responsywne.
Zdefiniujmy wielowątkowość i jej działanie.
Wielowątkowość ma miejsce, gdy wiele wątków działa jednocześnie w jednym programie. Wątki działają niezależnie i mają swój kontekst wykonania. Wielozadaniowość poprawia wydajność i szybkość reakcji aplikacji poprzez równoległe wykonywanie wielu zadań.
Czym jest parsyncfp?
Parsyncfp zbiera pliki w oparciu o rozmiar lub liczbę w chunkfile, które mogą być podawane do rsync na zasadzie chunk by chunk.
Parsyncfp dodaje kilka dodatkowych funkcji do parsync, takich jak możliwość pomijania plików na podstawie rozmiaru lub liczby, a także możliwość wstrzymywania i wznawiania transferu. Dodaje również obsługę bardziej zaawansowanych opcji, takich jak tworzenie kopii lustrzanych drzewa katalogów lub tworzenie kopii zapasowych na lokalnym dysku twardym. W ten sposób pfp może przesyłać pliki przed zakończeniem pełnego rekurencyjnego zejścia do katalogu źródłowego. Funkcja ta może być bardzo przydatna w przypadku bardzo dużych drzew katalogów.
Dodatkowo, pfp oferuje możliwość wznawiania transferów od miejsca, w którym zostały przerwane, co jest szczególnie przydatne w przypadku awarii systemu. pfp oferuje również możliwość wstrzymywania i wznawiania procesu transferu, pozwalając użytkownikowi na dostosowanie procesu transferu do własnych preferencji.
Pliki ~/.parsyncfp
Domyślnie katalog cache zawiera katalog fpcache, który zawiera dziennik fpart, wszystkie pliki PID i pliki chunk. Ponieważ chunking fpart jest tak szybki, parsyncfp nie zapewnia już ponownego wykorzystania pamięci podręcznej. Pliki dziennika są oznaczone datą i nie są nadpisywane. Oprócz określenia alternatywnych lokalizacji pamięci podręcznej, można określić lokalizacje dla wielu instancji, dzięki czemu wiele parsyncfps może działać jednocześnie. Wykryją one jednak nawzajem swoje fparts działające podczas uruchamiania i zakwestionują tę sytuację. Zostaniesz powiadomiony o rsyncs uruchomionym na hostach SEND w wersji multi-host.
Kopiowanie plików z szybkim wielowątkowym Parsyncfp i przewodnik krok po kroku
Krok 1. Zapisz na źródle pliku - pfp musi być zainstalowany tylko na ŹRÓDLE
wget <a href="https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp">https://raw.githubusercontent.com/hjmangalam/parsyncfp/master/parsyncfp</a> chmod +x parsyncfp
Krok 2. Skopiuj klucz na zdalną maszynę (może być konieczne wykonanie najpierw ssh-keygen)
ssh-keygen ssh-copy-id 1.1.1.1<strong> </strong>
Krok 3. Następnie należy zainstalować
apt-get install fpart
Krok 4. Jeśli nie jest dołączony do pakietów, można go znaleźć na stronie https://github.com/martymac/fp...running.
./parsyncfp --NP=10 --altcache=/dir/local/tmp --startdir='/dir/local/' www 192.168.67.1:/var/dir/
Kilka kluczowych terminów
- altcache - gdzie będą przechowywane pliki pośrednie. Ta opcja nie jest wymagana.
- NP - określa liczbę wątków.
- www - jest to folder, który zostanie skopiowany z /dir/local/ do /var/dir/ - można określić kilka folderów oddzielonych spacją.
Źródło: https://github.com/hjmangalam/parsyncfp
