U vremenu kada svaki sat zastoja znači propuštene rokove projekta, a brzina obrade videa izravno utječe na konkurentnost proizvoda, razvojni timovi medijskih aplikacija ne mogu se oslanjati na arhitekture opterećene cloud virtualizacijom, koja dovodi do nepredvidivih performansi i ograničenja u iskorištenju CPU-a.
Razvojni tim iz Njemačke zatražio je konfiguraciju K8s klastera na dediciranim poslužiteljima za svoju aplikaciju za video transkodiranje, budući da samo takvo rješenje osigurava potpuno iskorištenje računalnih resursa uz maksimalne I/O vrijednosti.
Ciljevi
-
Performanse: Postizanje maksimalne I/O brzine i potpunog iskorištenja CPU-a kroz izravan pristup hardveru, uklanjanjem virtualizacijskog overheada koji je kritičan za CPU-intenzivne zadatke transkodiranja.
-
Visoka dostupnost: Uklanjanje svih pojedinačnih točaka kvara na razini kontrolne ravnine i radnih čvorova, uz osiguravanje neprekidnog rada klastera. Cilj je bio postići maksimalne I/O i CPU performanse bez ugrožavanja otpornosti sustava.
-
Replikirana pohrana: Implementacija distribuirane trajne pohrane s replikacijom radi zaštite ključnih videozapisa i podataka aplikacije.
-
Predvidivi troškovi: Zamjena nepredvidivih cloud računa fiksnim, optimiziranim mjesečnim najmom dediciranih poslužitelja.
Rezultati
-
Puno iskorištenje CPU-a: Zaobilaskom virtualizacijskog sloja na radnim čvorovima, aplikacija je dobila izravan pristup računalnim resursima za maksimalne performanse transkodiranja.
-
Otpornost na kvarove: Inteligentnom raspodjelom resursa i sistemskih komponenti uklonjene su pojedinačne točke kvara sve do razine hosta.
-
Distribuirana pohrana: Implementacija Longhorna smanjila je overhead povezan s replikacijom podataka i osigurala zaštitu od gubitka videozapisa ili baze podataka čak i u slučaju kvara bilo kojeg čvora.
-
Transparentnost i predvidivi troškovi: Razvojnom timu, koji pruža usluge podrške za svoj proizvod, pojednostavljen je proces izračuna troškova rada i održavanja infrastrukture.
Kontekst
Razvojni tim radio je na implementaciji softverskog paketa za video transkodiranje s iznimno visokim zahtjevima za performanse platforme. Nakon nekoliko testova na klasičnoj cloud platformi, DevOps inženjeri klijenta suočili su se s nizom ograničenja koja su usporavala realizaciju projekta.
Kritično usporavanje radnih opterećenja aplikacije za transkodiranje i CI/CD procesa klijenta bilo je uzrokovano temeljnim ograničenjima cloud platforme.
Niske I/O performanse i „porez hipervizora”: Cloud okruženje sprječavalo je podove u korištenju pune brzine NVMe diskova za rad s velikim video datotekama. Stvarne I/O performanse bile su umjetno ograničene cloud limitima i overheadom virtualizacijskog sloja. Taj je sloj uzrokovao neprihvatljivu latenciju pri prijenosu izvornog videa i preuzimanju obrađenog sadržaja. Nadalje, klijent nije imao dovoljno računalnih resursa za paralelno transkodiranje zbog dva čimbenika: dio CPU performansi gubio se na virtualizaciju te, očito, zbog slabijih CPU-a na računalnim čvorovima cloud pružatelja.
Konfiguracija infrastrukture
Izazov
Za realizaciju projekta bilo je potrebno riješiti sljedeće izazove kako bi se osigurala potpuna prilagodba, kontrola i maksimalne performanse:
Odabrati optimalan hardver, uzimajući u obzir visoke zahtjeve za brzinom diskova za video datoteke i ukupne performanse klastera za CPU-intenzivne zadatke transkodiranja.
Konfigurirati mrežu s naglaskom na visoku dostupnost kako bi se uklonile pojedinačne točke kvara na razini kontrolne ravnine i radnih čvorova.
Implementirati produkcijski Kubernetes klaster na dediciranim poslužiteljima, primjenjujući najbolje prakse i distribuiranu trajnu pohranu s replikacijom radi zaštite ključnih videozapisa i podataka aplikacije.
Rješenje
Kao odgovor na zahtjev za platformom s maksimalnim I/O metrikama i računalnom snagom za aplikaciju za video transkodiranje, INTROSERV tim implementirao je visokoučinkovit Kubernetes klaster na dediciranim poslužiteljima.
Ključne komponente rješenja:
Optimizirani hardver: Odabrane su konfiguracije temeljene na visokofrekventnim AMD EPYC procesorima. Klaster se sastojao od 6 dediciranih poslužitelja – 3 master čvora i 3 radna čvora. Time je osigurana optimalna ravnoteža između troška i performansi za okruženje s velikim opterećenjem i CPU-intenzivnim zadacima transkodiranja.
Visoka dostupnost: Otpornost na kvarove postignuta je višeslojnom mrežnom konfiguracijom. Korišteni su Keepalived, HaProxy i MetalLB za uklanjanje pojedinačnih točaka kvara, čime je osiguran neprekidan rad klastera i balansiranje opterećenja.
Distribuirana pohrana: Implementirana je Longhorn distribuirana pohrana s replikacijom radi zaštite ključnih videozapisa i podataka aplikacije. Ovo rješenje smanjilo je overhead replikacije podataka i osiguralo zaštitu od gubitka podataka čak i u slučaju kvara bilo kojeg čvora.
Na taj je način INTROSERV klijentu osigurao platformu koja je uklonila virtualizacijski sloj na radnim čvorovima, omogućila podovima izravan pristup hardveru te implementirala topologiju otpornu na kvarove u skladu s industrijskim najboljim praksama.
Kubernetes na bare metalu: Maksimalne performanse bez kompromisa
Zahvaljujući visokoj razini stručnosti i prilagodljivosti INTROSERV tima, implementacija Kubernetes klastera uspješno je dovršena unatoč specifičnim složenostima takvog rješenja.
Prelazak na INTROSERV dedicirane poslužitelje omogućio je razvojnom timu medijske aplikacije postizanje maksimalnih performansi, nedostižnih u cloud okruženju, te potpunu kontrolu nad infrastrukturom.
-
Puno iskorištenje CPU-a postignuto je izravnim pristupom računalnim resursima. Aplikacija za transkodiranje mogla je koristiti svih 32 threada AMD EPYC procesora na svakom radnom čvoru bez virtualizacijskog overheada. Vrijeme obrade tipičnih zadataka transkodiranja smanjeno je 4–5 puta u usporedbi s cloud okruženjem.
-
Pojedinačne točke kvara uklonjene su na razini hosta, a pouzdana zaštita videozapisa i podataka aplikacije osigurana je zahvaljujući Longhorn distribuiranoj pohrani s trostrukom replikacijom.
-
Klijent je prešao s nepredvidivih cloud računa na fiksno, optimizirano plaćanje najma fizičkih poslužitelja.
Za odabir optimalne infrastrukture za vaš projekt, obratite se INTROSERV prodajnom odjelu.
