Platforma HA za prekodiranje videa: Zagotavljanje zmogljive gruče Kubernetes na namenskih strežnikih

Preberite 6 min.

V času, ko vsaka ura izpada pomeni zamujanje projektnih rokov, hitrost obdelave videa pa neposredno vpliva na konkurenčnost izdelkov, se razvijalci medijskih aplikacij ne morejo zanašati na arhitekture, ki so obremenjene z režijskimi stroški virtualizacije v oblaku, kar povzroča nepredvidljivo zmogljivost in omejitve pri uporabi procesorja.

Razvojna skupina iz Nemčije je za svojo aplikacijo za prekodiranje videa zahtevala konfiguracijo gruče K8s na namenskih strežnikih, saj le ta rešitev zagotavlja polno izkoriščenost računalniških virov z največjimi vrednostmi vhodno-izhodnih podatkov.

Cilji

Uspešnost: V okviru projekta je bilo v letu 2015 na voljo več kot 30 milijonov delovnih mest: Doseči največjo hitrost vhodno-izhodnih operacij in polno izkoriščenost procesorja z neposrednim dostopom do strojne opreme, pri čemer se odpravijo režijski stroški virtualizacije, ki so ključni za naloge prekodiranja, ki zahtevajo veliko procesorja.
Visoka razpoložljivost: Odpraviti vse posamezne točke odpovedi na ravni nadzorne ravnine in delovnih vozlišč ter tako zagotoviti neprekinjeno delovanje gruče. Cilj je bil zagotoviti, da doseganje največje zmogljivosti vhodno/izhodnih podatkov in procesorja ne ogrozi odpornosti na napake.
Replicirano shranjevanje: Izvedba porazdeljene trajne shrambe z replikacijo za zaščito kritičnih video datotek in aplikacijskih podatkov.
Predvidljivost stroškov: Zamenjava nepredvidljivih računov v oblaku s fiksnim, optimiziranim najemnim plačilom za namenske strežnike.

Rezultati

Polna izkoriščenost procesorja: Razvijalec je z izogibanjem plasti virtualizacije na delovnih vozliščih svoji aplikaciji zagotovil neposreden dostop do računalniških virov za največjo zmogljivost prekodiranja.
Odpornost na napake: S pametno porazdelitvijo virov in sistemskih komponent so bile odpravljene posamezne točke odpovedi do ravni gostitelja.
Porazdeljeno shranjevanje: Izvedba Longhorna je zmanjšala režijske stroške, povezane z replikacijo podatkov, in zaščitila pred izgubo video datotek ali podatkovne zbirke, tudi če bi katero koli vozlišče odpovedalo.
Preglednost in predvidljivost stroškov: Za ekipo razvijalcev, ki zagotavlja storitve podpore za svoj izdelek, je bil poenostavljen postopek določanja stroškov dela in stroškov vzdrževanja infrastrukture.

Kontekst

Razvijalec je delal na uvajanju programskega paketa za prekodiranje videoposnetkov z izjemnimi zahtevami glede zmogljivosti platforme. Po več preizkusih na običajni platformi v oblaku so naročnikovi inženirji DevOps naleteli na vrsto omejitev, ki so ovirale izvajanje projekta.

Kritično upočasnitev delovnih obremenitev aplikacije za prekodiranje in naročnikovih procesov CD/CI so povzročile temeljne omejitve platforme v oblaku.

Nizka zmogljivost I/O in "davek na hipervizor": Okolje v oblaku je strojem preprečevalo, da bi za obdelavo velikih video datotek uporabljali celotno hitrost pogonov NVMe. Dejansko zmogljivost I/O so umetno omejevale omejitve oblaka in režijski stroški virtualizacijskega sloja. Ta plast je prispevala k nesprejemljivim zakasnitvam med nalaganjem izvornega videoposnetka in prenašanjem obdelane vsebine. Poleg tega odjemalec ni imel dovolj računskih virov za vzporedno prekodiranje zaradi dveh dejavnikov: del procesorske zmogljivosti je bil izgubljen zaradi virtualizacije in očitno zaradi premalo zmogljivih procesorjev na računskih vozliščih ponudnika oblaka.

Konfiguracija infrastrukture

Izziv

Za uresničitev projekta je bilo treba za zagotovitev popolne prilagodljivosti, nadzora in največje zmogljivosti obravnavati naslednje izzive:

izbrati optimalno strojno opremo, pri čemer je bilo treba upoštevati visoke zahteve glede hitrosti pogona za video datoteke in splošne zmogljivosti gruče za naloge prekodiranja, ki zahtevajo veliko procesorjev.

konfigurirati omrežje z upoštev anjem zahtev povisoki razpoložljivosti , da bi odpravili posamezne točke odpovedi na ravni nadzorne ravnine in na ravni delavcev.

Na namenskih strežnikih namestite gručo Kubernetes, ki je pripravljena za produkcijo, pri čemer upoštevajte najboljše prakse in implementirajte porazdeljeno trajno shrambo z replikacijo za zaščito kritičnih video datotek in podatkov aplikacije.

Rešitev

Kot odgovor na zahtevo po platformi z največjimi vhodno-izhodnimi metrikami in računsko močjo za aplikacijo za prekodiranje videoposnetkov je ekipa INTROSERV-a namestila visoko zmogljivo gručo Kubernetes na namenskih strežnikih.

Ključni sestavni deli rešitve:

Optimizirana strojna oprema: Izbrane so bile konfiguracije, ki temeljijo na visokofrekvenčnih procesorjih AMD EPYC. Grozd je bil sestavljen iz 6 namenskih strežnikov - 3 glavnih vozlišč in 3 delovnih vozlišč. S tem je bilo zagotovljeno optimalno ravnovesje med stroški in zmogljivostjo za visoko obremenjeno okolje z nalogami prekodiranja, ki zahtevajo veliko procesorjev.

Visoka razpoložljivost: Odpornost na napake je bila dosežena z večplastno omrežno konfiguracijo. Uporabljeni so bili Keepalived, HaProxy in MetalLB za odpravo posameznih točk odpovedi, kar je zagotavljalo neprekinjeno delovanje gruče in izravnavo obremenitve.

Porazdeljeno shranjevanje: Za zaščito kritičnih video datotek in aplikacijskih podatkov je bilo uvedeno porazdeljeno shranjevanje Longhorn z replikacijo. Ta rešitev je zmanjšala splošne stroške, povezane z repliciranjem podatkov, in zagotovila varnost pred izgubo podatkov tudi v primeru odpovedi katerega koli vozlišča.

Tako je INTROSERV stranki zagotovil platformo, ki je odpravila plast virtualizacije na delovnih vozliščih, s čimer je strokom omogočila neposreden dostop do strojne opreme, in izvedla topologijo, odporno na napake, v skladu z najboljšimi industrijskimi praksami.

Kubernetes na goli kovini: Kernet: največja zmogljivost brez kompromisov

Zahvaljujoč strokovni ravni in prilagodljivosti ekipe INTROSERV je bila namestitev gruče Kubernetes uspešno izvedena kljub posebni kompleksnosti takšne rešitve.

Prehod na namenske strežnike INTROSERV je ekipi za razvoj medijskih aplikacij omogočil, da je dosegla največjo zmogljivost, ki je v okolju v oblaku ni bilo mogoče doseči, in pridobila popoln nadzor nad svojo infrastrukturo.

Z neposrednim dostopom do računskih virov je bila dosežena polna izkoriščenost procesorja. Aplikacija za prekodiranje je lahko uporabljala vseh 32 niti procesorjev AMD EPYC na vsakem delovnem vozlišču brez navlake virtualizacije. Čas obdelave tipičnih nalog prekodiranja se je v primerjavi z okoljem v oblaku skrajšal za 4 do 5-krat.
Enotne točke odpovedi so bile odpravljene na ravni gostitelja, zanesljiva zaščita video datotek in podatkov aplikacije pa je bila zagotovljena zaradi porazdeljenega pomnilnika Longhorn s trojno replikacijo.
Stranka je prešla z nepredvidljivih računov v oblaku na fiksno, optimizirano najemnino za fizične strežnike.

Če želite izbrati optimalno infrastrukturo za svoj projekt, se obrnite na prodajni oddelek podjetja INTROSERV oddelek podjetja INTROSERV.