Her bir saatlik kesinti süresinin proje teslim tarihlerinin kaçırılması anlamına geldiği ve video işleme hızının ürün rekabetçiliğini doğrudan etkilediği bir çağda, medya uygulama geliştiricileri, öngörülemeyen performansa ve CPU kullanımında sınırlamalara neden olan bulut sanallaştırma ek yükünün yüklediği mimarilere güvenemez.
Almanya'dan bir geliştirme ekibi, video kod dönüştürme uygulamaları için özel sunucularda bir K8s kümesinin yapılandırılmasını talep etti, çünkü bu çözüm tek başına maksimum I/O değerleriyle bilgi işlem kaynaklarının tam olarak kullanılmasını sağlıyor.
Hedefler
-
Performans: CPU yoğun kod dönüştürme görevleri için kritik olan sanallaştırma ek yükünü ortadan kaldırarak, doğrudan donanım erişimi yoluyla maksimum G/Ç hızı ve tam CPU kullanımı elde edin.
-
Yüksek Kullanılabilirlik: Hem kontrol düzleminde hem de çalışan düğüm seviyelerinde tüm tek arıza noktalarını ortadan kaldırarak kümenin sürekli çalışmasını sağlayın. Amaç, maksimum I/O ve CPU performansına ulaşmanın hata toleransından ödün vermemesini sağlamaktı.
-
Çoğaltılmış Depolama: Kritik video dosyalarını ve uygulama verilerini korumak için çoğaltma ile dağıtılmış kalıcı depolama uygulayın.
-
Maliyet Öngörülebilirliği: Tahmin edilemeyen bulut faturalarını, özel sunucular için sabit, optimize edilmiş bir kira ödemesi ile değiştirin.
Sonuçlar
-
Tam CPU Kullanımı: Geliştirici, çalışan düğümlerdeki sanallaştırma katmanını atlayarak, maksimum kod dönüştürme performansı için uygulamasına işlem kaynaklarına doğrudan erişim sağladı.
-
Hata Toleransı: Akıllı kaynak ve sistem bileşeni dağıtımı sayesinde tek hata noktaları ana bilgisayar seviyesine kadar ortadan kaldırıldı.
-
Dağıtılmış Depolama: Longhorn uygulaması, veri replikasyonuyla ilişkili ek yükü azalttı ve herhangi bir düğüm başarısız olsa bile video dosyalarının veya veritabanının kaybına karşı koruma sağladı.
-
Şeffaflık ve Maliyet Öngörülebilirliği: Ürünleri için destek hizmetleri sağlayan geliştirici ekip için iş maliyetini ve altyapı bakım giderlerini belirleme süreci basitleştirildi.
Bağlam
Geliştirici, olağanüstü platform performansı gereksinimleri olan video kod dönüştürme için bir yazılım paketinin dağıtımı üzerinde çalışıyordu. Geleneksel bir bulut platformunda yapılan birkaç testten sonra, müşterinin DevOps mühendisleri projenin uygulanmasını engelleyen bir dizi sınırlamayla karşılaştı.
Kod dönüştürme uygulamasının iş yüklerindeki ve müşterinin CD/CI süreçlerindeki kritik yavaşlama, bulut platformunun temel sınırlamalarından kaynaklanıyordu.
Düşük I/O Performansı ve "Hipervizör Vergisi": Bulut ortamı, podların büyük video dosyalarını işlemek için NVMe sürücülerinin tam hızını kullanmasını engelledi. Gerçek I/O performansı, bulut limitleri ve sanallaştırma katmanının ek yükü nedeniyle yapay olarak kısıtlandı. Bu katman, kaynak videonun yüklenmesi ve işlenmiş içeriğin indirilmesi sırasında kabul edilemez gecikmelere katkıda bulundu. Ayrıca, istemci iki faktör nedeniyle paralel kod dönüştürme için yeterli işlem kaynağından yoksundu: CPU performansının bir kısmı sanallaştırma nedeniyle kaybedildi ve görünüşe göre bulut sağlayıcısının işlem düğümlerindeki düşük performanslı CPU'lar nedeniyle.
Altyapı Yapılandırması
Meydan okuma
Projeyi gerçekleştirmek için tam özelleştirme, kontrol ve maksimum performans sağlamak üzere aşağıdaki zorlukların ele alınması gerekiyordu:
Video dosyaları için yüksek sürücü hızı gereksinimleri ve CPU yoğun kod dönüştürme görevleri için genel küme performansı göz önünde bulundurularak enuygun donanımın seçilmesi.
Kontrol düzlemi ve çalışan seviyelerindeki tek hata noktalarını ortadan kaldırmak içinağı yüksek kullanılabilirlik gereksinimlerini göz önünde bulundurarakyapılandırın .
Özel sunuculardaüretime hazır bir Kubernetes kümesi dağıtın, en iyi uygulamaları birleştirin ve kritik video dosyalarını ve uygulama verilerini korumak için çoğaltma ile dağıtılmış kalıcı depolama uygulayın.
Çözüm
INTROSERV ekibi, video kod dönüştürme uygulaması için maksimum G/Ç ölçümlerine ve işlem gücüne sahip bir platform talebine yanıt olarak, özel sunucular üzerinde yüksek performanslı bir Kubernetes kümesi kurdu.
Temel Çözüm Bileşenleri:
Optimize Edilmiş Donanım: Yüksek frekanslı AMD EPYC işlemcilere dayalı konfigürasyonlar seçildi. Küme, 3 ana düğüm ve 3 çalışan düğüm olmak üzere 6 özel sunucudan oluşuyordu. Bu, CPU yoğun kod dönüştürme görevlerinin bulunduğu yüksek yüklü bir ortam için maliyet ve performans arasında optimum bir denge sağladı.
Yüksek Kullanılabilirlik: Hata toleransı, çok katmanlı bir ağ yapılandırmasıyla elde edildi. Keepalived, HaProxy ve MetalLB, tek arıza noktalarını ortadan kaldırmak, sürekli küme çalışmasını ve yük dengelemesini garanti etmek için kullanıldı.
Dağıtılmış Depolama: Kritik video dosyalarını ve uygulama verilerini korumak için replikasyonlu Longhorn dağıtılmış depolama uygulandı. Bu çözüm, veri replikasyonuyla ilişkili ek yükü azalttı ve herhangi bir düğüm arızası durumunda bile veri kaybına karşı güvenlik sağladı.
Böylece INTROSERV, müşteriye çalışan düğümlerdeki sanallaştırma katmanını ortadan kaldıran, pod'lara donanıma doğrudan erişim sağlayan ve sektördeki en iyi uygulamalara uygun olarak hataya dayanıklı bir topoloji uygulayan bir platform sağladı.
Çıplak Metal Üzerinde Kubernetes: Ödün Vermeden Maksimum Performans
INTROSERV ekibinin uzmanlık düzeyi ve uyarlanabilirliği sayesinde Kubernetes Kümesinin kurulumu, böyle bir çözümün kendine özgü karmaşıklıklarına rağmen başarıyla tamamlandı.
INTROSERV özel sunucularına geçiş, medya uygulaması geliştirme ekibinin bulut ortamında ulaşılamayan maksimum performansa ulaşmasını ve altyapıları üzerinde tam kontrol sahibi olmalarını sağladı.
-
İşlem kaynaklarına doğrudan erişim sayesinde tam CPU kullanımı elde edildi. Kod dönüştürme uygulaması, sanallaştırma ek yükü olmadan her bir işçi düğümündeki AMD EPYC işlemcilerin 32 iş parçacığının tamamını kullanabildi. Tipik kod dönüştürme görevleri için işlem süresi bulut ortamına kıyasla 4-5 kat azaldı.
-
Ana bilgisayar düzeyinde tek hata noktaları ortadan kaldırıldı ve üçlü replikasyonlu Longhorn dağıtılmış depolama sayesinde video dosyalarının ve uygulama verilerinin güvenilir şekilde korunması sağlandı.
-
Müşteri, öngörülemeyen bulut faturalarından fiziksel sunucular için sabit, optimize edilmiş bir kira ödemesine geçiş yaptı.
Projeniz için en uygun altyapıyı seçmek için lütfen INTROSERV satış departmanıyla iletişime geçin.
