Коли компанія продає не сервери, а результат — працюючі системи клієнтів, інфраструктура має бути передбачуваною за вартістю та керованою без зайвих ручних операцій. Цей кейс показує, як постачальник керованих IT-послуг із Чехії переніс системи своїх клієнтів від гіперскейлера на один орендований виділений сервер INTROSERV із приватною хмарою Apache CloudStack. Компанія отримала фіксований рахунок, ізоляцію клієнтів і вбудований облік споживання, одночасно знизивши витрати на інфраструктуру більш ніж у чотири-п’ять разів.
Контекст
Клієнт — постачальник керованих IT-послуг із Чехії. Компанія обслуговує кілька десятків B2B-клієнтів у регіоні та закриває для них увесь IT-контур: супровід робочих станцій і серверів, резервне копіювання, моніторинг, електронну пошту, облікові системи, VPN, підтримку внутрішніх застосунків. Обчислювальні ресурси для компанії — це інструмент, а не продукт: на віртуальних машинах працюють системи клієнтів, за які MSP відповідає відповідно до договорів супроводу.
Серверна частина систем клієнтів була розміщена у публічній хмарі AWS у регіоні Франкфурта. MSP створював інфраструктуру окремо для кожного клієнта та включав її вартість у щомісячний рахунок за супровід із націнкою, за оцінкою самого клієнта, у середньому близько 5%.
Цілі та результати
Цілі пілотного проєкту:
Проблема
Інфраструктура в публічній хмарі була для MSP наскрізною статтею витрат. Рахунок складався з десятків позицій і змінювався від місяця до місяця: погодинна оплата процесорів і пам’яті, окрема плата за вихідний трафік, сховище та снапшоти. Клієнту було неможливо назвати точну суму до кінця місяця. Зміни тарифів лягали на MSP, а заробіток на інфраструктурній частині контрактів обмежувався націнкою близько 5%.
Друга проблема — керування. Частина клієнтів хотіла самостійно створювати, зупиняти та відкотити свої віртуальні машини, не звертаючись до співробітників MSP. Надати клієнтам доступ до спільної інфраструктури MSP у хмарі було неприпустимо, а окремі акаунти для кожного клієнта вимагали окремого налаштування прав, окремих рахунків і бухгалтерського обліку для кожного клієнта.
MSP звернувся до INTROSERV із запитом на пілотний проєкт: орендувати виділений сервер у європейському дата-центрі та отримати на ньому готову приватну хмару як заміну гіперскейлеру для типових систем клієнтів із подальшим розширенням до кількох нод.
Конфігурація інфраструктури
INTROSERV надав в оренду виділений сервер у дата-центрі рівня Tier III у Нідерландах із гарантією доступності мережі 99,99%.
Основний сервер:
CPU: 2x Intel Xeon Gold 6130 — 32 фізичні ядра, 64 потоки, базова частота 2,10 ГГц, Turbo до 3,70 ГГц
RAM: 256 ГБ REG ECC DDR4 із можливістю розширення до 1 ТБ
NVMe: 2x 3,84 ТБ у програмному RAID 1 — 3,84 ТБ локального сховища для дисків VM
SATA: 4x 14 ТБ у програмному RAID 10 — 28 ТБ для резервних копій і вторинного сховища
Мережа: два порти 25 Гбіт/с, безлімітний трафік; приватна мережа VLAN 10 Гбіт/с
Керування: iDRAC
Захист від DDoS: 20 Гбіт/с
Резервоване живлення
Сервер для резервного копіювання віртуальних машин підключений до основного сервера через приватну мережу VLAN 10 Гбіт/с.
Сервіс резервного копіювання INTROSERV на базі NAKIVO Backup & Replication коштує €49 на місяць за 5 ТБ. Копіюється сервер цілком: операційна система хоста, конфігурація CloudStack, база даних сервера керування. У разі виходу сервера з ладу система розгортається на новому обладнанні з цієї копії, після чого віртуальні машини відновлюються з резервного сервера.
Конфігурація відповідає вимогам до відмовостійкості на рівні однієї машини:
Мережа: два незалежні порти 25 Гбіт/с об’єднані у відмовостійку зв’язку. Вихід з ладу одного порту або лінка не перериває роботу віртуальних машин.
Живлення: два блоки живлення. Вихід з ладу одного не зупиняє сервер.
Диски: усі накопичувачі знаходяться в RAID-масивах. Вихід з ладу одного NVMe або одного SATA-диска не призводить до втрати даних і не зупиняє сервер.
Сховище: диски віртуальних машин розміщені на локальному NVMe-масиві без мережевого сховища між гіпервізором і даними. Це забезпечує мінімальну затримку введення-виведення для баз даних та облікових систем клієнтів.
Резервні копії: копії віртуальних машин передаються на окремий фізичний сервер через приватну мережу 10 Гбіт/с, не займаючи зовнішні порти та не тарифікуючись. Копія сервера цілком зберігається у сховищі сервісу резервного копіювання обсягом 5 ТБ.
Рахунок за сервер покриває все, що у гіперскейлера оплачується окремими позиціями: трафік, резервування мережі та живлення, відмовостійкість дисків, швидке локальне сховище, приватну мережу до резервного сервера та віддалене керування через iDRAC. Дві позиції за резервне копіювання — фіксовані.
Рішення
Команда INTROSERV розгорнула на сервері Apache CloudStack у конфігурації single-node: сервер керування та хост KVM працюють на одній машині. Роботи виконувалися в межах послуги погодинного системного адміністрування, після налаштування керування платформою було передано клієнту.
Чому Apache CloudStack, а не Proxmox VE
Обидві платформи є відкритими та працюють на KVM. Proxmox VE поширюється за ліцензією AGPLv3 і працює без оплати; платна підписка на кожен процесорний сокет потрібна лише для доступу до корпоративного репозиторію оновлень і технічної підтримки виробника. Apache CloudStack поширюється за Apache License 2.0 без плати за сокети, ядра та VM. Вирішальними були не ліцензії, а чотири функції, які вбудовані в CloudStack, а в Proxmox VE потребують зовнішніх інструментів:
Мультитенантність. Домени, акаунти та проєкти з лімітами й квотами ресурсів для кожного клієнта. Клієнти, які хотіли самостійно керувати своїм парком VM, отримали власний акаунт із відповідною роллю: вони бачать лише свої ресурси, створюють і зупиняють VM, роблять снапшоти та відкат у межах виділеної квоти. Перевірку квоти виконує платформа, а не регламент.
Облік послуг. Вбудований Usage Server фіксує споживання процесорів, пам’яті, дисків і трафіку для кожного акаунта; плагін Quota веде баланс за тарифами. Дані для внутрішнього розрахунку собівартості та рахунків клієнтам беруться з платформи, а не збираються вручну.
Kubernetes. CloudStack Kubernetes Service розгортає та оновлює кластери Kubernetes для клієнтів із консолі або через API, із масштабуванням вузлів і підключенням дисків CloudStack як томів кластера. Клієнти з контейнерними застосунками отримують кластер без необхідності використовувати окрему платформу.
Мережеві сервіси. Ізольовані мережі з віртуальним маршрутизатором для кожного клієнта: firewall, NAT, балансування навантаження, VPN.
Підключення нового клієнта перетворилося на типову операцію: домен і акаунт, ізольована мережа з віртуальним маршрутизатором, квота, віртуальні машини з готового шаблону. Усе це виконується з консолі або через API та Terraform-провайдер за хвилини, а не за години ручного налаштування в консолі гіперскейлера. Снапшоти забезпечують можливість відкату перед оновленнями систем клієнтів, а шаблони — однакові базові образи для всіх.
Рівень відмовостійкості
Доступність систем важлива для клієнтів MSP, але тип навантажень — облікові системи, електронна пошта, внутрішні застосунки — не потребує високої доступності з автоматичним перезапуском віртуальних машин на іншому хості за лічені хвилини. Серед першої групи клієнтів немає систем безперервного циклу, де простій протягом кількох годин призводить до прямих втрат; для них прийнятним є планове вікно обслуговування або відновлення з резервної копії.
Тому кластер високої доступності для пілота визнали надлишковим: він потребує кількох нод і спільного сховища. Було обрано одну ноду з резервуванням на рівні машини, і такої конфігурації виявилося достатньо. Відмови компонентів закриті на апаратному рівні: два порти 25 Гбіт/с у зв’язці, два блоки живлення, усі диски в RAID-масивах. Деградація масиву та нестача ресурсів хоста відстежуються проактивним моніторингом, накопичувач замінюється до того, як проблема вплине на віртуальні машини.
Повна відмова сервера закрита двома рівнями резервних копій: копія хоста в NAKIVO розгортає операційну систему та CloudStack на новому сервері без повторного налаштування, а копії віртуальних машин повертають системи клієнтів до роботи. Кластер високої доступності запланований на етап розширення до кількох нод — хости додаються до того самого CloudStack без зміни платформи.
Виконані роботи
Підготовка сервера: встановлення ОС, програмних RAID-масивів (RAID 1 на NVMe, RAID 10 на SATA), об’єднання двох портів 25 Гбіт/с у відмовостійку зв’язку, налаштування приватної мережі VLAN до резервного сервера.
Встановлення сервера керування CloudStack та агента KVM на одній ноді, налаштування бази даних і системних VM.
Створення зони, поду та кластера; первинне сховище на NVMe-масиві, вторинне — на SATA-масиві.
Мережева модель: ізольовані мережі з віртуальним маршрутизатором для кожного клієнта, публічний діапазон IP-адрес, правила firewall та NAT.
Шаблони ОС (Ubuntu, Debian, AlmaLinux, Windows Server) і сервісні пропозиції для трьох типових розмірів VM.
Резервне копіювання віртуальних машин на окремий резервний сервер через приватну мережу 10 Гбіт/с; підключення сервера до сервісу резервного копіювання INTROSERV на базі NAKIVO із розкладом копіювання сервера цілком.
Домени та акаунти для клієнтів MSP, ролі та ліміти ресурсів, увімкнення Usage Server і плагіна Quota; увімкнення CloudStack Kubernetes Service та реєстрація ISO з бінарними файлами Kubernetes.
Проактивний моніторинг: стан операційної системи хоста (процесор, пам’ять, дисковий простір, мережеві інтерфейси, системні служби) та дискових масивів (стан RAID, показники SMART накопичувачів) із повідомленнями для інженерів INTROSERV.
Перевірка: тестові VM усіх трьох розмірів, снапшоти та відкат, доступ із зовнішньої мережі, перевірка резервного копіювання віртуальних машин і копії сервера цілком.
Передача клієнту: консоль CloudStack, API-ключі, документація щодо конфігурації, доступ до iDRAC.
Обсяг робіт — 16 годин. Після передачі INTROSERV підключається за сигналом моніторингу або на запит клієнта: заміна накопичувачів, оновлення гіпервізора та сервера керування, розширення конфігурації.
Розміщення віртуальних машин
У пілоті на ноду перенесено 20 VM для систем клієнтів трьох типових розмірів. Пам’ять виділяється без перепідписки: 64 ГБ залишаються для сервера керування, системних VM і наступних систем клієнтів. Диски всіх віртуальних машин розміщені на локальному NVMe-масиві сервера, і кожна VM отримує швидкість дискової підсистеми, за яку у гіперскейлера довелося б платити окремо за тарифом сховища з гарантованими IOPS.
Віртуальні процесори виділені з мінімальною перепідпискою — 72 vCPU на 64 потоки, при цьому фактичне завантаження процесора в робочий час не перевищує половини. На NVMe-масиві вільно близько 700 ГБ. Проєкт пілотний, і запас залишено навмисно: наступні системи клієнтів додаються на ту саму ноду без зміни конфігурації, а розширення пам’яті до 1 ТБ і додавання накопичувачів збільшують ємність ноди в кілька разів.
Власна інфраструктура як стратегічна перевага
Рішення, реалізоване командою INTROSERV, замінило гіперскейлера як постачальника обчислювальних ресурсів для систем клієнтів MSP. Один орендований сервер з Apache CloudStack прийняв першу групу з 20 віртуальних машин із запасом для зростання та рівнем відмовостійкості, що відповідає характеру навантажень.
Клієнт отримав те, чого не було в публічній хмарі: ізоляцію клієнтів та облік споживання на рівні платформи, самообслуговування для клієнтів із власними акаунтами, кластери Kubernetes із тієї ж консолі, проактивний моніторинг хоста та масивів. Резервування мережі та живлення, диски в RAID-масивах, локальне NVMe-сховище, безлімітні порти 25 Гбіт/с і захист від DDoS входять у вартість сервера.
Економіка
Через VPN-сервери клієнтів проходить основний обсяг трафіку: вихідний трафік ноди становить 20–35 ТБ на місяць. Еквівалентний набір ресурсів у попереднього постачальника — 20 віртуальних машин того самого профілю, сховище, снапшоти та такий обсяг вихідного трафіку за чинними тарифами регіону Франкфурта — коштує приблизно €4000–5100 на місяць, або близько €54 000 на рік. Від €1500 до €2600 цієї суми припадає на трафік: у гіперскейлера кожен гігабайт, переданий через VPN співробітникам клієнтів, оплачується окремо.
Витрати на INTROSERV — €1017 на місяць: оренда основного сервера €671, резервний сервер €157, резервне копіювання сервера цілком €49, решта — адміністрування за запитом і амортизація одноразового розгортання. Два порти 25 Гбіт/с із безлімітним трафіком входять в оренду сервера, тому обсяг вихідного трафіку систем клієнтів не впливає на рахунок — ні за 35, ні за 50 ТБ на місяць.
Показник | Гіперскейлер | INTROSERV + CloudStack |
На місяць | ~€4500 | €1017 |
На рік | ~€54 000 | €12 200 |
Кількість позицій у рахунку | десятки | 3–4 |
Собівартість 1 VM на місяць | ~€225 | €51 |
База витрат нижча у чотири-п’ять разів, сума фіксована та відома до початку місяця. Це дозволило клієнту включити інфраструктуру у фіксований платіж за супровід, запропонувати клієнтам вигідніші умови та підвищити прибутковість інфраструктурної частини контрактів. Із ростом портфеля розрив із гіперскейлером збільшується — рахунок за сервер не залежить від трафіку та зміни тарифів на інстанси. Вартість рішення повністю влаштувала клієнта.
Наступні кроки
Відкрита платформа без ліцензійних платежів закрила питання масштабування: розширення пам’яті до 1 ТБ збільшує ємність ноди в кілька разів, а друга нода додається до наявного кластера CloudStack без зміни інструменту. Дані клієнтів залишаються на виділених серверах у європейському дата-центрі в периметрі, який контролює клієнт. Для компанії, що працює з клієнтами в ЄС відповідно до вимог GDPR, це обов’язкова умова. За підсумками пілота MSP ухвалить рішення щодо переведення на CloudStack наступних груп систем клієнтів.
Ваша інфраструктура у гіперскейлера коштує дорожче, ніж мала б, а рахунок неможливо спрогнозувати? Довірте перехід команді INTROSERV: ми підберемо конфігурацію сервера, розгорнемо Apache CloudStack і передамо вам готову приватну хмару.
