Когда компания продает не серверы, а результат – работающие системы заказчиков, инфраструктура должна быть предсказуемой по цене и управляемой без лишних рук. Этот кейс показывает, как поставщик управляемых IT-услуг из Чехии перенес системы своих заказчиков от гиперскейлера на один арендованный выделенный сервер INTROSERV с приватным облаком Apache CloudStack. Компания получила фиксированный счет, изоляцию заказчиков и встроенный учет потребления при расходах на инфраструктуру более чем в четыре–пять раз ниже прежних.
Контекст
Клиент – поставщик управляемых IT-услуг из Чехии. Компания обслуживает несколько десятков B2B-заказчиков в регионе и закрывает для них весь IT-контур: сопровождение рабочих мест и серверов, резервное копирование, мониторинг, почту, учетные системы, VPN, поддержку внутренних приложений. Вычислительные ресурсы для компании – инструмент, а не продукт: на виртуальных машинах работают системы заказчиков, за которые MSP отвечает по договорам сопровождения.
Серверная часть систем заказчиков размещалась в публичном облаке AWS в регионе Франкфурт. MSP заводил инфраструктуру под каждого заказчика отдельно и включал ее стоимость в ежемесячный счет за сопровождение с надбавкой, по оценке самого клиента, в среднем около 5%.
Цели и результаты
Проблема
Инфраструктура в публичном облаке была для MSP сквозной статьей расходов. Счет формировался из десятков позиций и менялся от месяца к месяцу: почасовая оплата процессоров и памяти, отдельная плата за исходящий трафик, за хранилище и за снапшоты. Заказчику невозможно было назвать точную сумму до конца месяца. Изменения тарифов ложились на MSP, а заработок на инфраструктурной части контрактов ограничивался надбавкой около 5%.
Вторая проблема – управление. Часть заказчиков хотела сама создавать, останавливать и откатывать свои виртуальные машины, не обращаясь к сотрудникам MSP. Выдавать заказчикам доступ в общую инфраструктуру MSP в облаке было недопустимо, а отдельные аккаунты под каждого требовали отдельной настройки прав, отдельных счетов и отдельной бухгалтерии на каждого заказчика.
MSP обратился в INTROSERV с запросом на пилотный проект: арендовать выделенный сервер в европейском дата-центре и получить на нем готовое приватное облако как замену гиперскейлеру для типовых систем заказчиков, с последующим расширением до нескольких нод.
Конфигурация инфраструктуры
INTROSERV предоставил в аренду выделенный сервер в дата-центре уровня Tier III в Нидерландах с гарантией доступности сети 99,99%.
Основной сервер:
- CPU: 2x Intel Xeon Gold 6130 – 32 физических ядра, 64 потока, базовая частота 2,10 ГГц, турбо 3,70 ГГц
- RAM: 256 ГБ REG ECC DDR4, с возможностью расширения до 1 ТБ
- NVMe: 2x 3,84 ТБ в программном RAID 1 – 3,84 ТБ локального хранилища под диски VM
- SATA: 4x 14 ТБ в программном RAID 10 – 28 ТБ под резервные копии и вторичное хранилище
- Сеть: два порта 25 Гбит/с, безлимитный трафик; приватная сеть VLAN 10 Гбит/с
- Управление: iDRAC
- Защита от DDoS: 20 Гбит/с
- Резервированное питание
Сервер под резервные копии виртуальных машин подключен к основному по приватной сети VLAN 10 Гбит/с.
Сервис резервного копирования INTROSERV на базе NAKIVO Backup & Replication – €49 в месяц за 5 ТБ. Копируется сервер целиком: операционная система хоста, конфигурация CloudStack, база данных сервера управления. В случае выхода из строя сервера система разворачивается на новом оборудовании из этой копии, после чего виртуальные машины восстанавливаются с резервного сервера.
Конфигурация закрывает требования к отказоустойчивости на уровне одной машины:
Сеть: два независимых порта 25 Гбит/с объединены в отказоустойчивую связку. Выход из строя одного порта или линка не прерывает работу виртуальных машин.
Питание: два блока питания. Отказ одного не останавливает сервер.
Диски: все накопители в RAID-массивах. Отказ одного NVMe или одного SATA-диска не приводит к потере данных и не останавливает сервер.
Хранилище: диски виртуальных машин лежат на локальном NVMe-массиве без сетевого хранилища между гипервизором и данными. Это дает минимальную задержку ввода-вывода для баз данных и учетных систем заказчиков.
Резервные копии: копии виртуальных машин уходят на отдельный физический сервер по приватной сети 10 Гбит/с, не занимая внешние порты и не тарифицируясь. Копия сервера целиком хранится в хранилище сервиса резервного копирования объемом 5 ТБ.
Счет за сервер покрывает все, что у гиперскейлера оплачивается отдельными строками: трафик, резервирование сети и питания, отказоустойчивость дисков, быстрое локальное хранилище, приватную сеть до резервного сервера и удаленное управление через iDRAC. Две позиции за резервное копирование – фиксированные.
Решение
Команда INTROSERV развернула на сервере Apache CloudStack в конфигурации single-node: сервер управления и хост KVM работают на одной машине. Работы выполнены в рамках услуги почасового системного администрирования, после настройки управление платформой передано клиенту.
Почему Apache CloudStack, а не Proxmox VE
Обе платформы открытые и работают на KVM. Proxmox VE распространяется под AGPLv3 и работает без оплаты; платная подписка на каждый процессорный сокет нужна только для доступа к корпоративному репозиторию обновлений и технической поддержке вендора. Apache CloudStack распространяется под Apache License 2.0 без платы за сокеты, ядра и VM. Решающими стали не лицензии, а четыре функции, которые в CloudStack встроены в платформу, а в Proxmox VE требуют внешних инструментов:
Мультитенантность. Домены, Аккаунты и Проекты с лимитами и квотами ресурсов на каждого заказчика. Заказчики, которые хотели управлять своим парком VM самостоятельно, получили собственный аккаунт с ролью: видят только свои ресурсы, создают и останавливают VM, делают снапшоты и откат в пределах выделенной квоты. Проверку квоты выполняет платформа, а не регламент.
Учет услуг. Встроенный Usage Server фиксирует потребление процессоров, памяти, дисков и трафика по каждому аккаунту; плагин Quota ведет баланс по тарифам. Данные для внутренней себестоимости и счетов заказчикам берутся из платформы, а не собираются вручную.
Kubernetes. CloudStack Kubernetes Service разворачивает и обновляет кластеры Kubernetes для заказчиков из консоли или через API, с масштабированием узлов и подключением дисков CloudStack как томов кластера. Заказчики с контейнерными приложениями получают кластер без необходимости использовать отдельную платформу.
Сетевые сервисы. Изолированные сети с виртуальным роутером под каждого заказчика: firewall, NAT, балансировка нагрузки, VPN.
Подключение нового заказчика превратилось в типовую операцию: домен и аккаунт, изолированная сеть с виртуальным роутером, квота, виртуальные машины из готового шаблона. Все это выполняется из консоли или через API и Terraform-провайдер за минуты, а не за часы ручной настройки в консоли гиперскейлера. Снапшоты дают откат перед обновлениями систем заказчиков, шаблоны – одинаковые базовые образы для всех.
Уровень отказоустойчивости
Доступность систем для заказчиков MSP важна, но тип нагрузок – учетные системы, почта, внутренние приложения – не требует высокой доступности с автоматическим перезапуском виртуальных машин на другом хосте за считанные минуты. Систем непрерывного цикла, где простой в несколько часов приводит к прямым потерям, у заказчиков первой группы нет; плановое окно или восстановление из резервной копии для них приемлемы.
Поэтому кластер высокой доступности для пилота признан избыточным: он требует нескольких нод и общего хранилища. Выбрана одна нода с резервированием на уровне машины, и такой конфигурации оказалось достаточно. Отказы компонентов закрыты аппаратно: два порта 25 Гбит/с в связке, два блока питания, все диски в RAID-массивах. Деградация массива и нехватка ресурсов хоста отслеживаются проактивным мониторингом, накопитель заменяется до того, как проблема затронет виртуальные машины. Отказ сервера целиком закрыт двумя уровнями резервных копий: копия хоста в NAKIVO разворачивает операционную систему и CloudStack на новом сервере без повторной настройки, копии виртуальных машин возвращают системы заказчиков в работу. Кластер высокой доступности запланирован на этап расширения до нескольких нод – хосты добавляются в тот же CloudStack без смены платформы.
Выполненные работы
Подготовка сервера: установка ОС, программные RAID-массивы (RAID 1 на NVMe, RAID 10 на SATA), объединение двух портов 25 Гбит/с в отказоустойчивую связку, настройка приватной сети VLAN до резервного сервера.
Установка сервера управления CloudStack и агента KVM на одной ноде, настройка базы данных и системных VM.
Создание зоны, пода и кластера; первичное хранилище на NVMe-массиве, вторичное – на SATA-массиве.
Сетевая модель: изолированные сети с виртуальным роутером под каждого заказчика, публичный диапазон адресов, правила firewall и NAT.
Шаблоны ОС (Ubuntu, Debian, AlmaLinux, Windows Server) и сервисные предложения под три типовых размера VM.
Резервное копирование виртуальных машин на отдельный резервный сервер по приватной сети 10 Гбит/с; подключение сервера к сервису резервного копирования INTROSERV на базе NAKIVO с расписанием копий сервера целиком.
Домены и Аккаунты под заказчиков MSP, роли и лимиты ресурсов, включение Usage Server и плагина Quota; включение CloudStack Kubernetes Service и регистрация ISO с бинарными файлами Kubernetes.
Проактивный мониторинг: состояние операционной системы хоста (процессор, память, дисковое пространство, сетевые интерфейсы, системные службы) и дисковых массивов (состояние RAID, SMART-показатели накопителей) с уведомлением инженеров INTROSERV.
Проверка: тестовые VM всех трех размеров, снапшоты и откат, доступ из внешней сети, отработка резервного копирования виртуальных машин и копии сервера целиком.
Передача клиенту: консоль CloudStack, API-ключи, документация по конфигурации, доступ к iDRAC.
Объем работ – 16 часов. После передачи INTROSERV подключается по сигналу мониторинга или по запросу клиента: замена накопителей, обновления гипервизора и сервера управления, расширение конфигурации.
Размещение виртуальных машин
В пилоте на ноду перенесены 20 VM под системы заказчиков трех типовых размеров. Память выделяется без переподписки: 64 ГБ остаются под сервер управления, системные VM и следующие системы заказчиков. Диски всех виртуальных машин размещены на локальном NVMe-массиве сервера, и каждая VM получает скорость дисковой подсистемы, за которую у гиперскейлера пришлось бы платить отдельно по тарифу хранилища с гарантированными IOPS.
Виртуальные процессоры выделены с минимальной переподпиской – 72 vCPU на 64 потока, при этом фактическая загрузка процессора в рабочее время не превышает половины. На NVMe-массиве свободно около 700 ГБ. Проект пилотный, и запас оставлен намеренно: следующие системы заказчиков добавляются на ту же ноду без изменения конфигурации, а расширение памяти до 1 ТБ и добавление накопителей увеличивают емкость ноды в несколько раз.
Собственная инфраструктура как стратегическое преимущество
Реализованное командой INTROSERV решение заменило гиперскейлер в роли поставщика вычислительных ресурсов для систем заказчиков MSP. Один арендованный сервер с Apache CloudStack принял первую группу из 20 виртуальных машин с запасом на рост и уровнем отказоустойчивости, соответствующим характеру нагрузок. Клиент получил то, чего не было в публичном облаке: изоляцию заказчиков и учет потребления на уровне платформы, самообслуживание для заказчиков с собственными аккаунтами, кластеры Kubernetes из той же консоли, проактивный мониторинг хоста и массивов. Резервирование сети и питания, диски в RAID-массивах, локальное NVMe-хранилище, безлимитные порты 25 Гбит/с и защита от DDoS входят в стоимость сервера.
Экономика
Через VPN-серверы заказчиков проходит основной объем трафика: исходящий трафик ноды составляет 20 – 35 ТБ в месяц. Эквивалентный набор ресурсов у прежнего поставщика – 20 виртуальных машин того же профиля, хранилище, снапшоты и такой объем исходящего трафика по действующим тарифам региона Франкфурт – обходится примерно в €4000 – 5100 в месяц, или около €54000 в год. От €1500 до €2600 из этой суммы – трафик: у гиперскейлера каждый гигабайт, отданный через VPN сотрудникам заказчиков, оплачивается отдельно.
Расходы на INTROSERV – €1017 в месяц: аренда основного сервера €671, резервный сервер €157, резервное копирование сервера целиком €49, остальное – администрирование по запросу и амортизация разового развертывания. Два порта 25 Гбит/с с безлимитным трафиком входят в аренду сервера, поэтому объем исходящего трафика систем заказчиков не влияет на счет ни при 35, ни при 50 ТБ в месяц.
Показатель | Гиперскейлер | INTROSERV + CloudStack |
В месяц | ~€4500 | €1017 |
В год | ~€54000 | €12200 |
Позиций в счете | десятки | 3 - 4 |
Себестоимость 1 VM в месяц | ~€225 | €51 |
База расходов ниже в четыре–пять раз, сумма фиксированная и известна до начала месяца. Это позволило клиенту включить инфраструктуру в фиксированный платеж за сопровождение, предложить заказчикам более выгодные условия и повысить доходность инфраструктурной части контрактов. При росте портфеля разрыв с гиперскейлером увеличивается – счет за сервер не зависит от трафика и изменения тарифов на инстансы. Стоимость решения полностью устроила клиента.
Следующие шаги
Открытая платформа без лицензионных платежей закрыла вопрос масштабирования: расширение памяти до 1 ТБ увеличивает емкость ноды в несколько раз, а вторая нода добавляется в существующий кластер CloudStack без смены инструмента. Данные заказчиков остаются на выделенных серверах в европейском дата-центре в периметре, который контролирует клиент. Для компании, работающей с заказчиками в ЕС по требованиям GDPR, это обязательное условие. По итогам пилота MSP примет решение о переводе на CloudStack следующих групп систем заказчиков.
Ваша инфраструктура у гиперскейлера стоит дороже, чем должна, а счет невозможно предсказать? Доверьте переход команде INTROSERV: мы подберем конфигурацию сервера, развернем Apache CloudStack и передадим вам готовое приватное облако.
