Інфраструктура для розробки AI-агентів і застосунків: впровадження приватного AI-сервера з платформою віртуалізації на базі Proxmox VE
У світі, де штучний інтелект стає ключовим рушієм інновацій, швидкість та надійність інфраструктури визначають успіх проєкту. Команда розробників із Данії зіткнулася з необхідністю розгортання апаратної платформи для створення аналітичних застосунків на базі нейромережі YOLO.
Проєкт був дуже цікавим своїм прикладним значенням для бізнесу, і команда INTROSERV без зволікання розпочала підбір та налаштування платформи згідно з технічним завданням замовника.
Цілі:
Підготовка серверної платформи для розробки ПЗ з використанням нейромережі YOLO
- Підібрати відповідну платформу
- Вибір конфігурації сервера з GPU у межах прийнятного бюджету для взаємодії з нейромережею YOLO
- Платформа віртуалізації
- Розробка ПЗ вимагала кількох віртуальних машин для різних підрозділів команди
- Захищене підключення між ЦОД та офісом команди розробників
- Для захисту конфіденційної інформації потрібно було організувати зашифрований канал обміну даними
- Резервування на рівні дискової підсистеми
- Хоча проєкт і не передбачає використання розпізнавання об’єктів у режимі реального часу, тривалі простої через перевстановлення та повторне налаштування хоста є вкрай небажаними
- Бекап і швидке відновлення у разі збою
- Проєкт передбачає безліч налаштувань у межах кожної ВМ, тому для швидкого відновлення роботи платформи у разі збою потрібно мати надійне джерело відновлення
- Стабільне мережеве підключення
- Джерелом даних для розробки застосунків є відео та великий обсяг фото. Важливо було покрити потреби кількох паралельних відеопотоків, а також залишити запас для зручної віддаленої роботи
Результати:
Впровадження GPU-сервера з Proxmox VE та безпечна робота команди розробників
- Підібрано відповідну платформу
- Встановлено виділений сервер із двома графічними процесорами NVIDIA RTX 2080Ti, з достатньою продуктивністю для обробки відео та фото за допомогою нейромережі YOLO
- Для управління ВМ розгорнуто гіпервізор Proxmox VE
- Це рішення з відкритим вихідним кодом, яке дозволяє виконувати проброс графічних прискорювачів у віртуальну машину
- Налаштовано VPN-сервер та активовано VPN-тунель
- Увесь трафік між сервером і офісом розробників проходить виключно в рамках WireGuard-тунелю
- Налаштовано RAID1 для всіх груп накопичувачів сервера
- Усунено єдині точки відмови у вигляді виходу з ладу диска. Підключено проактивний моніторинг з оповіщенням у разі аномалій у роботі обладнання
- Налаштовано бекап-сервіс для швидкого відновлення
- Реалізовано регулярне створення резервних копій усіх віртуальних машин за допомогою Proxmox Backup Server
- Забезпечено стабільне мережеве підключення
- Обрано тариф із підвищеною пропускною здатністю каналу для забезпечення безперешкодної передачі даних
Контекст:
Як комп'ютерний зір і нейромережа YOLO допомагають у розробці нового ПЗ
Команда розробників із впровадження ШІ-рішень для бізнесу звернулася до INTROSERV із запитом на інфраструктуру для інференції нейромережі, спеціалізованої на комп'ютерному зорі, зокрема й моделей Ultralytics YOLO. Мета їхніх проектів – використання нейромереж комп'ютерного зору для побудови аналітичних додатків для бізнесу. Серед поточних розробок у замовника є цікаві кейси з точки зору прикладного значення:
- компактна система контролю безпеки
- система відстеження техніки на майданчику
- модуль автоматичної інвентаризації складу
Замовник запланував створити зручну і гнучку платформу розробки з можливістю зміни параметрів сервера в залежності від вимог нового проекту, а також розраховував на допомогу експертів з адміністрування сервера в разі виникнення проблем в процесі установки програмних компонентів. Приватність інфраструктури також була в пріоритеті, саме тому було віддано перевагу виділеному хостингу.
Проект вимагав не просто «сервера в оренду», а спеціалізованого середовища – безпечного і готового до характерних навантажень.
Виклик:
Інтеграція нейромереж з прикладним ПЗ для автоматизації бізнес-процесів
Основний виклик – це створення аналітичного ПЗ та його безшовна інтеграція з нейромережами.
Додаткову складність становить навчання моделі YOLO на конкретних даних, щоб збільшити точність ПЗ у функціях підрахунку та розпізнавання. Пошуком відповіді на це питання зайнялася команда досвідчених розробників з боку клієнта.
А ось завдання з підготовки інфраструктури були делеговані нам. Зізнаємося, проект відразу ж викликав інтерес у технічних фахівців INTROSERV, а тому рішення було знайдено досить швидко і в рамках поставленого ТЗ. Всі цілі та вимоги проекту були гранично зрозумілі, у нас була в наявності відповідна конфігурація і ми точно знали, як відправляти велику кількість даних, включаючи тестові потоки відео високої роздільної здатності в ЦОД, при цьому забезпечивши 100% безпеку.
Рішення
Виділені GPU-сервери з Proxmox для аналітики на базі нейромережі YOLO
Команда INTROSERV розробила та впровадила багатокомпонентне рішення на базі двох виділених серверів, використовуючи платформу віртуалізації Proxmox VE та Proxmox Backup Server. Це дозволило ефективно розділити ресурси, ізолювати завдання та убезпечити дані у вигляді повних копій ВМ.
Вся інфраструктура була побудована на декількох віртуальних машинах:
Віртуальна машина №1: Мережевий шлюз на базі pFSense.
- Завдання: Створення безпечного каналу зв'язку, а також контроль доступу до інфраструктури сервера.
- Реалізація: На цій ВМ системні адміністратори INTROSERV розгорнули програмний роутер pFSense і налаштували VPN-сервер WireGuard. VPN-сервер дозволив з'єднати через безпечний тунель внутрішню мережу офісу з сервером в ЦОД. Весь трафік в рамках VPN-тунелю шифрується, що гарантує конфіденційність і захист даних при передачі.
Віртуальна машина №2: «ШІ-центр» системи (нейромережа YOLO + GPU).
- Завдання: Тюнінг моделі на еталонних кадрах системи відеоспостереження кожної конкретної локації та власне розпізнавання об'єктів на переданих відеопотоках і фото.
- Реалізація: Це ключова віртуальна машина. За допомогою технології PCI Passthrough в Proxmox VE, було виконано прокидання відеокарти NVIDIA GeForce RTX2080 Ti безпосередньо в цю ВМ. Це дало їй практично нативну продуктивність, необхідну для двох завдань:
- Тренування моделі: fine-tuning моделі YOLO на еталонних кадрах відеокамер і фотографіях з архіву для підвищення точності.
- Розпізнавання: безперервна обробка відеопотоків, детекція об'єктів, їх підрахунок і групування відповідно до завдань, покладених на ПЗ.
Таких ВМ було налаштовано 2 для більшої зручності команди розробників і розпаралелювання етапів розробки.
Віртуальна машина №3: Аналітика та UI
- Завдання: Тестове середовище для запуску додатків на різних етапах їх створення.
- Реалізація:На цій ВМ було розгорнуто Linux OS та встановлено базові залежності, які були вказані в ТЗ, а також налаштовано ізольоване мережеве підключення з іншими ВМ.
Сервер резервного копіювання Proxmox Backup Server:
- Завдання: сховище резервних копій віртуальних машин
- Реалізація: Для виконання цього завдання технічними фахівцями INTROSERV було обрано рішення на базі Proxmox Backup Server. Спеціалізоване рішення від розробників Proxmox VE, яке логічно доповнює екосистему популярного рішення віртуалізації. PBS був встановлений на окремий сервер, підключений по локальній мережі з основним сервером через окремий мережевий інтерфейс.
Використані конфігурації виділених серверів
YOLO server
- Platform: Asus ESC4000 G4
- Location: Netherlands
- CPU: 2x Intel Xeon Silver 4208 16 Core 32 Threads 2.1/3.0GHz
- Memory: 64GB REG ECC DDR4
- Disk: 2x 500GB SSD Hardware RAID 1
- Disk: 2x 3.84TB NVMe Software RAID 1
- GPU: 2x Gigabyte GeForce RTX 2080 Ti 11GB
- Port/Traffic: 2 Gbit/s - Unmetered
- VLAN: 10 Gbps VLAN
- AntiDDoS: DDOS 20Gbit/s protection
- Operating system: Proxmox VE 8
PBS
- Platform: Dell PowerEdge R240
- Location: Netherlands
- CPU: Intel Xeon E-2236 6 Core 12 Threads 3.4/4.8GHz
- Memory: 16GB ECC DDR4
- Disk: 2x 250GB SSD Hardware RAID 1
- Disk: 4x 16TB SATA Hardware RAID 10
- Port/Traffic: 1 Gbps - 50TB Traffic
- VLAN: 10 Gbps VLAN
- IP-KVM: iDRAC
- AntiDDoS: DDOS 20Gbit/s protection
- Operating system: Proxmox Backup Server
Партнерство з INTROSERV, що прискорює інновації
Передавши INTROSERV всі завдання з інфраструктури, команда розробників змогла повністю зосередитися на головному – вдосконаленні AI-моделі та роботі з даними.
Замість тривалого підбору обладнання, налаштування захисту та забезпечення відмовостійкості, клієнт відразу отримав готове до роботи апаратне середовище, яке він зможе багаторазово застосовувати в кожному новому проекті. INTROSERV взяла на себе всю технічну сторону, запропонувавши не просто обладнання, а надійну основу для продуктивної роботи. На момент публікації замовник вже приступив до етапу навчання нейромереж і в перші дні відзначив відмінну продуктивність запропонованого рішення. Це доводить, що INTROSERV – не просто виконавець, а справжній технологічний партнер, здатний забезпечити успіх у складних IT-проектах.
Для підбору оптимальної інфраструктури під ваш проект зв'яжіться з відділом продажів INTROSERV.
