Надёжный фундамент для AI-инноваций: Подготовка аппаратной платформы для разработки приложений AI-аналитики с применением нейросети YOLO
В мире, где искусственный интеллект становится ключевым драйвером инноваций, скорость и надежность инфраструктуры определяют успех проекта. Команда разработчиков из Дании столкнулись с необходимостью развертывания аппаратной платформы для разработки аналитических приложений на базе нейросети YOLO.
Проект был очень интересен своим прикладным значением для бизнеса и команда INTROSERV без промедления приступила к подбору и настройке платформы, согласно ТЗ заказчика.
Цели:
Подготовка серверной платформы для разработки ПО с применением нейросети YOLO
- Подобрать подходящую платформу Выбор конфигурации сервера с GPU в рамках приемлемого бюджета для взаимодействия с нейросетью YOLO
- Платформа виртуализации Разработка ПО требовала нескольких виртуальных машин для разных подразделений команды
- Защищенное подключение между ЦОД и офисом команды разработчиков Для защиты конфиденциальной информации требовалось организовать зашифрованный канал обмена данными
- Резервирование на уровне дисковой подсистемы Хотя проект и не предполагает использование распознавания объектов в режиме реального времени, длительные простои в виду переустановки и повторной настройки хоста крайне нежелательны
- Бэкап и быстрое восстановление в случае сбоя Проект предусматривает множество настроек в рамках каждой ВМ, поэтому для быстрого восстановления работы платформы в случае сбоя нужно иметь надежный источник восстановления
- Стабильное сетевое подключение Источником данных для разработки приложений является видео и большой объем фото. Важно было покрыть потребности нескольких параллельных видеопотоков, а также оставить запас для удобной удаленной работы
Результаты:
Внедрение GPU-сервера с Proxmox VE и безопасная работа команды разработчиков
- Подобрана подходящая платформа Установлен выделенный сервер с двумя графическими процессорами NVIDIA RTX 2080Ti, c достаточной производительностью для обработки видео и фото с помощью нейросети YOLO
- Для управления ВМ развернут гипервизор Proxmox VE Это решение с открытым исходным кодом, которое позволяет выполнить проброс графических ускорителей в виртуальную машину
- Настроен VPN сервер и активирован VPN-туннель Весь трафик между сервером и офисом разработчиков проходит только в рамках WireGuard-туннеля.
- Настроен RAID1 для всех групп накопителей сервера Нивелированы единые точки отказа в виде вышедшего из строя диска. Подключен проактивный мониторинг с оповещением в случае аномалий в работе оборудования.
- Настроен бэкап сервис для быстрого восстановления Реализовано регулярное создание резервных копий всех виртуальных машин с помощью Proxmox Backup Server
- Обеспечено стабильное сетевое подключение Выбран тариф с увеличенной шириной канала для обеспечения беспрепятственной передачи данных
The Context:
Как компьютерное зрение и нейросеть YOLO помогают в разработке нового ПО
Команда разработчиков по внедрению ИИ-решений для бизнеса обратилась в INTROSERV с запросом инфраструктуры для инференции нейросети, специализированной на компьютерном зрении, в том числе и моделей Ultralytics YOLO. Цель их проектов – использование нейросетей компьютерного зрения для построения аналитических приложений для бизнеса. Среди текущих разработок у заказчика интересные кейсы с точки зрения прикладного значения:
- компактная система контроля безопасности
- система отслеживания техники на площадке
- модуль автоматической инвентаризации склада
Заказчик запланировал создать удобную и гибкую платформу разработки с возможностью изменения параметров сервера в зависимости от требований нового проекта, а также рассчитывал на помощь экспертов по администрированию сервера в случае возникновения проблем в процессе установки программных компонентов. Приватность инфраструктуры также была в приоритете именно поэтому было отдано предпочтение выделенному хостингу.
Проект требовал не просто "сервера в аренду", а специализированной среды – безопасной и готовой к характерным нагрузкам
Задача
Интеграция нейросетей с прикладным ПО для автоматизации бизнес процессов
Основной вызов – это создание аналитического ПО и его бесшовная интеграция с нейросетями.
Дополнительную сложность представляет обучение модели YOLO на конкретных данных, чтобы увеличить точность ПО в функциях подсчета и распознавания. Поиском ответа на этот вопрос занялась команда опытных разработчиков со стороны клиента.
А вот задачи по подготовке инфраструктуры были делегированы нам. Признаемся, проект сразу же вызвал интерес у технических специалистов INTROSERV, а потому решение было найдено достаточно быстро и в рамках поставленного ТЗ. Все цели и требования проекта были предельно понятны, у нас была в наличии подходящая конфигурация и мы точно знали как отправлять большое количество данных, включая тестовые потоки видео высокого разрешения в ЦОД, при этом обеспечив 100% безопасность.
The Solution
Выделенные GPU-серверы с Proxmox для аналитики на базе нейросети YOLO
Команда INTROSERV разработала и внедрила многокомпонентное решение на базе двух выделенных серверов, используя платформу виртуализации Proxmox VE и Proxmox Backup Server. Это позволило эффективно разделить ресурсы, изолировать задачи и обезопасить данные в виде полных копий ВМ.
Вся инфраструктура была построена на нескольких виртуальных машинах:
Виртуальная Машина №1: Сетевой шлюз на базе pFSense.
- Задачи: Создание безопасного канала связи, а также контроль доступа в инфрастру сервера.
- Реализация: На этой ВМ системные администраторы INTROSERV развернули программный роутер pFSense и настроили VPN-сервер WireGuard. VPN-сервер позволил соединить через безопасный туннель внутреннюю сеть офиса с сервером в ЦОД. Весь трафик в рамках VPN-туннеля шифруется, что гарантирует конфиденциальность и защиту данных при передаче.
Виртуальная Машина №2: "ИИ-центр" системы (Нейросеть YOLO + GPU).
- Задачи: Тюнинг модели на эталонных кадрах системы видеонаблюдения каждого конкретного супермаркета и собственно распознавание объектов на передаваемых видеопотках и фото.
- Реализация: Это ключевая виртуальная машина. С помощью технологии PCI Passthrough в Proxmox VE, был выполнен проброс видеокарты NVIDIA GeForce RTX2080 Ti напрямую в эту ВМ. Это дало ей практически нативную производительность, необходимую для двух задач:
1. Тренировка модели: fine-tuning модели YOLO на эталонных кадрах видеокамер для повышения точности.
2. Распознавание: Непрерывная обработка видеопотоков, детекция объектов, их подсчет и группирование в соответствие с задачами, возложенными на ПО.
Таких ВМ было настроено 2 для большего удобства команды разработчиков и распараллеливания этапов разработки.
Виртуальная Машина №3: Аналитика и UI
- Задачи: Тестовая среда для запуска приложений на разных этапах их создания
- Реализация: На этой ВМ была развернута Linux OS и установлены базовые зависимости, которые были указаны в ТЗ, а также настроено изолированное сетевое подключение с другими ВМ
Сервер резервного копирования Proxmox Backup Server:
- Задачи: хранилище резервных копий виртуальных машин
- Реализация: Для выполнения этой задачи техническими специалистами INTROSERV было выбрано решение на базе Proxmox Backup Server. Специализированное решение от разработчиков Proxmox VE, которое логично дополняет экосистему популярного решения виртуализации. PBS был установлен на отдельный сервер, подключенный по локальной сети с основным сервером через отдельный сетевой интерфейс.
Использованные конфигурации выделенных серверов
YOLO server
- Platform: Asus ESC4000 G4
- Location: Netherlands
- CPU: 2x Intel Xeon Silver 4208 16 Core 32 Threads 2.1/3.0GHz
- Memory: 64GB REG ECC DDR4
- Disk: 2x 500GB SSD Hardware RAID 1
- Disk: 2x 3.84TB NVMe Software RAID 1
- GPU: 2x Gigabyte GeForce RTX 2080 Ti 11GB
- Port/Traffic: 2 Gbit/s - Unmetered
- VLAN: 10 Gbps VLAN
- AntiDDoS: DDOS 20Gbit/s protection
- Operating system: Proxmox VE 8
PBS
- Platform: Dell PowerEdge R240
- Location: Netherlands
- CPU: Intel Xeon E-2236 6 Core 12 Threads 3.4/4.8GHz
- Memory: 16GB ECC DDR4
- Disk: 2x 250GB SSD Hardware RAID 1
- Disk: 4x 16TB SATA Hardware RAID 10
- Port/Traffic: 1 Gbps - 50TB Traffic
- VLAN: 10 Gbps VLAN
- IP-KVM: iDRAC
- AntiDDoS: DDOS 20Gbit/s protection
- Operating system: Proxmox Backup Server
Партнёрство с INTROSERV, ускоряющее инновации
Передав INTROSERV все задачи по инфраструктуре, команда разработчиков смогла полностью сосредоточиться на главном – совершенствовании AI-модели и работе с данными.
Вместо долгого подбора оборудования, настройки защиты и обеспечения отказоустойчивости, клиент сразу получил готовую к работе аппаратную среду, которую он сможет многократно применить в каждой новом проекте. INTROSERV взяла на себя всю техническую сторону, предложив не просто оборудование, а надёжную основу для продуктивной работы. На момент публикации заказчик уже приступил к этапу обучения нейросетей и в первые дни отметил отличную производительность предложенного решения. Это доказывает, что INTROSERV – не просто исполнитель, а настоящий технологический партнёр, способный обеспечить успех в сложных IT-проектах. Для подбора оптимальной инфраструктуры под ваш проект свяжитесь с отделом продаж INTROSERV.
