Infrastruttura per lo Sviluppo di Agenti e Applicazioni AI: Implementazione di un Server AI Privato con Proxmox VE
Nel mondo frenetico di oggi, l’intelligenza artificiale guida l’innovazione in molti settori, e il successo dei progetti AI dipende da un’infrastruttura solida e ad alte prestazioni. Un team di sviluppo danese aveva bisogno di una piattaforma hardware in grado di supportare applicazioni di analisi AI basate sulla rete neurale YOLO.
Riconoscendo l’elevato potenziale commerciale del progetto, il team INTROSERV è intervenuto rapidamente per progettare, configurare e ottimizzare la piattaforma secondo le specifiche tecniche del cliente. Il risultato è stato un ambiente completamente controllato, sicuro e ad alte prestazioni che consente al team di concentrarsi efficacemente sullo sviluppo di soluzioni AI all’avanguardia.
Obiettivi:
Preparazione di una piattaforma server per lo sviluppo software basato su YOLO
- Selezione della piattaforma appropriata Scegliere una configurazione server con GPU entro un budget accettabile per supportare l’interazione con la rete neurale YOLO.
- Piattaforma di virtualizzazione Lo sviluppo software richiedeva l’uso di più macchine virtuali per diverse divisioni del team.
- Connessione sicura tra data center e ufficio di sviluppo Per proteggere le informazioni riservate, era necessario un canale dati completamente crittografato.
- Ridondanza del sottosistema disco Anche se il progetto non richiedeva il riconoscimento oggetti in tempo reale, tempi di inattività prolungati dovuti alla reinstallazione o riconfigurazione dell’host erano altamente indesiderabili.
- Backup e rapido recupero in caso di guasto Il progetto prevedeva numerose configurazioni VM, quindi era essenziale disporre di una fonte affidabile di ripristino per la rapida ricostruzione della piattaforma.
- Connessione di rete stabile La fonte dati per lo sviluppo delle applicazioni consisteva in video e grandi volumi di foto. Era fondamentale supportare più flussi video paralleli, mantenendo sufficiente larghezza di banda per un lavoro remoto fluido.
Risultati:
Implementazione di un server GPU con Proxmox VE e ambiente di sviluppo sicuro
- Selezione della piattaforma È stato installato un server dedicato con due GPU NVIDIA RTX 2080Ti, fornendo prestazioni sufficienti per elaborare video e immagini con la rete neurale YOLO.
- Virtualizzazione con Proxmox VE È stato implementato un hypervisor open-source per gestire le VM, consentendo il passthrough delle GPU alle macchine virtuali.
- Configurazione del server VPN e del tunnel Tutto il traffico tra il server e l’ufficio di sviluppo viene instradato esclusivamente attraverso un tunnel VPN WireGuard.
- Configurazione RAID1 per tutti i gruppi di archiviazione I punti singoli di guasto dovuti a malfunzionamenti dei dischi sono stati mitigati. È stato implementato un monitoraggio proattivo con avvisi in caso di anomalie.
- Servizio di backup per recupero rapido Sono stati configurati backup regolari di tutte le macchine virtuali utilizzando Proxmox Backup Server.
- Connessione di rete stabile È stato selezionato un piano con larghezza di banda aumentata per garantire trasferimenti dati fluidi e lavoro remoto ininterrotto.
Contesto
Come la Computer Vision e la rete neurale YOLO supportano lo sviluppo di nuovo software
Un team di sviluppatori specializzati in soluzioni AI per il business si è rivolto a INTROSERV richiedendo un’infrastruttura capace di eseguire l’inferenza di reti neurali, specificamente per compiti di computer vision, incluse le soluzioni Ultralytics YOLO.
L’obiettivo era sfruttare le reti neurali per la computer vision per creare applicazioni di analisi aziendale. Tra i loro sviluppi attuali, alcuni si distinguono per il valore pratico:
- Un sistema compatto di monitoraggio della sicurezza
- Un sistema di tracciamento delle attrezzature nei cantieri
- Un modulo automatizzato per l’inventario dei magazzini
Il cliente intendeva creare una piattaforma di sviluppo flessibile e conveniente, adattabile ai requisiti di ciascun nuovo progetto. Inoltre, prevedeva il supporto di esperti per l’amministrazione del server in caso di problemi durante l’installazione dei componenti software.
Privacy e protezione dei dati erano priorità assolute, motivo per cui è stata scelta un’infrastruttura dedicata invece di soluzioni condivise o cloud. Questo progetto richiedeva non un semplice “server in affitto”, ma un ambiente specializzato e sicuro, progettato per gestire i carichi di lavoro previsti.
La Sfida
Integrare reti neurali con software per l’automazione dei processi aziendali
La sfida principale era sviluppare software di analisi e integrarlo senza soluzione di continuità con le reti neurali.
Una complessità aggiuntiva consisteva nell’addestrare i modelli YOLO su dataset specifici per migliorare l’accuratezza nelle attività di conteggio e riconoscimento. Questo aspetto è stato gestito dal team di sviluppo del cliente.
La preparazione dell’infrastruttura, invece, è stata delegata a noi. Fin dall’inizio, il progetto ha suscitato l’interesse degli specialisti tecnici di INTROSERV. Grazie a obiettivi chiari, specifiche tecniche ben definite e alla disponibilità della giusta configurazione hardware, abbiamo trovato rapidamente la soluzione ottimale.
Sapevamo esattamente come gestire grandi trasferimenti di dati verso il data center, inclusi flussi video di test ad alta risoluzione, garantendo al 100% la sicurezza.
La Soluzione
Server GPU dedicati con Proxmox per analisi basate su YOLO
Il team INTROSERV ha progettato e implementato una soluzione multi-componente utilizzando due server dedicati, sfruttando la piattaforma di virtualizzazione Proxmox VE e Proxmox Backup Server.
Questa configurazione ha permesso un’efficiente allocazione delle risorse, l’isolamento dei compiti e la protezione sicura dei dati tramite backup completi delle VM.
Toda la infraestructura se construyó sobre varias máquinas virtuales:
Máquina Virtual #1: Gateway de Red basado en pFSense
- Propósito: Establecer un canal de comunicación seguro y controlar el acceso a la infraestructura del servidor.
- Implementación: Los administradores de sistemas de INTROSERV desplegaron un router de software pFSense en esta VM y configuraron un servidor VPN WireGuard. El servidor VPN conectó la red interna de la oficina con el servidor del centro de datos a través de un túnel seguro. Todo el tráfico dentro del túnel VPN está cifrado, garantizando la confidencialidad y la protección de los datos durante la transmisión.
Máquina Virtual #2: “AI Hub” del Sistema (Red Neuronal YOLO + GPU)
- Propósito: Ajustar finamente el modelo usando cuadros de referencia del sistema de videovigilancia de cada sitio específico y realizar el reconocimiento de objetos en los flujos de video e imágenes entrantes.
- Implementación: Esta es la máquina virtual clave. Usando la tecnología PCI Passthrough en Proxmox VE, la GPU NVIDIA GeForce RTX 2080 Ti se asignó directamente a esta VM. Esto proporcionó un rendimiento casi nativo necesario para dos tareas principales:
1. Entrenamiento del modelo: Ajuste fino del modelo YOLO sobre cuadros de referencia de las cámaras de vigilancia y archivos fotográficos para mejorar la precisión.
2. Reconocimiento: Procesamiento continuo de flujos de video, detección de objetos, conteo y agrupamiento según los requisitos de la aplicación.
Se configuraron dos de estas VMs para facilitar el desarrollo paralelo y mejorar la eficiencia del flujo de trabajo del equipo de desarrolladores.
Macchina Virtuale n. 3: Analytics e UI
- Compiti: Ambiente di test per l’esecuzione delle applicazioni nelle diverse fasi di sviluppo
- Implementazione: Su questa VM è stato installato il sistema operativo Linux e tutte le dipendenze di base specificate nelle specifiche tecniche. È stata configurata una connessione di rete isolata con le altre VM.
Proxmox Backup Server:
- Compiti: Archiviazione dei backup delle macchine virtuali
- Implementazione: Per svolgere questo compito, gli specialisti tecnici di INTROSERV hanno scelto una soluzione basata su Proxmox Backup Server, una soluzione specializzata sviluppata dai creatori di Proxmox VE, che integra logicamente l’ecosistema della popolare piattaforma di virtualizzazione. PBS è stato installato su un server separato, collegato al server principale tramite un’interfaccia di rete dedicata.
Configurazioni utilizzate per i server dedicati
Server YOLO
- Piattaforma: Asus ESC4000 G4
- Posizione: Paesi Bassi
- CPU: 2x Intel Xeon Silver 4208, 16 Core 32 Thread, 2.1/3.0GHz
- Memoria: 64GB REG ECC DDR4
- Dischi: 2x 500GB SSD Hardware RAID 1
- Dischi: 2x 3,84TB NVMe Software RAID 1
- GPU: 2x Gigabyte GeForce RTX 2080 Ti 11GB
- Porta/Traffico: 2 Gbit/s – Illimitato
- VLAN: 10 Gbps VLAN
- AntiDDoS: Protezione DDOS 20 Gbit/s
- Sistema operativo: Proxmox VE 8
PBS
- Piattaforma: Dell PowerEdge R240
- Posizione: Paesi Bassi
- CPU: Intel Xeon E-2236, 6 Core 12 Thread, 3.4/4.8GHz
- Memoria: 16GB ECC DDR4
- Dischi: 2x 250GB SSD Hardware RAID 1
- Dischi: 4x 16TB SATA Hardware RAID 10
- Porta/Traffico: 1 Gbps – 50TB di traffico
- VLAN: 10 Gbps VLAN
- IP-KVM: iDRAC
- AntiDDoS: Protezione DDOS 20 Gbit/s
- Sistema operativo: Proxmox Backup Server
Partnership con INTROSERV: Accelerare l’Innovazione
Affidando tutti i compiti infrastrutturali a INTROSERV, il team di sviluppo ha potuto concentrarsi completamente su ciò che conta di più: migliorare il modello AI e lavorare con i dati.
Invece di perdere tempo nella scelta dell’hardware, nella configurazione della sicurezza e nell’assicurare la tolleranza ai guasti, il cliente ha ricevuto un ambiente hardware pronto all’uso, applicabile ripetutamente a ogni nuovo progetto. INTROSERV si è occupata dell’intera parte tecnica, fornendo non solo l’attrezzatura ma anche una solida base per un lavoro produttivo.
Al momento della pubblicazione, il cliente aveva già iniziato la fase di addestramento della rete neurale e ha riportato prestazioni eccellenti dalla soluzione proposta nei primi giorni. Questo dimostra che INTROSERV non è solo un fornitore di servizi, ma un vero partner tecnologico in grado di garantire il successo nei progetti IT complessi.
Per assistenza nella selezione dell’infrastruttura ottimale per il tuo progetto, contatta il reparto vendite di INTROSERV.
