Infrastruktur für die Entwicklung von KI-Agenten und -Anwendungen: Bereitstellung eines privaten KI-Servers mit Proxmox VE
In der heutigen schnelllebigen Welt treibt künstliche Intelligenz Innovationen in allen Branchen voran, und der Erfolg von KI-Projekten hängt von einer robusten, leistungsstarken Infrastruktur ab. Ein Entwicklungsteam aus Dänemark benötigte eine Hardware-Plattform, die in der Lage ist, KI-Analyseanwendungen auf Basis des YOLO-Neuronalen Netzes zu unterstützen.
Angesichts des großen Geschäftspotenzials des Projekts trat das Team von INTROSERV schnell in Aktion, um die Plattform entsprechend den technischen Anforderungen des Kunden zu entwerfen, zu konfigurieren und zu optimieren. Das Ergebnis war eine vollständig kontrollierte, sichere und leistungsstarke Umgebung, die es dem Team ermöglicht, sich effizient auf die Entwicklung modernster KI-Lösungen zu konzentrieren.
Die Ziele:
Vorbereitung einer Serverplattform für die YOLO-basierte Softwareentwicklung
- Auswahl einer geeigneten Plattform Es sollte eine Serverkonfiguration mit GPUs innerhalb eines akzeptablen Budgets gewählt werden, um die Interaktion mit dem YOLO-Neuronalen Netz zu unterstützen.
- Virtualisierungsplattform Für die Softwareentwicklung wurden mehrere virtuelle Maschinen für verschiedene Teamabteilungen benötigt.
- Sichere Verbindung zwischen dem Rechenzentrum und dem Entwicklungsbüro Zum Schutz vertraulicher Informationen war ein vollständig verschlüsselter Datenkanal erforderlich.
- Redundanz des Festplattensubsystems Obwohl das Projekt keine Echtzeit-Objekterkennung erforderte, war eine längere Ausfallzeit aufgrund einer Neuinstallation oder Neukonfiguration des Hosts unbedingt zu vermeiden.
- Backup und schnelle Wiederherstellung im Falle eines Ausfalls Das Projekt umfasste zahlreiche VM-Konfigurationen, daher war eine zuverlässige Wiederherstellungsquelle entscheidend, um die Plattform schnell wieder betriebsbereit zu machen.
- Stabile Netzwerkverbindung Die Datenquelle für die Anwendungsentwicklung bestand aus Videos und großen Mengen an Fotos. Es war entscheidend, mehrere parallele Videostreams zu unterstützen und gleichzeitig genügend Bandbreite für reibungsloses Remote-Arbeiten zu gewährleisten.
Die Ergebnisse:
Bereitstellung eines GPU-Servers mit Proxmox VE und einer sicheren Entwicklungsumgebung
- Plattformauswahl Ein dedizierter Server mit zwei NVIDIA RTX 2080Ti GPUs wurde installiert, der ausreichend Leistung für die Verarbeitung von Videos und Bildern mit dem YOLO-Neuronalen Netz bietet.
- Virtualisierung mit Proxmox VE Ein Open-Source-Hypervisor wurde zur Verwaltung der virtuellen Maschinen eingesetzt, wodurch GPU-Passthrough zu den VMs ermöglicht wurde.
- Einrichtung von VPN-Server und Tunnel Der gesamte Datenverkehr zwischen dem Server und dem Entwicklungsbüro wird ausschließlich über einen WireGuard-VPN-Tunnel geleitet.
- RAID1-Konfiguration für alle Speichergruppen Einzelne Ausfallpunkte durch Festplattenfehler wurden eliminiert. Zudem wurde ein proaktives Monitoring mit Anomalie-Warnmeldungen implementiert.
- Backup-Dienst für schnelle Wiederherstellung Regelmäßige Backups aller virtuellen Maschinen wurden mit dem Proxmox Backup Server eingerichtet.
- Stabile Netzwerkverbindung Ein höherer Bandbreitenplan wurde gewählt, um einen reibungslosen Datentransfer und unterbrechungsfreies Remote-Arbeiten zu gewährleisten.
Der Kontext: Wie Computer Vision und das YOLO-Neuronale Netz die Softwareentwicklung unterstützen
Ein Team von Entwicklern, das sich auf KI-gestützte Geschäftslösungen spezialisiert hat, wandte sich mit der Anfrage an INTROSERV, eine Infrastruktur bereitzustellen, die in der Lage ist, neuronale Netze für Computer-Vision-Aufgaben auszuführen – insbesondere Modelle von Ultralytics YOLO.
Ziel war es, neuronale Netze für Computer Vision zu nutzen, um Anwendungen für Geschäftsanalyse zu entwickeln. Unter den aktuellen Entwicklungen des Teams stechen mehrere Projekte aufgrund ihres praktischen Nutzens hervor:
- Ein kompaktes Sicherheitsüberwachungssystem
- Ein System zur Verfolgung von Geräten auf Baustellen
- Ein automatisiertes Lagerinventurmodul
Der Kunde plante, eine flexible und komfortable Entwicklungsplattform aufzubauen, die sich an die Anforderungen jedes neuen Projekts anpassen lässt. Außerdem erwartete er fachkundige Unterstützung bei der Serveradministration für den Fall von Problemen bei der Installation von Softwarekomponenten.
Datenschutz und Datensicherheit hatten dabei höchste Priorität, weshalb er sich für dediziertes Hosting statt für geteilte oder cloudbasierte Alternativen entschied.
Dieses Projekt erforderte nicht einfach „einen gemieteten Server“, sondern eine spezialisierte, sichere Umgebung, die für die erwartete Arbeitslast ausgelegt ist.
Die Herausforderung: Integration von neuronalen Netzen in Software zur Geschäftsprozessautomatisierung
Die Hauptaufgabe bestand darin, Analysesoftware zu entwickeln und diese nahtlos mit neuronalen Netzen zu integrieren.
Eine zusätzliche Komplexität ergab sich aus dem Training von YOLO-Modellen mit spezifischen Datensätzen, um die Genauigkeit der Software bei Zähl- und Erkennungsaufgaben zu verbessern. Die Verantwortung für diesen Teil übernahm das Entwicklungsteam des Kunden.
Die Vorbereitung der Infrastruktur hingegen wurde uns übertragen. Das Projekt weckte von Beginn an das Interesse der technischen Spezialisten von INTROSERV. Dank klarer Zielsetzungen, einer präzise formulierten technischen Spezifikation und der Verfügbarkeit der passenden Hardwarekonfiguration fanden wir schnell eine optimale Lösung.
Wir wussten genau, wie große Datenmengen – einschließlich hochauflösender Testvideostreams – sicher und mit 100 % Schutz in das Rechenzentrum übertragen werden können.
Die Lösung: Dedizierte GPU-Server mit Proxmox für YOLO-basierte Analysen
Das Team von INTROSERV entwarf und implementierte eine mehrkomponentige Lösung unter Verwendung von zwei dedizierten Servern, basierend auf der Virtualisierungsplattform Proxmox VE und dem Proxmox Backup Server. Diese Konfiguration ermöglichte eine effiziente Ressourcenzuweisung, die Isolation einzelner Aufgaben sowie den sicheren Schutz von Daten durch vollständige Backups der virtuellen Maschinen.
Überblick über die Infrastruktur: Mehrere virtuelle Maschinen
Virtuelle Maschine Nr. 1: Netzwerk-Gateway auf Basis von pFSense
- Zweck: Aufbau eines sicheren Kommunikationskanals und Kontrolle des Zugriffs auf die Serverinfrastruktur.
- Implementierung: Die Systemadministratoren von INTROSERV setzten auf dieser VM einen pFSense-Software-Router ein und konfigurierten einen WireGuard-VPN-Server. Der VPN-Server verband das interne Büronetzwerk mit dem Server im Rechenzentrum über einen sicheren Tunnel. Sämtlicher Datenverkehr innerhalb des VPN-Tunnels wird verschlüsselt, um Vertraulichkeit und Datenschutz während der Übertragung zu gewährleisten.
Virtuelle Maschine Nr. 2: „AI Hub“ des Systems (YOLO-Neuronales Netz + GPU)
- Zweck: Feinanpassung des Modells mithilfe von Referenzbildern aus den Videoüberwachungssystemen der jeweiligen Supermärkte sowie Objekterkennung in eingehenden Videostreams und Bildern.
- Implementierung: Dies ist die zentrale virtuelle Maschine. Mithilfe der PCI-Passthrough-Technologie in Proxmox VE wurde die NVIDIA GeForce RTX 2080 Ti GPU direkt an diese VM durchgereicht. Dadurch wurde nahezu native Leistung erreicht, die für zwei Hauptaufgaben erforderlich ist:
- Modelltraining: Feinanpassung des YOLO-Modells mit Referenzbildern aus Überwachungskameras zur Verbesserung der Genauigkeit.
- Erkennung: Kontinuierliche Verarbeitung von Videostreams, Objekterkennung, Zählung und Gruppierung gemäß den Anforderungen der Anwendung.
Es wurden zwei solcher VMs eingerichtet, um parallele Entwicklungen zu ermöglichen und die Arbeitseffizienz des Entwicklerteams zu steigern.
Virtuelle Maschine Nr. 3: Analytics und UI
Aufgaben: Testumgebung für die Ausführung von Anwendungen in verschiedenen Entwicklungsstadien.
Implementierung: Auf dieser VM wurde ein Linux-Betriebssystem installiert und die in den technischen Spezifikationen aufgeführten grundlegenden Abhängigkeiten eingerichtet. Zudem wurde eine isolierte Netzwerkverbindung zu den anderen VMs konfiguriert.
Proxmox Backup Server:
Aufgaben: Speicherung von Backups virtueller Maschinen.
Implementierung: Zur Erfüllung dieser Aufgabe wählten die technischen Spezialisten von INTROSERV eine Lösung auf Basis des Proxmox Backup Servers – einer spezialisierten Lösung der Entwickler von Proxmox VE, die das Ökosystem der beliebten Virtualisierungslösung logisch ergänzt. PBS wurde auf einem separaten Server installiert, der über eine separate Netzwerkschnittstelle mit dem Hauptserver verbunden ist.
Verwendete Konfigurationen für dedizierte Server
YOLO-Server
- Plattform: Asus ESC4000 G4
- Standort: Niederlande
- CPU: 2x Intel Xeon Silver 4208, 16 Kerne, 32 Threads, 2,1/3,0 GHz
- Arbeitsspeicher: 64 GB REG ECC DDR4
- Festplatten: 2x 500 GB SSD Hardware RAID 1
- Festplatten: 2x 3,84 TB NVMe Software RAID 1
- GPU: 2x Gigabyte GeForce RTX 2080 Ti 11 GB
- Port/Traffic: 2 Gbit/s – unlimitiert
- VLAN: 10 Gbit/s VLAN
- AntiDDoS: DDOS-Schutz 20 Gbit/s
- Betriebssystem: Proxmox VE 8
PBS
- Plattform: Dell PowerEdge R240
- Standort: Niederlande
- CPU: Intel Xeon E-2236, 6 Kerne, 12 Threads, 3,4/4,8 GHz
- Arbeitsspeicher: 16 GB ECC DDR4
- Festplatten: 2x 250 GB SSD Hardware RAID 1
- Festplatten: 4x 16 TB SATA Hardware RAID 10
- Port/Traffic: 1 Gbit/s – 50 TB Traffic
- VLAN: 10 Gbit/s VLAN
- IP-KVM: iDRAC
- AntiDDoS: DDOS-Schutz 20 Gbit/s
- Betriebssystem: Proxmox Backup Server
Partnerschaft mit INTROSERV beschleunigt Innovationen
Indem das Entwicklungsteam alle Infrastrukturaufgaben an INTROSERV übertrug, konnte es sich vollständig auf das Wesentliche konzentrieren – die Verbesserung des KI-Modells und die Arbeit mit den Daten.
Anstatt Zeit mit der Auswahl von Hardware, der Konfiguration von Sicherheitsmaßnahmen und der Gewährleistung von Ausfallsicherheit zu verbringen, erhielt der Kunde eine sofort einsatzbereite Hardware-Umgebung, die für jedes neue Projekt mehrfach genutzt werden kann. INTROSERV übernahm die gesamte technische Seite und stellte nicht nur die Hardware bereit, sondern auch eine zuverlässige Grundlage für produktives Arbeiten.
Zum Zeitpunkt der Veröffentlichung hatte der Kunde bereits mit der Trainingsphase des neuronalen Netzes begonnen und in den ersten Tagen eine hervorragende Leistung der vorgeschlagenen Lösung festgestellt. Dies zeigt, dass INTROSERV nicht nur ein Dienstleister ist, sondern ein echter Technologiepartner, der den Erfolg komplexer IT-Projekte sicherstellen kann.
Für Unterstützung bei der Auswahl der optimalen Infrastruktur für Ihr Projekt wenden Sie sich bitte an die Vertriebsabteilung von INTROSERV.
