Infrastruktura za razvoj AI agentov in aplikacij: Namestitev zasebnega AI strežnika s Proxmox VE
V današnjem hitrem svetu umetna inteligenca spodbuja inovacije v različnih industrijah, uspeh AI projektov pa je odvisen od robustne, visoko zmogljive infrastrukture. Razvojna ekipa iz Danske je potrebovala strojno platformo, ki bi podpirala AI analitične aplikacije, ki jih poganja nevronska mreža YOLO.
Ob zavedanju močnega poslovnega potenciala projekta je ekipa INTROSERV hitro prevzela zasnovo, konfiguracijo in optimizacijo platforme glede na tehnične zahteve naročnika. Rezultat je bilo popolnoma nadzorovano, varno in visoko zmogljivo okolje, ki ekipi omogoča osredotočanje na učinkovito razvijanje naprednih AI rešitev.
Cilji:
Priprava strežniške platforme za razvoj programske opreme na osnovi YOLO
- Izbira ustrezne platforme: Izbrati strežniško konfiguracijo z GPU-ji znotraj sprejemljivega proračuna, ki podpira interakcijo z nevronsko mrežo YOLO.
- Virtualizacijska platforma: Razvoj programske opreme je zahteval več virtualnih strojev za različne oddelke ekipe.
- Varnostna povezava med podatkovnim centrom in razvojno pisarno: Za zaščito zaupnih informacij je bil potreben popolnoma šifriran podatkovni kanal.
- Redundantnost disčnega podsistema: Čeprav projekt ni zahteval prepoznavanja objektov v realnem času, je bila dolgotrajna nedosegljivost zaradi ponovne namestitve ali konfiguracije gostitelja zelo nezaželena.
- Varnostno kopiranje in hitro okrevanje v primeru napake: Projekt je vključeval številne konfiguracije VM-jev, zato je bil zanesljiv vir obnovitve ključnega pomena za hitro obnovitev platforme.
- Stabilna omrežna povezava: Vir podatkov za razvoj aplikacij so bili video posnetki in velike količine fotografij. Pomembno je bilo podpirati več vzporednih video tokov, hkrati pa zagotoviti dovolj pasovne širine za nemoteno delo na daljavo.
Rezultati:
Implementacija GPU strežnika s Proxmox VE in varnim razvojnim okoljem
- Izbira platforme: Namestili so namenski strežnik z dvema NVIDIA RTX 2080Ti GPU-ji, kar je zagotovilo dovolj zmogljivosti za obdelavo videa in slik z nevronsko mrežo YOLO.
- Virtualizacija s Proxmox VE: Uporabljen je bil odprtokodni hipervizor za upravljanje VM-jev, ki omogoča GPU passthrough do virtualnih strojev.
- Nastavitev VPN strežnika in tunela: Ves promet med strežnikom in razvojno pisarno poteka izključno preko WireGuard VPN tunela.
- Konfiguracija RAID1 za vse skupine za shranjevanje: Eliminirane so bile posamezne točke napak zaradi okvar diskov. Uvedeno je bilo proaktivno spremljanje z opozorili o anomalijah.
- Varnostno kopiranje za hitro obnovitev: Redne varnostne kopije vseh virtualnih strojev so bile konfigurirane z uporabo Proxmox Backup Server.
- Stabilna omrežna povezava: Izbrana je bila nadgrajena pasovna širina, ki zagotavlja nemoten prenos podatkov in neprekinjeno delo na daljavo.
Kontekst:
Kako računalniški vid in nevronska mreža YOLO podpirata razvoj novih aplikacij
Razvojna ekipa, specializirana za poslovne rešitve na osnovi AI, se je obrnila na INTROSERV z zahtevo po infrastrukturi, ki omogoča izvajanje inferenc nevronskih mrež, posebej za naloge računalniškega vida, vključno z modeli Ultralytics YOLO.
Njihov cilj je bil izkoristiti nevronske mreže računalniškega vida za ustvarjanje poslovno-analitičnih aplikacij. Med trenutnimi razvoji izstopajo naslednji zaradi svoje praktične vrednosti:
- Kompaktni sistem za nadzor varnosti
- Sistem za sledenje opreme na gradbiščih
- Modul za avtomatizirano inventuro skladišča
Naročnik je načrtoval izdelavo fleksibilne in priročne razvojne platforme, ki se lahko prilagaja zahtevam vsakega novega projekta. Prav tako so pričakovali strokovno podporo za upravljanje strežnikov v primeru težav med nameščanjem komponent programske opreme.
Zasebnost in zaščita podatkov sta bili ključni prioriteti, zato so izbrali namensko gostovanje pred deljenimi ali oblačnimi rešitvami. Ta projekt je zahteval ne le “najem strežnika”, temveč specializirano, varno okolje, zasnovano za obdelavo pričakovanih obremenitev.
Izziv:
Integracija nevronskih mrež s programsko opremo za avtomatizacijo poslovnih procesov
Glavni izziv je bil razviti analitično programsko opremo in jo brezhibno integrirati z nevronskimi mrežami.
Dodatna kompleksnost je izhajala iz treniranja modelov YOLO na specifičnih podatkovnih nizih, da bi izboljšali natančnost programske opreme pri štetju in prepoznavanju. Rešitev tega vidika je bila odgovornost razvojne ekipe naročnika.
Priprava infrastrukture pa je bila dodeljena nam. Projekt je od samega začetka pritegnil pozornost tehničnih strokovnjakov INTROSERV. Zaradi jasnih ciljev, dobro definirane tehnične specifikacije in razpoložljive ustrezne strojne konfiguracije smo hitro našli optimalno rešitev.
Natančno smo vedeli, kako obdelovati velike prenose podatkov v podatkovni center, vključno z visokoločljivostnimi testnimi video tokovi, pri tem pa ohraniti 100% varnost.
Rešitev:
Namenski GPU strežniki s Proxmox za YOLO-podprto analitiko
Ekipa INTROSERV je zasnovala in implementirala večkomponentno rešitev z uporabo dveh namenski strežnikov, pri čemer je izkoristila virtualizacijsko platformo Proxmox VE in Proxmox Backup Server. Ta postavitev je omogočila učinkovito dodeljevanje virov, izolacijo nalog in varno zaščito podatkov z uporabo popolnih varnostnih kopij VM-jev.
Celotna infrastruktura je bila zgrajena na več virtualnih strojih:
Virtualni stroj #1: Omrežni prehod na osnovi pFSense
- Namen: Vzpostaviti varen komunikacijski kanal in nadzorovati dostop do strežniške infrastrukture.
- Izvedba: Sistemski skrbniki INTROSERV so na tem VM namestili programski usmerjevalnik pFSense in konfigurirali WireGuard VPN strežnik. VPN strežnik je povezal notranje omrežje pisarne s strežnikom podatkovnega centra preko varnega tunela. Ves promet v VPN tunelu je šifriran, kar zagotavlja zaupnost in zaščito podatkov med prenosom.
Virtualni stroj #2: "AI Hub" sistema (YOLO nevronska mreža + GPU)
- Namen: Dopolniti model z uporabo referenčnih slik iz videonadzornega sistema vsake lokacije in izvajati prepoznavanje objektov v prihajajočih video tokovih in slikah.
- Izvedba: To je ključni virtualni stroj. Z uporabo tehnologije PCI Passthrough v Proxmox VE je bil NVIDIA GeForce RTX 2080 Ti GPU neposredno dodeljen temu VM-ju. To je omogočilo skoraj izvorno zmogljivost, potrebno za dve glavni nalogi:
1. Učenje modela: Dopolnjevanje YOLO modela z referenčnimi slikami iz nadzornih kamer in foto arhivov za izboljšanje natančnosti.
2. Prepoznavanje: Neprekinjena obdelava video tokov, zaznavanje objektov, štetje in grupiranje glede na zahteve aplikacije.
Dva takšna VM-ja sta bila nastavljena za lažje vzporedno razvijanje in izboljšanje učinkovitosti delovnega procesa za razvojno ekipo.
Virtualni stroj #3: Analitika in UI
Namen: Testno okolje za izvajanje aplikacij v različnih fazah njihovega razvoja.
Izvedba: Na tem VM-ju je bil nameščen Linux OS, nameščene pa so bile osnovne odvisnosti, določene v tehničnih specifikacijah, ter vzpostavljena izolirana omrežna povezava z drugimi VM-ji.
Proxmox Backup Server:
Namen: Shranjevanje varnostnih kopij virtualnih strojev.
Izvedba: Za to nalogo so tehnični strokovnjaki INTROSERV izbrali rešitev, ki temelji na Proxmox Backup Server. Specializirana rešitev razvijalcev Proxmox VE, ki logično dopolnjuje ekosistem priljubljene virtualizacijske rešitve. PBS je bil nameščen na ločenem strežniku, povezanem z glavnim strežnikom preko ločenega omrežnega vmesnika.
Konfiguracije uporabljenih namenskih strežnikov:
YOLO strežnik
- Platforma: Asus ESC4000 G4
- Lokacija: Nizozemska
- CPU: 2x Intel Xeon Silver 4208, 16 jeder, 32 niti, 2.1/3.0GHz
- Pomnilnik: 64GB REG ECC DDR4
- Disk: 2x 500GB SSD Hardware RAID 1
- Disk: 2x 3.84TB NVMe Software RAID 1
- GPU: 2x Gigabyte GeForce RTX 2080 Ti 11GB
- Povezava/Promet: 2 Gbit/s – brez omejitve
- VLAN : 10 Gbps VLAN
- AntiDDoS: zaščita DDOS 20Gbit/s
- Operacijski sistem: Proxmox VE 8
PBS
- Platforma: Dell PowerEdge R240
- Lokacija: Nizozemska
- CPU: Intel Xeon E-2236, 6 jeder, 12 niti, 3.4/4.8GHz
- Pomnilnik: 16GB ECC DDR4
- Disk: 2x 250GB SSD Hardware RAID 1
- Disk: 4x 16TB SATA Hardware RAID 10
- Povezava/Promet: 1 Gbps – 50TB prometa
- VLAN: 10 Gbps VLAN
- IP-KVM: iDRAC
- AntiDDoS: zaščita DDOS 20Gbit/s
- Operacijski sistem: Proxmox Backup Server
Partnerstvo z INTROSERV pospešuje inovacije
S tem, ko je razvojna ekipa zaupala vse infrastrukturne naloge podjetju INTROSERV, se je lahko v celoti osredotočila na tisto, kar je najbolj pomembno – izboljševanje svojega AI modela in delo s podatki.
Namesto da bi izgubljali čas z izbiro strojne opreme, konfiguracijo varnosti in zagotavljanjem odpornosti na napake, je naročnik prejel pripravljeno strojno okolje, ki ga je mogoče ponovno uporabiti pri vsakem novem projektu. INTROSERV je poskrbel za celotno tehnično stran, pri čemer ni zagotovil le opreme, temveč tudi zanesljivo osnovo za produktivno delo.
Ob času objave je naročnik že začel fazo usposabljanja nevronske mreže in poročal o odlični zmogljivosti predlagane rešitve že v prvih nekaj dneh. To dokazuje, da INTROSERV ni le ponudnik storitev, temveč pravi tehnološki partner, sposoben zagotoviti uspeh pri kompleksnih IT projektih.
Za pomoč pri izbiri optimalne infrastrukture za vaš projekt se obrnite na prodajno ekipo INTROSERV.
