Fasebalancering på tværs af AI-racks: Hvorfor det er vigtigt, og hvad der rent faktisk virker

En 32 A trefaset strømforsyning ligner på papiret en masse plads. 32 A × 400 V × √3 = ~22 kW. Det passer komfortabelt til fire Kentino AI-servere med otte GPU'er ved vedvarende belastning, med en margin. Så hvorfor ender halvdelen af ​​​​hjemmebyggede AI-laboratorier med at udløse en afbryder i den første måned?

Svaret er næsten altid fasebalance – eller rettere sagt fraværet af samme. Den samlede belastning på reolerne er fin. Én fase er i brand.

Denne artikel handler om, hvordan trefaset strøm rent faktisk fordeles på tværs af et rack af AI-servere, hvorfor AI-arbejdsbelastninger belaster balanceringsproblemet på en bestemt måde, og hvad man skal gøre på PDU-udgangsniveau, så afbryderen holder op med at overraske dig.

Matematikken, kort

For en balanceret Y-belastning med linje-til-linje-spænding V ll og total reel effekt P tot ved effektfaktor PF:

I_line  =  P_tot  /  (V_ll × √3 × PF)

På en 400 V europæisk forsyning ved PF = 0.98 med 20 kW balanceret: I_line = 20.000 / (400 × 1.732 × 0.98) ≈ 29.5 A. Passer til en 32 A afbryder. Hver fase har ~29.5 A, nul nær nul.

Fordel de samme 20 kW ujævnt — 12 kW på L1, 5 kW på L2, 3 kW på L3:

Totalen er stadig 20 kW. 32 A-afbryderen er ligeglad med totaler – den er ligeglad med hvilken enkeltfase der udløses først. L1 ved 165 % af de nominelle udløsninger. De to andre faser var inaktive.

Ubalanceret belastning spilder ikke bare kapacitet; den omdanner den frihøjde, du har betalt for, til en tur, der bare venter på at ske.

Problemet med neutralstrøm

Trefasede Y-ledninger har en fjerde leder – nullederen – der returnerer vektorsummen af ​​trefasestrømmene. Med en perfekt afbalanceret lineær belastning udligner de tre strømme med intervaller på 120°, og nullederen bærer nul. Ved ubalance bærer nullederen det, der ikke udligner.

En nyttig tilnærmelse for neutralstrøm under ubalanceret lineær belastning:

I_N  =  √( I_R² + I_Y² + I_B² − I_R·I_Y − I_Y·I_B − I_B·I_R )

I vores 53/22/13 A eksempel ender det med cirka 35 A, der flyder gennem nullederen. I et panel, hvor nullederen er dimensioneret til den nominelle fasestrøm, er en 35 A nulleder på en 32 A faseklassificering ubehageligt. I et panel, hvor nullederen er for lille (en ældre installation, eftermontering eller en antagelse om balanceret belastning), er det her, man finder smeltet isolering.

Den ærlige konklusion: I ethvert AI-rack værd at nævne, skal neutrallederen have mindst samme tykkelse som faselederne, og ideelt set overdimensioneret. Vi vender tilbage til dette i K-faktor-afsnittet, fordi ikke-lineære belastninger forværrer det.

Hvorfor AI-arbejdsbelastninger understreger dette mere end traditionel IT

Et traditionelt enterprise-rack - webservere, databaser, et par netværksswitche - har en belastning, der er statistisk ukorreleret på tværs af maskiner. Server A's CPU stiger på det ene tidspunkt, server B's på et andet, gennemsnittet på tværs af racket er jævnt, og balancering på tværs af tre faser fungerer omtrent, fordi de tilfældige udsving ophæver.

AI-arbejdsbelastninger bryder med den antagelse på to specifikke måder.

Synkron belastningskorrelation. Distribueret træning kører det samme trin på hver GPU på samme tid. En baglæns gennemgang starter på alle otte GPU'er på en server samtidigt. Hvis du træner på tværs af fire noder, rammer alle 32 GPU'er den samlede reduktionsfase sammen, og derefter rammer alle den næste fremadrettede gennemgang sammen. Belastningen er ikke et udglattet gennemsnit - det er en firkantbølge ved træningstrinfrekvensen, måske 0.5-5 Hz afhængigt af modellen.

Hvis alle fire servere er på samme fase, ser den fase den fulde firkantbølge. Hvis serverne er fordelt på tværs af faser, ser hver fase stadig den samme firkantbølge, fordi trinnene er synkrone. Fasebalancering udjævner ikke den korrelerede belastning. Den udjævner kun gennemsnittet pr. fase.

Subcyklustransienter. En enkelt RTX 5090 er klassificeret til 575 W, men er i stand til transiente udsving på 738 W over 5-10 ms, 824 W over 1-5 ms og 901 W i spikes under 1 ms. En Kentino AI-server med otte GPU'er har derfor en nominel vedvarende belastning på omkring 4-4.5 kW og en peak per millisekund, der kortvarigt kan overstige 7 kW. Strømforsyningen og bygningens ledninger absorberer det meste af dette - men strømspidserne er reelle, de er ikke sinusformede, og de forplanter sig til den upstream PDU.

Standard termomagnetiske afbrydere ignorerer transienter i undercyklusser. Moderne hydraulisk-magnetiske og elektroniske afbrydere gør ikke altid det; nogle udløses ved øjeblikkelig peak, ikke RMS. Hvis din afbryder bliver ved med at udløse under specifikke træningsfaser, og racket ellers er inden for sin gennemsnitlige rating, ser du på transientkurven, ikke gennemsnittet.

Hvad fasebalancering kan og ikke kan gøre

Derfor bliver folk, der kommer fra traditionelle datacenterdrift, nogle gange taget på sengen: I deres verden er balancering hele historien. I et AI-rack er det nødvendigt, men ikke tilstrækkeligt.

Strategi for balancering på udsalgsstedsniveau

Det praktiske arbejde foregår på PDU-udgangsniveau. En 32 A trefaset 0U rack PDU præsenterer banker af udgange pr. fase. Det typiske layout for en PDU med 30 udgange er udgange 1-10 på L1, 11-20 på L2, 21-30 på L3. Nogle PDU'er bruger et stribet eller alternerende layout for bedre kabelhåndtering - udgange 1, 4, 7 på L1; 2, 5, 8 på L2; 3, 6, 9 på L3. PDU'er i produktionskvalitet er farvekodet pr. fase.

Reglen er simpel og overtrædes konstant: tildel servere således, at den vedvarende belastningssum på hver fase er inden for ~10% af de andre . For identiske enheder er det round-robin; for blandede belastninger er det bin-packing.

Eksempel på en 32 A 3-faset PDU (~22 kW nominel, 17.6 kW kontinuerlig ved 80%). Hvor mange Kentino AI-servere med otte GPU'er (vedvarende ~4 kW hver) er der plads til?

Det realistiske budget: en enkelt 32 A 3-faset rack-strømforsyning understøtter omkring tre AI-servere med otte GPU'er, ikke otte. En server med fire GPU'er på ~2 kW vedvarende fordobler omtrent det til seks pr. kredsløb.

Dette overrasker de fleste laboratorieplanlæggere. Den store kapacitet i et 22 kW kredsløb fordamper, når man tager højde for afbryderkurver, transiente spidsbelastninger og den 80% kontinuerlige belastningsnedgradering, der er angivet i de fleste elektriske koder.

Måling af den — stikkontaktmålt PDU

En simpel PDU giver dig ingenting. En målt PDU giver dig RMS-strøm pr. fase ved indgangen. En målt PDU ved udgangen giver dig strøm pr. udgang, hvilket er den enhed, du rent faktisk ønsker.

Hvad skal man se:

• RMS-strøm pr. fase, udviklet sig over tid. De fleste PDU'er med stikkontaktmåling eksponerer SNMP eller en REST API; scraper ind i Prometheus, grafer i Grafana, alarm ved 80% af nominel.
• Spidsstrøm pr. fase i et samplingsvindue. Hvis PDU'en udsætter peak hold, skal den logges; hvis ikke, skal der samples ved minimum 1 Hz.
• Faseubalanceforhold — (maks. − min.) / maks. på tværs af de tre faser. Under 10 % er godt. Over 25 % betyder, at du efterlader kapacitet på gulvet.
• Nulstrøm, hvis PDU'en rapporterer det. Hvis neutralen er mere end ~30% af en hvilken som helst fasestrøm under belastning, er der noget galt med enten balancen eller det harmoniske indhold.

En 32 A PDU er ét stykke udstyr. To redundante 32 A PDU'er (A- og B-feeds) fordobler de data, du skal spore, men fordobler også fejltolerancen - hvis en af ​​feedsene falder, forbliver dual-PSU-servere oppe, og den overlevende PDU skal absorbere alt. Størrelse i det tilfælde: et dual-feed rack bør køre hver PDU ved ~40% nominelt, så en single-feed failover forbliver inde i breaker.

Harmoniske og K-faktoren

Enhver AI-server-strømforsyning er en switching-strømforsyning, som er en ikke-lineær belastning: den trækker strøm i pulser omkring toppen af ​​hver halvcyklus i stedet for som en jævn sinusbølge. Dette injicerer harmoniske strømme tilbage i forsyningen, primært 3., 5. og 7. i enfasede systemer og 5., 7., 11. og 13. i trefasede Y-systemer.

Den 3. harmoniske er mest skadelig i trefaset spænding: det er en triplen harmonisk, hvilket betyder, at de 3. harmoniske strømme fra alle tre faser ankommer til neutralen i fase i stedet for 120° fra hinanden. De lægges aritmetisk sammen. En balanceret lineær belastning har en neutralstrøm på næsten nul. En balanceret ikke-lineær belastning med et betydeligt indhold af 3. harmoniske kan have en neutralstrøm, der nærmer sig eller overstiger fasestrømmen.

Derfor findes K-faktor-transformere. K-1 er en normal lineær belastningstransformer; K-13 er klassificeret til et betydeligt harmonisk indhold; K-20 er det, seriøse AI-datacentre nu specificerer, fordi AI-klynger i bund og grund præsenterer 100 % ikke-lineær belastning uden motorer eller varmelegemer i blandingen, der fortynder det harmoniske indhold.

For et laboratorium med et enkelt rack er dette sjældent dit problem - bygningens transformer er upstream og dimensioneret til en blandet belastning. For et AI-rum med flere racks, der er tilføjet til en eksisterende bygning, skal du spørge elektrikeren: Hvad er upstream-transformerens K-klassificering, har neutrallederen mindst samme tværsnit som faselederne (overdimensioneret er bedre), og er panelet klassificeret til harmonisk indhold? Hvis svarene er "K-1, samme som fase, generisk", er du okay med ét rack, men du bør genoverveje det, før du skalerer til fire.

Ærlighedsproblemet med den halvtomme hylde

Fasebalancering forudsætter, at du har nok belastning til at fordele. Et rack med én server og tyve tomme U'er kan ikke balanceres - den ene server er på den fase, den er tilsluttet. De to andre faser er inaktive, nullederen bærer den fulde enkeltserverstrøm, og den 32 A 3-fasede forsyning er på måske 8 % kapacitet, men 100 % ubalanceret.

Tre ærlige muligheder:

1. Accepter ubalancen. Det er én server. Panelet kan tage den.
2. Skift til enfaset. En 32 A enfaset 230 V forsyning er ~7.3 kW — fint nok til en eller to 4-GPU servere. Enklere, intet balanceringsproblem, intet problem med triplen-harmonisk neutral. Det rigtige svar til et lille laboratorium uden vækstplan i de næste 12 måneder.
3. Planlæg fremad, send ledninger fremad. Hvis du udvider til 6 eller 8 servere i løbet af det næste år, så installer 3-faset strømforsyning nu og balancer korrekt, når du tilføjer servere. Omkostningsforskellen i forhold til 1-faset strømforsyning er lille sammenlignet med at rive den ud senere.

Gennemgang af det virkelige scenarie

Et realistisk mellemstort laboratorium: to racks, 8× Kentino AI-servere med otte GPU'er på tværs af begge, plus netværk, lagring og en Intel-Arc testbænk. I alt ~35.5 kW vedvarende effekt (32 kW for Kentino AI-flåden, 2.5 kW for Arc-bænken, 1 kW for switche og lagring).

Kredsløbsplan: opdel fire Kentino AI-servere pr. rack, hvert rack på en 63 A 3-faset strømforsyning (~43.5 kW nominel, 34.8 kW kontinuerlig — komfortabelt for fire 4 kW servere plus tilbehør).

Tildeling af stikkontakt i rack A:

Pr. fase: L1 = 4.6 kW (20 A), L2 = 4.2 kW (18 A), L3 = 8 kW (35 A). Ubalanceret — to Kentino AI-enheder deler L3. Med kun fire servere pr. rack kan du ikke balancere perfekt på tværs af tre faser; én fase tager altid det ekstra. 35 A på en 63 A-forsyning er 56 % af den nominelle effekt, et godt stykke inden for afbryderen. Accepter det. Rack B afspejler layoutet for de resterende fire Kentino AI-servere og Arc-bordet.

Dobbeltfeed-redundans håndteres ved at give hver server en A-feed- og en B-feed-PSU-forbindelse på to fysisk separate PDU'er — se W04 for, hvordan dette interagerer med split-ikke-redundant levering på AI-server-PSU'er.

Overvågning: Begge PDU'er eksporterer strøm pr. fase og pr. udgang via SNMP. Prometheus scraper hvert 15. sekund, Grafana viser en 24-timers trend, og alarmen udløses, hvis en fase overstiger 80 % af den nominelle værdi i >5 min., eller hvis faseubalanceforholdet overstiger 25 % i >30 min. Udjævningen er vigtig — start og stop af træningsjob udløser kortvarige ubalancer, der ikke kan handles på.

---

Dette er en del af Kentino Wiki, en referenceserie om AI-beregning, robotteknologi og de systemer, der forbinder dem. Kommentarer og rettelser er velkomne på info@kentino.com.