Afbryderstørrelse og indkoblingsstrøm til AI-servere

Den klage, vi oftest hører efter installation af en AI-server, er en variant af "afbryderen bliver ved med at slå fra". Omkring halvdelen af ​​tiden er racket i gennemsnit fint - GPU'erne kører, BMC'en forbliver aktiv, SNMP-graferne ser rimelige ud - og alligevel vender panelet på uforudsigelige tidspunkter, og rummet bliver mørkt. Sjældnere er det fejlen, der er fejlstrømsafbryderen (RCD), hvilket er endnu mere frustrerende, fordi belastningen ser afbalanceret ud, og udstyret ser sundt ud.

Vores erfaring er, at ingen af ​​symptomerne normalt er en overbelastning. Omkring halvdelen af ​​tiden er det den forkerte tripkurve på MCB'en - typisk en B-kurveafbryder installeret af en elektriker, der antog, at AI-beregning opfører sig som kontor-IT. Omkring 30 % af tiden er det den forkerte RCD-type , hvor en type AC- eller type A-enhed bliver bedt om at skelne DC-komponentlækage fra en stak af PFC-korrigerede server-strømforsyninger. De resterende 20 % er en reel overbelastning, næsten altid i det øjeblik, hvor flere strømforsyninger koldstarter synkront, og inrush-konvolutten kortvarigt overstiger alt, hvad det gennemsnitlige forbrug ville forudsige.

Denne artikel er den elektriske ledsager til W04 (strømforsyningsstørrelse) og P02 (PDU-typer). Den dækker, hvad tripkurver rent faktisk betyder i henhold til IEC 60898, den reelle indkoblingsadfærd for de strømforsyninger, vi leverer, når 80 % kontinuerlig belastningsnedsættelse giver efter, og hvilken RCD-type der skal specificeres til et rack med switch-mode AI-serverstrømforsyninger. Eksempler på en 4-GPU 5090-build og en 8-GPU-build til sidst.

Hvad en MCB rent faktisk måler — to udløsningsmekanismer i én enhed

Hver IEC 60898 miniatureafbryder har to beskyttelsesmekanismer pakket ind i det samme hus.

Termoelementet er en bimetallisk strimmel , der opvarmes med strøm over mange sekunder. Det modellerer I²t-profilen, der bestemmer, om et kabel overopheder. I henhold til IEC 60898 er de konventionelle termiske punkter: ved 1.13 × afbryderens nominelle strøm (In) må enheden ikke udløse inden for den konventionelle tid (typisk > 1 time for nominelle værdier ≤ 63 A), og ved 1.45 × In skal den udløse inden for den konventionelle tid. Dette er den del, der beskytter ledningen mod vedvarende overbelastning.

Det magnetiske element er en elektromagnetisk spole, der klikker kontakterne åbne inden for en brøkdel af en halvcyklus, når strømmen krydser en fast tærskel. Dette er den del, der beskytter mod kortslutninger – og den del, der afgør, om din AI-servers indkobling er "fin, kortvarig stigning" eller "trip, på gensyn i morgen".

Bogstavet for turkurven (B, C, D) angiver det magnetiske tærskelbånd. Den termiske karakteristik er den samme på tværs af kurver ved samme In; kun det magnetiske punkt er forskelligt.

For en 16 A afbryder er de magnetiske tærskler omtrent: B16 udløses over 48-80 A; C16 udløses over 80-160 A; D16 udløses over 160-320 A. Det nøjagtige punkt inden for hvert bånd afhænger af producenten og temperaturen.

De fleste beboelsesejendomme og små erhvervsbygninger i EU leveres med B-kurveafbrydere som standard. Dette valg er korrekt til kontorstikkontakter, belysning og ohmske belastninger. Det er den forkerte standard for et AI-serverkredsløb af grunde, som vi nu skal gennemgå.

Reel strømforsyningsindkoblingsadfærd — delens datablade underdriver

Når en server-strømforsyning tilsluttes og tændes koldt, er indgangstrinnets første opgave at oplade hovedkondensatorerne på DC-siden. Disse er typisk 470 µF til 2200 µF nominelt 400 V eller 450 V, og sidder efter broensretteren. Fra en flad start ser de ud som en næsten kortslutning til AC-linjen i et par hundrede mikrosekunder, indtil spændingen over kondensatoren nærmer sig peak-linjespændingen.

Mekanismen i de fleste ordentlige strømforsyninger er en NTC-termistor (negativ temperaturkoefficient) i serie med indgangen. Koldt spænding har den en værdi på 5-20 Ω; indkoblingsstrømmen opvarmer den selv inden for millisekunder, modstanden falder til et par procent af den kolde værdi, og termistoren bliver reelt transparent for stationær drift. Ulempen er, at en NTC skal køle ned igen efter en strømcyklus – en strømforsyning, der lige har kørt og været slukket i ti sekunder, kan starte med en indkoblingsstrøm næsten som om der slet ikke var nogen begrænser, fordi termistoren stadig er varm og har lav modstand.

Server-grade CRPS-moduler tilføjer ofte en aktiv indkoblingsbegrænser : et relæ eller en MOSFET, der omgår en strømbegrænsende modstand, når bulk-kondensatorerne er opladet. Dette kombinerer koldstartsbeskyttelsen fra en NTC med nedkølingsuafhængigheden fra en hard switch. CRPS-moduler i området 1.6-3 kW er typisk bedre ved indkobling end ATX-enheder med samme effekt, dels fordi det aktive kredsløb er standard, dels fordi antagelsen om kildeimpedans (datacenter 230 V) er strammere.

To konsekvenser for AI-rackdesign:

1. Indkoblingsspidsen i databladet er ved nominel spænding og "typisk" kildeimpedans. Ved 245 V (den høje ende af EU-tolerancen) på en kort, lavimpedansforsyning fra et nærliggende panel kan spidsen være 1.5-2 gange det typebestemte tal. Vi har målt 180 A-spidser på en 1500 W ATX-enhed, der var specificeret til 100 A.
2. Flere strømforsyninger, der starter samtidigt, tilføjer deres indkoblingsspidser. Linjecyklussen er den samme for dem alle; hvis fire strømforsyninger er tilsluttet det samme kredsløb, og alle lukker deres indgangskontakter på samme tid, ser afbryderen omtrent 4 gange peak pr. strømforsyning. En 4× 5090-server med to 2 kW ATX-strømforsyninger (~150 A peak hver i worst case) starter kortvarigt med ~300 A peak. En B16-afbryder (magnetisk tærskel 48-80 A) udløses. En C16-afbryder (80-160 A) udløses i worst case. En C32-afbryder (160-320 A) holder.

Dette er mekanismen bag den mest almindelige klage over "min nye AI-server bliver ved med at udløse afbryderen". Den vedvarende belastning er fin. Det er indkoblingsgrænsen ved koldstart, der udløses.

Kontinuerlig belastningsnedregulering — 80%-reglen, der fanger AI-arbejdsbelastninger

EU-praksis (og IEC 60364 i ånden) er at reducere den kontinuerlige strømklassificering for en afbryder til cirka 80 % af typeskiltet for belastninger, der trækker vedvarende strøm i mere end tre timer. Nordamerika kodificerer dette i NEC 210.20(A); Europa anvender det som bedste praksis snarere end en enkelt hård regel, men den underliggende fysik - bimetalopvarmning i afbryderen, lederopvarmning i kablet - er identisk.

AI-inferens og -træning er eksplicit kontinuerlige belastninger. Et vLLM-slutpunkt, der betjener en 70B-model under stabil anmodningsbelastning, bruger 80-95 % af den nominelle GPU-TDP i timevis. En træningskørsel er endnu mere ensartet. 80 % reduktionen gælder fuldt ud - der er ingen undtagelse for "intermitterende burstbelastning" for AI-arbejdsbelastninger, fordi belastningen er præcis den slags vedvarende træk, som reduktionen er til for at beskytte imod.

En 4× 5090-server på 2.4 kW vedvarende effekt ligger på 81% af en B/C 16 A-afbryders kontinuerlige kapacitet, hvilket præcist er på linjen. Med en B-kurveafbryder er linjen i gennemsnit fin og udløses ved indkobling. Med en C-kurveafbryder er linjen i gennemsnit fin og udløses lejlighedsvis ved sammenfaldende transiente toppe på tværs af de fire GPU'er. Med en C 20 A- eller C 25 A-afbryder har linjen reel headroom og udløses aldrig. Derfor er vores standardanbefaling til en 4-GPU 5090-build et dedikeret C 20 A- eller C 25 A-kredsløb , ikke det 16 A-kredsløb, som matematikken "passer" på.

Valg af turkurve for Kentino AI-serien

To bemærkninger til denne tabel:

• D-kurven er sjældent det rigtige svar. D 10–20× In er til transformer-aktivering og motorstart, der kan ringe i hundredvis af millisekunder. PSU-aktiveringsstrøm er en hændelse på under et millisekund til et par millisekunder. En D-kurveafbryder tolererer aktiveringsstrømmen trivielt, men mister følsomhed for kortslutningsbeskyttelse i lastenden af ​​et langt kabelstræk. Hold dig til C, medmindre du har en specifik grund.
• Det er næsten altid billigere at gå op med én breaker-størrelse end at gå op med én kurve. AC 20 A på et kabel af den korrekte størrelse er en udskiftning af dele fra C 16 A til €15. At gå fra B til C på samme rating er også en udskiftning af dele, men det strider mod den oprindelige elektrikers designvalg. Begge tilgange fungerer; vi gør normalt begge dele - hop til C-kurve og op én ratingstørrelse - for at give plads til den anden strømforsyning, du til sidst vil tilføje.

Hvorfor leverandørernes inrush-datablade undervurderer det reelle tal

Tre grunde til, at databladets indkoblingshastighed er gulvet, ikke loftet:

1. Leverandørens målinger er ved 230 VAC nominel. EU-elnettet kan i nogle regioner og i perioder med lav belastning være på 245 V eller højere. Indkoblingsspændingen skaleres lineært med netspændingen over den delvist opladede kondensators spænding. En indkoblingsspænding på 100 A ved 230 V er 107 A ved 245 V – en lille effekt, men den kan sammenlignes med de andre.
2. Kildeimpedansen, der antages i databladet, er en "typisk" laboratoriekilde, ofte et par hundrede milliohm. En rigtig installation med panelet i samme rum som racket og en kort feeder-strækning kan levere en source-impedans under 100 mΩ. Lavere source-impedans betyder mindre spændingsfald under indkobling, hvilket betyder en højere peak-strøm. Vi har set den samme strømforsyning trække 80 A peak på en lang kabelstrækning og 140 A peak på en kort.
3. DC-bussens foropladningstilstand har betydning ved en hurtig strømcyklus. En strømforsyning, der er slukket i et par sekunder og tændt igen, kan opleve varme bulk-hætter med restladning – det hjælper normalt, mindre indkoblingsstrøm. Men en strømforsyning, der er slukket i et par sekunder med en forkølelse NTC, der ikke er nulstillet, og delvist afladet Hætter kan producere en ejendommelig second-strike inrush, der overstiger koldstartstallet. Dette er sjældent, men det optræder i racks, hvor nogen tænder og slukker via en switched PDU under fejlfinding.

Det praktiske svar er at antage, at den værst tænkelige spidsværdi er omtrent 2 gange databladsværdien, når man dimensionerer MCB-kurven. Dette er grunden til, at ovenstående tabel lander på C 20-25 A for 4-GPU-modeller og C 32 A eller trefaset for 8-GPU-modeller, selvom steady-state-beregningen ville passe på mindre afbrydere.

Differentialbeskyttelse: RCD-type til AI-serverracks

En fejlstrømsafbryder (RCD) beskytter mod jordlækage, der overstiger en sikker tærskel – typisk 30 mA for personlige beskyttelseskredsløb. Mekanismen er en strømtransformer, der summerer fase- og neutralstrømmen; i normal drift er summen nul, og enhver ubalance (strøm, der går til jord et sted) vises som en reststrøm, der udløser enheden over dens tærskel.

To måder, hvorpå et AI-serverrack forstyrrer en RCD:

Lækage fra Y-kondensator i stationær tilstand. Alle switch-mode strømforsyninger har Y-kondensatorer i deres EMC-indgangsfilter, der sidder mellem fase-til-jord og neutral-til-jord. Disse shunter højfrekvent switchstøj til jord. De sender også en lille 50 Hz strøm til jord som en bivirkning - typisk 0.5-1 mA pr. strømforsyning på forbruger-ATX, 1-3 mA pr. strømforsyning på server-CRPS-enheder med kraftigere filtrering. IEC/EN 60950-1 og dens efterfølger IEC 62368-1 begrænser dette til 3.5 mA pr. IT-enhed af sikkerhedsmæssige årsager. Et 4× strømforsyningsrack kan derfor præsentere 4-12 mA stationær jordlækage før en fejl. På en 30 mA RCD er dette "fint på papiret", men bruger næsten halvdelen af ​​udløsningstærsklen.

DC-komponentlækage fra aktiv PFC. Moderne server-strømforsyninger bruger aktiv effektfaktorkorrektion (PFC) - en boost-konverter på indgangen, der trækker strøm proportionalt med netspændingens bølgeform og opnår PF > 0.95. PFC-trinnet producerer en lille, men ikke-nul DC-komponent i enhver jordlækage, der opstår (for det meste under fejlforhold). Type AC-fejlstrømsafbrydere reagerer kun på ren sinusformet AC-reststrøm - de vil ikke registrere DC-komponentfejl. Type A-fejlstrømsafbrydere registrerer AC og pulserende DC, hvilket dækker de fleste enfasede elektroniske belastninger. Type B-fejlstrømsafbrydere registrerer også glatte DC-residualer , hvilket er, hvad aktiv PFC og enhver trefaset ensretter ved belastningen kan producere.

Type B-fejlstrømsafbrydere koster 3-5 gange så meget som type A. For en enkelt 4-GPU AI-server i et eksisterende kontorkredsløb er type A normalt fin – lækagen domineres af Y-kondensatorens vekselstrøm, DC-komponenten er lille, og omkostningerne ved en type B-eftermontering på hele panelet er svære at retfærdiggøre. For et dedikeret AI-laboratorium med flere servere er type B på upstream-forsyningen det rigtige svar , med downstream 30 mA type A-fejlstrømsafbrydere på stikkontaktniveau til personlig beskyttelse ved rengøring af stikkontakter og så videre.

Selektivitet: opstrøms/nedstrøms RCD-fælden

En ubehagelig fejltilstand i laboratorier, hvor ekstra fejlstrømsafbrydere boltes fast på et eksisterende panel: en 30 mA fejlstrømsafbryder opstrøms for en anden 30 mA fejlstrømsafbryder giver ingen selektiv diskrimination. Begge enheder kan udløses først ved en fejl, og når den ene udløses, kan den anden følge efter, efterhånden som lækagen omfordeles gennem udløsermekanismens egne veje. Resultatet er, at hele panelet slukker på det, der burde være en lokaliseret enkeltkredsfejl.

Den korrekte topologi for et AI-laboratorium:

Korrekt RCD-selektivitetstopologi: 100 mA Type B selektiv opstrøms for AI-kredsløb, 30 mA Type A kun på hjælpe- og kontorstik.

"S"- eller "selektiv"-betegnelsen på en upstream RCD tilføjer en bevidst tidsforsinkelse på 40-200 ms til udløsningsmekanismen, hvilket sikrer, at downstream 30 mA-enheder har tid til at afhjælpe en fejl først. Uden tidsforsinkelsen løber to RCD'er i serie ved samme tærskel mod hinanden. En 100 mA Type B selektiv upstream, med 30 mA Type A downstream kun på hjælpestik og ingen RCD på det dedikerede serverkredsløb (afhængig af de upstream 100 mA til fejlafhjælpning), er den topologi, der rent faktisk fungerer til et AI-rack med flere servere.

Eksempel 1 — 4-GPU 5090 Kentino AI-server

Opsætning: en enkelt Kentino AI 96 Turin med 4× RTX 5090, 2× 1500 W ATX strømforsyninger (delt levering pr. W04), i et lille laboratorium på et nyligt installeret dedikeret kredsløb.

Vedvarende belastning: ~2.4 kW ved 230 V = 10.4 A kontinuerligt. Ved 80% nedre spænding er den mindste afbryder, der lovligt passer til dette, 13 A; den næste standardstørrelse er 16 A.

Indkoblingspeak (worst case): 2× 150 A = 300 A kombineret, varer < 5 ms. En AB 16 A afbryder (magnetisk 48-80 A) udløses her. En AC 16 A afbryder (magnetisk 80-160 A) udløses i den høje ende af worst case-tilstanden. En AC 20 A afbryder (magnetisk 100-200 A) holder.

RCD: enkelt strømforsyningspar, Y-cap-lækage estimeret til ~3-5 mA kombineret stationær tilstand. En 30 mA type A RCD har ~25 mA frihøjde – fint. Hvis bygningen kun har type AC RCD-beskyttelse, skal den upstream-enhed udskiftes med type A eller type B; en anden 30 mA-enhed må ikke stables.

Specifikation afleveret til elektrikeren:

• Dedikeret 230 V enfaset kredsløb, C 20 A MCB (eller B 20 A, hvis leverandøren ikke har C-kurven på lager i den pågældende klassificering; C foretrækkes).
• 30 mA type A fejlstrømsafbryder som minimum Type B, hvis bygningen alligevel opgraderes.
• Schuko-stikkontakt (eller et lokalt enfaset 16 A-stik) ved stativet. C19/C20-kabel fra stikkontakten til PDU'en.
• Ingen andre belastninger på samme kredsløb.

Dette kredsløb vil holde 4-GPU 5090-serveren i stand til at klare koldstarter, vedvarende træning og lejlighedsvise strømafbrydelser uden generende afbrydelser.

Eksempel 2 — 8-GPU 5090 Kentino AI-server

Opsætning: en enkelt Kentino AI 256 Turin Dual med 8× RTX 5090, 2+2 CRPS-moduler på 2 kW hver, beregnet til vedvarende træning i et lille serverrum.

Vedvarende belastning: ~4.5 kW ved 230 V = 19.6 A kontinuerligt. Ved 80% nedkobling kræver dette mindst en 25 A afbryder; den næste standardstørrelse er 32 A.

Indkoblingspeak (worst case): 4× 80 A = 320 A kombineret for CRPS-moduler, < 5 ms. AC 32 A-afbryderen (magnetisk 160–320 A) er på kanten. AC 40 A-afbryderen (200–400 A) holder med margin.

RCD: 4× CRPS med PFC, Y-kappelækage estimeret til ~8-15 mA kombineret stationær tilstand, plus en ikke-nul DC-komponent. En 30 mA type A RCD vil med tiden forårsage en generende udløsning på denne og detekterer muligvis ikke DC-fejlstrøm korrekt. Type B 100 mA selektiv er den rigtige specifikation.

Specifikationsmuligheder:

• Mulighed A — enfaset: C 32 A eller C 40 A MCB på et dedikeret 230 V kredsløb, 100 mA type B selektiv RCD upstream. CEE 32 A blå (enfaset IEC 60309) stikkontakt ved stativet. Dette fungerer, men er i den øvre kant af enfaset distribution; kabelstrækningen oplever betydelig strøm.
• Mulighed B — trefaset (foretrukket): 400 V trefaset 16 A CEE rød stikkontakt ved racket, med de fire CRPS-moduler fordelt på tværs af faser ved PDU'en (pr. P02/P03Hver fase har ~6.5 A vedvarende, hvilket er et godt stykke inden for enhver C 16 A MCB. RCD pr. ben eller delt 100 mA Type B selektiv på trefaset. Dette er den renere løsning for enhver 8-GPU-bygning, der har trefaset tilgængelig.

Udarbejdet eksempel 3 — planlægning af laboratorie med fire reoler

Opsætning: planlægning af et robot- + AI-laboratorium med fire racks, der hver rummer 2× 8-GPU Kentino AI-servere, 2× 4-GPU-servere, netværk og humanoid opladning. Grov vedvarende effekt pr. rack: 2× 4.5 + 2× 2.4 = 13.8 kW; med netværk, switche og opladere afrundet til 15 kW pr. rack, 60 kW i alt.

Enfaset distribution er død ved ankomsten her — det vedvarende antal per rack kræver allerede trefaset. Planen:

• Bygningsfeed: 400 V trefaset, minimum 100 A pr. fase. Eksisterende bygninger har ofte brug for en opgradering af forsyningsnettet til dette formål; tjek panelet, inden lejekontrakten underskrives.
• Underpanel for laboratoriet: 400 V trefaset, forsynet fra hovedforsyningen på 4 × 63 A eller 4 × 100 A ledere pr. kabelstrækning.
• Pr. stativ: 400 V trefaset 32 ​​A CEE rød forsyning fra underpanelet (~22 kW teoretisk, 17.6 kW kontinuerlig — passer til 15 kW pr. rack med 17 % headroom). C 32 En trepolet MCB opstrøms for hver rack-forsyning.
• RCD-strategi: 100 mA type B selektiv pr. rack-tilførsel, 300 mA type B selektiv på underpanelet som brandbeskyttelse. Personlig beskyttelse: 30 mA type A fejlstrømsafbrydere kun på ekstra stikkontakter i laboratoriet (arbejdsborde, rengøringsstikkontakter), ikke på servertilførslen.
• Fasebalancering: per P03fasestribet, udgangsmålt PDU pr. rack med dokumenteret udgang-til-fase-kortlægning.
• Forskudt opstart: se nedenunder.

Den forskudte opstartsfælde

Et specifikt scenarie, der rammer laboratorierne første gang: et strømafbrydelse udløser upstream-afbryderen, strømmen vender tilbage, og alle servere i racket forsøger at koldstarte på samme tid. Den samlede indkoblingshastighed er N × peak pr. strømforsyning på tværs af alle servere i racket. For et rack med fire servere kan dette kortvarigt nå 1000-2000 A på den enkelte strømforsyning.

Den opstrøms MCB ser dette og udløses. Rummet bliver mørkt igen. Systemadministratoren tænder og slukker for panelet. Det samme sker.

To løsninger, som vi begge implementerer som standard på Kentino multiserver-builds:

1. Switched PDU med forskudt opstartssekvensering (For P02PDU'ens udgange er konfigureret til at starte op i rækkefølge med en forsinkelse på 2-5 sekunder mellem hvert udgang. Den samlede tid til at starte fire servere op er 8-20 sekunder; startstrømshændelserne overlapper ikke.
2. Strømforsyning "forsinket start" eller "blød start" i BIOS/IPMI. Mange serverplatforme har en konfigurerbar forsinkelse for genoprettelse af vekselstrøm, der randomiserer eller forskyder starttidspunktet inden for et lille vindue. Kombineret med PDU-forskydningen giver dette et andet lag af dekorrelation.

Uden en af ​​disse vil et rack med 8 servere på en enkelt MCB udløses ved hver eneste strømgendannelseshændelse. Vi har set det; det er pålideligt reproducerbart; det har intet at gøre med den gennemsnitlige belastning.

Dette er en del af Kentino Wiki, en referenceserie om AI-beregning, robotteknologi og de systemer, der forbinder dem. Kommentarer og rettelser er velkomne på info@kentino.com.