NVLink og NVSwitch: Når det er vigtigt, og hvorfor det normalt ikke er det for Kentinos sortiment

Et tilbagevendende spørgsmål i indbakken: En kunde, der skal dimensionere en 4× eller 8× GPU-server, ser NVIDIAs DGX-markedsføring prale med NVLink-båndbredde i terabyte pr. sekund og spørger, om Kentino-buildet "har NVLink". Det ærlige svar er nej, ingen af ​​vores builds har det - og for de arbejdsbyrder, kunden rent faktisk har, er det fint. Denne artikel uddyber hvorfor.

NVLink er virkelig imponerende i toppen af ​​serien og fraværende alle andre steder. Markedsføringen trækker ikke en klar grænse, så købere betaler enten for meget for et fabric, de ikke har brug for, eller for lidt, da de tror, ​​at PCIe er en trinvis nedgradering af funktioner på tværs af linjen. Ingen af ​​delene er sandt. Grænsen er skarp og sidder et specifikt sted.

Hvad NVLink egentlig er

NVLink er en punkt-til-punkt GPU-til-GPU-forbindelse med høj båndbredde, der omgår værtens PCIe-rodkompleks. To GPU'er med en NVLink-forbindelse flytter tensorer direkte over linket uden at hoppe gennem CPU-hukommelse og uden at konkurrere med noget andet på PCIe-træet. Det er hele pointen.

Båndbreddefordelen i forhold til PCIe er betydelig. PCIe Gen5 x16 — det nuværende loft for et forbruger- eller arbejdsstationsslot — giver omkring 64 GB/s i hver retning, 128 GB/s samlet. NVLink 5 på B200 og GB200 giver 1.8 TB/s samlet pr. GPU, cirka 14× et PCIe Gen5 x16-slot.

Denne sammenligning er misvisende i det øjeblik, man skriver den ned, fordi GPU'er med NVLink 5 ikke er GPU'er med PCIe Gen5 x16 som deres primære forbindelse. NVLink findes på datacenter-SKU'er (A100, H100, H200, B200, GB200); PCIe er den eneste vej på forbruger- og arbejdsstations-SKU'er (4090, 5090, RTX Pro 6000 Blackwell, L40, L4). "NVLink versus PCIe" betyder i praksis "H100-linjen versus resten".

NVLink-generationer i et overblik

Antallet af links voksede fra generation 2 til 4, og derefter fordobledes båndbredden pr. link fra generation 4 til 5 (50 GB/s til 100 GB/s). Derfor ligner NVLink 5 et afgørende skridt – det er det.

PCIe i en Kentino-build:

I værste fald (Gen4) er PCIe ~1/14 af NVLink 4. I bedste fald (Gen5) er PCIe ~1/14 af NVLink 5. Forholdet er nogenlunde konstant i NVIDIAs design.

Den ærlige del: Kentinos udvalg har ikke NVLink

NVIDIA fjernede NVLink-fingeren fra forbruger-GeForce startende med Ada Lovelace. 3090 var det sidste forbrugerkort med en fungerende bridge; 4090 droppede den, og 5090 har ingen. Den angivne årsag var "brugere ønsker båndbredde inden for en enkelt GPU, ikke mellem to af dem" - hvilket bekvemt stemte overens med træningskunder, der betaler datacenterpriser for båndbredde mellem GPU'er.

Det interessante tilfælde er RTX Pro 6000 Blackwell — et 96 GB arbejdsstation-og-server-kort på samme Blackwell-silicium som B200, det oplagte valg af "seriøs GPU-hukommelse uden at skulle overgå til B200". Det har heller ingen NVLink. Hverken på arbejdsstationen, hverken på serveren eller på Max-Q. Ingen bridge-stik på printkortet. NVIDIAs datablade angiver, at NVLink ikke understøttes på tværs af alle tre SKU'er.

Dette er den bevidste segmenteringslinje. NVLink betyder at opgradere til H100, H200, B200 eller GB200 — SXM-formfaktor, HGX-bundkort, andet chassis, anden køling, allokering som Kentino ikke har. Hvis du virkelig har brug for NVLink, så tal med en HGX-systemleverandør.

Hvad du mister uden NVLink

Straffen viser sig i to specifikke arbejdsbelastningsmønstre:

1. Tensorparallelisme på tværs af GPU'er. Når en model er for stor til én GPU, og du opdeler hvert lags vægtmatrix på tværs af kort, kræver hvert transformerlag en AllReduce på tværs af shards. AllReduce er båndbredde-tung og latenstidsfølsom. PCIe er flaskehalsen.
2. Distribueret træning med finkornet gradientsynkronisering. DDP-, FSDP- og Megatron-lignende træning udfører gradient AllReduces for hvert trin. Jo mindre beregning pr. trin er, og jo større modellen er, desto mere dominerer forbindelsen væguret.

Alt andet – enkelt-GPU-inferens, pipeline-parallelisme, data-parallelisme, indlejringer, vision-inferens, ASR, TTS, generering af diffusionsbilleder, finjustering af en model, der passer til én GPU – kører fint på PCIe. NVLink er irrelevant.

Målt TP-skalering for en 70B-klasse LLM ved INT4/INT8, fra publicerede 3090/4090/L40S benchmarks:

Læses som intervaller, ikke løfter – nøjagtige tal afhænger af model, batchstørrelse, sekvenslængde, kvantisering, NUMA-topologi og slotplacering. Formen er reel: PCIe tensor parallel skalerer sublineært, og straffen vokser med GPU-antallet. Derfor anbefaler vLLM's egen dokumentation parallel pipeline frem for parallel tensor på PCIe-only-systemer over to GPU'er.

Den praktiske erstatning: behold modellen på én GPU

Den undervurderede kendsgerning om det nuværende GPU-landskab: et RTX Pro 6000 Blackwell har 96 GB VRAM på et enkelt kort - nok til at hoste en 70B ved INT4 eller INT8 i én GPU med KV-cacheplads. Hvis man undgår at opdele en model på tværs af GPU'er overhovedet, er NVLink irrelevant.

Hosting med ét kort er den rette arkitektur for næsten alle modeller, der er værd at betjene i 2026. Undtagelser: meget store, tætte modeller (405B, GPT-OSS 120B) og MoE-layouts, hvor det aktive ekspertsæt passer til ét kort, men det fulde vægtsæt ikke gør.

For multikort på PCIe er det rigtige valg rørlednings parallelitet, ikke tensorparallelisme. Pipeline parallel opdeler lag i lange sammenhængende blokke (GPU 0 indeholder lag 0-39, GPU 1 indeholder 40-79 osv.). Inter-GPU trafik er blot aktiveringstensoren ved hver blokgrænse - et par hundrede KB pr. token, ikke gigabyte pr. lag.

På en 8× 5090-server, der betjener en 70B, opdeler du ikke modellen på tværs af alle otte kort. Du kører to instanser med 4-vejs pipeline parallelt, eller fire instanser med 2-vejs pipeline, eller – mest almindeligt – otte uafhængige instanser af en mindre model bag en load balancer. 8×-serveren bliver en gennemløbsmultiplikator med otte replikaer i stedet for én enorm virtuel GPU. Til produktionsinferens er replikaarkitekturen normalt det rigtige svar uanset NVLink-tilgængelighed: mere samtidighed, elegant nedbrydning, når et kort fejler.

Når NVLink virkelig betyder noget

Arbejdsbyrder hvor fraværet af NVLink er et reelt problem, ikke et marketingproblem:

• Træner en model, der ikke passer på én GPU. Forudtræning eller fuld finjustering af en 70B+ tæt model kræver, at modellen er opdelt på tværs af GPU'er med gradient AllReduces i hvert trin. NVLink er forskellen mellem en produktiv 8-GPU rig og fire kort, der for det meste venter på bussen.
• Tensor parallel inferens på meget store tætte modeller. Hvis du har brug for 405B serveret på tværs af GPU'er og ikke kan acceptere pipeline-parallel latency-per-token, er NVLink vigtig.
• MoE med ekspertrouting på tværs af GPU'er. MoE alt-til-alt er brutalt på PCIe. DeepSeek-V3, Mixtral 8×22B og lignende dense-via-MoE designs drager tydeligvis fordel af det.
• Højfrekvente RLHF / GRPO-sløjfer. Politik-/referencesynkronisering gentaget tusindvis af gange pr. epoch rammer den samme AllReduce-omkostning.
• Multi-GPU diffusionstræning i stor skala. Nogle større videodiffusionsmodeller har tensor-parallelle-lignende aktiveringsmønstre.

Hvis din arbejdsbelastning er på denne liste, så køb ikke en Kentino 8× 5090-server og forvent DGX H100-adfærd. Køb et HGX-system, eller lej H100/B200 i skyen til træningsfasen og bring vægtene tilbage on-prem til inferens. Det er en helt fornuftig arbejdsgang, som vi varmt kan anbefale.

NVSwitch: chassis-niveau-strukturen

NVLink er punkt-til-punkt — GPU A til GPU B over et bundt af links. Over to GPU'er i et chassis giver du enten hvert par sin egen dedikerede NVLink (skalerer ikke ud over fire) eller placerer en NVLink-switch i midten. NVIDIAs NVSwitch er den switch.

På et HGX H100 8-GPU baseboard giver fire NVSwitch-chips hver GPU fuld båndbredde NVLink 4 til alle andre GPU'er - 900 GB/s, alt-til-alt, ingen konkurrence. På et GB200 NVL72 rack skalerer NVSwitch på tværs af 72 GPU'er i en enkelt ikke-blokerende topologi, 1.8 TB/s pr. GPU, 130 TB/s aggregeret. NVSwitch er det, der får "én stor virtuel GPU" til rent faktisk at fungere; uden det er NVLink bare et hurtigere parvis kabel.

Praktisk:

• Ingen NVSwitch i nogen Kentino-build. NVSwitch leveres kun i NVIDIA-certificerede HGX og DGX. Ingen eftermarkedschips kan monteres i et Supermicro- eller Bone64c-kabinet.
• Ingen NVSwitch i noget RTX-kort nogensinde. Kun for datacenter.
• GB200 NVL72 er rack-skala, ikke server-skala. 72 GPU'er samarbejder via kobberkabelforbundet NVLink ved backplane-hastigheder. Kabler, switche og backplane er alle NVIDIA-proprietære. Listeprisen løber op i millioner af amerikanske dollars med leveringstider over flere kvartaler. Den høje ende af, hvad NVLink muliggør i 2026. Ikke for os.

Omkostninger og tilgængelighed

NVLink-kompatible systemer har deres eget prisniveau. Omtrentlig marked medio 2026, USA/EU:

Prisforskellen mellem en Kentino 8× Pro 6000 build og en HGX H100 er omtrent 2× for det samme nominelle GPU-antal. Ydelsesforskellen for ikke-NVLink-afhængige workloads er meget mindre end 2×. Til NVLink-afhængigt arbejde (træning af store modeller, tensor parallel på 405B) er H100-boksen det rigtige værktøj, og prisen er berettiget. Tommelfingerregel: Hvis din workload passer til én 96 GB GPU, sparer Pro 6000 build 50%+ af budgettet. Hvis ikke, betal for NVLink.

Resumé

---

Dette er en del af Kentino Wiki, en referenceserie om AI-beregning, robotteknologi og de systemer, der forbinder dem. Kommentarer og rettelser er velkomne på info@kentino.com.