GPU-valg til AI-arbejdsbelastninger: 5090, 4090, RTX Pro 6000, L40, L4 direkte sammenligning

Der findes ingen universelt korrekt GPU til AI-arbejde i 2026. Der findes en korrekt GPU til en defineret arbejdsbyrde, en defineret strømforbrugsgrænse og et defineret budget – og det forkerte kort i det rigtige kabinet er en dyrere fejltagelse end det rigtige kort i det forkerte kabinet. Denne artikel gennemgår Kentino-serien direkte med reelle ydelsestal, ærlige afvejninger og et beslutningsflow, som vi rent faktisk har brugt på kundeopkald. Den foregiver ikke, at H100 og A100 ikke eksisterer; de gør, vi sælger dem ikke, og vi vil være specifikke omkring, hvornår den forskel betyder noget.

Kortene på bordet:

• RTX 5090 — 32 GB GDDR7, 1.79 TB/s, 575 W, forbruger.
• RTX 4090 — 24 GB GDDR6X, 1.01 TB/s, 450 W, forbruger, forrige generation.
• RTX Pro 6000 Blackwell Server Edition — 96 GB GDDR7 ECC, 600 W, passiv køling, serverformfaktor, ingen skærmudgange.
• RTX Pro 6000 Blackwell Max-Q — 96 GB GDDR7 ECC, 300 W, blæser med to slots, samme silicium som Workstation.
• L40 — 48 GB GDDR6 ECC, 0.86 TB/s, 300 W, datacenter-formfaktor, fuld ECC.
• L4 — 24 GB GDDR6, 0.30 TB/s, 72 W, enkeltslot lavprofil, kantinferens.

Specifikationerne, der faktisk betyder noget

GPU-specifikationsarkene er tætpakket, og de fleste tal ændrer ikke en købsbeslutning. Tre af dem gør.

1. VRAM-kapacitet. Dette er binært. Enten passer din model, eller også gør den ikke. CPU-offload er ikke en brugbar erstatning (omfattet af W01).
2. VRAM båndbredde. Tokengenerering på en transformer er båndbreddebundet. Specifikationsbladet for TFLOPS er stort set irrelevant for inferens.
3. Vedvarende kraft og formfaktor. Et 600 W kort i et kabinet, der ikke kan flytte varmen, er et 300 W kort med en termisk alarm. Et 72 W kort i en 1U-server er en anden maskine end et 575 W kort i en 4U-arbejdsstation.

Inferens: tokens pr. sekund, efter model og kort

Generering af inferenstoken, enkeltstrøm, er omtrent båndbredde divideret med modelstørrelse ganget med en stakeffektivitetsfaktor på 0.6-0.8. Tabellen nedenfor viser, hvad vi har målt på bench-builds med vLLM 0.6+ og llama.cpp-strøm pr. 2. kvartal 2026. INT4 medmindre andet er angivet. Gennemløb for enkeltstrøm først; batchaggregat i parentes, hvor det er målbart.

Et par ærlige forbehold. Dette er typiske tal på et korrekt afkølet kabinet med modellen fuldt resident. Cold-cache TTFT domineres af KV-cache-allokering og prefill-beregning, ikke båndbredde, og lander i området 200-900 ms på tværs af denne kortserie. Batch-throughput skaleres sublineært forbi 8-16 samtidige streams på grund af beregningskonflikt. Hvis din applikation er interaktiv (chat, agent trin for trin), betyder enkeltstream mere end batch-baseret. Hvis din applikation er bulk-baseret (dokumentbehandling, automatisk etikettering), betyder batch-baseret mere.

4× 5090-byggeblokken er arbejdshesten i vores sortiment af en grund: den koster €8,500–€14,000 alene i kort, har plads til fire GPU'er i et 4U-kabinet med rimelig airflow og leverer ~12,000 tok/s samlet på Llama 3.3 70B INT4 under vLLM med tensorparallelisme. En enkelt Pro 6000 Blackwell til €8,500 leverer ~30 tok/s single-stream og ~90 tok/s batchvis på den samme model. For en flerbrugerserver vinder 5090'erne. For en enkeltbruger stor-kontekst arbejdsbelastning med 64 GB+ modeller vinder Pro 6000. Der er intet universelt svar.

Hvor hvert kort rent faktisk giver mening

RTX 5090 — perf/€-kongen med skarpe kanter. Det rigtige svar, når arbejdsbyrden er inferens, budgettet er reelt, men ikke ubegrænset, og implementeringen kan tolerere to kendte begrænsninger: ingen ECC og strømtransienter i forbrugerklassen, der kræver pleje af strømforsyning og chassis (se W04). For 13B- og 32B-modeller er 5090 hurtigere pr. euro end noget andet på bordet. For 70B-klassen leverer fire 5090'ere i tensor-parallel mere samlet gennemløb end en enkelt Pro 6000 Blackwell ved lavere samlet capex. Ulempe: 575 W nominel med 600+ W transienter, 32 GB pr. kort loft, der tvinger multi-GPU til 32B+ ved høj kontekst. Vælg når: 24/7 inferens for 7B-32B, perf/€ betyder noget, du har rack-luftstrøm, ECC ikke er et hårdt compliance-krav. Undgå når: ECC obligatorisk, enkeltkort 70B+, eller rummet ikke kan flytte 2.4 kW varme.

RTX 4090 — kun nedsat pris på ældre versioner. I 2026, et taktisk køb. Nye detailkunder er sjældne; brugte og kanalrestpriser er €1,400-€1,900. Pr. kort ~55 % så hurtige som en 5090 på hukommelsesbundet inferens (1.01 vs. 1.79 TB/s) og 24 GB vs. 32 GB — de 8 GB er vigtige, fordi en 32B INT4-model efterlader mere KV-cache-plads på en 5090. Giver stadig mening til capex-begrænset udvidelse af en eksisterende 4090-flåde. Starter du på en frisk? Køb 5090'ere.

RTX Pro 6000 Blackwell Server Edition — VRAM-kongen til seriøse arbejdsbelastninger. 96 GB ECC GDDR7 ved 1.79 TB/s ændrer, hvilke modeller du kan hoste. Et enkelt kort rummer Qwen2.5-VL 72B INT4 med komfortabel KV-cache til ~20 samtidige streams. Fire i én node rummer Llama 3.1 405B INT4 i et enkelt kabinet uden netværk mellem noder. Passiv kølet, designet til front-to-back rack-luftstrøm, ingen skærmudgange, valideret til 24/7. Samme silicium som Workstation Edition, samme 600 W kapacitet, anden køling. Vælg når: enkeltkort 70B+ headroom, ECC påkrævet, rackimplementering med korrekt luftstrøm, træning i mixet, eller færre-større-kort slår flere-mindre-kort på rackplads og strøm.

RTX Pro 6000 Blackwell Max-Q — høj tæthed uden at skulle omkoble rummet. Samme 96 GB og 1.79 TB/s, begrænset til 300 W. Fire Max-Q-kort trækker 1.2 kW fra GPU'er; fire Server Edition-kort trækker 2.4 kW. Effektkravet for effektgrænsen er reelt, men mindre end watt-forholdet - Blackwells effekt/W-kurve er stejl i den øverste ende, så en begrænsning til 300 W mister 20-30 % på inferensgennemstrømning, ikke 50 %. Vælg når: strømbegrænset miljø, du ønsker 96 GB pr. kort, tæthed betyder mere end peak per-kort-gennemstrømning, eller akustik betyder noget.

L40 — virksomhedens inferenskort med ECC og en track record. Ada-generationen. Langsommere end Blackwell på båndbredde (0.86 vs 1.79 TB/s) og kapacitet (48 vs 96 GB), prissat som en datacenter-SKU. Grunden til at købe det er anskaffelse: fuld ECC, validerede drivere, vedvarende 300 W, to+ års produktionsimplementering. I miljøer, der forbyder forbrugerkort (forsikring, regering, nogle regulerede brancher), er dette kortet, der opfylder kravene. For rå ydeevne/€ taber det til 5090. Vælg når: indkøbspolitikken forbyder forbrugerhardware, arbejdsbyrden passer til 48 GB, 24/7 pålidelighedshistorien betyder mere end ydeevne/€.

L4 — kantinferens, 1U, 72 W. Det eneste kort på denne liste, der passer ind i en 1U-server sammen med systemkortet uden problemer, og det eneste, der kører på en bærbars strømforbrug. 72 W TDP, single-slot lavprofil, passiv, 24 GB GDDR6 ECC, 300 GB/s. Båndbredden er flaskehalsen - single-stream 7B lander på 35-45 tok/s, hvilket er "fint" og ikke "hurtigt". Brugsscenariet er fan-out: 8× L4 i et 2U-kabinet på én EPYC-vært leverer 8 samtidige 7B-inferensstrømme til en beskeden samlet pris (~€20 i kort), bruger under 700 W og passer til ethvert kontorkredsløb. Vælg når: edge deployment, 1U/2U, strømbegrænset, modellen passer til 24 GB, throughput-per-watt er metrikken.

Performance pr. euro: tabellen du ikke bør vise din CFO

*For 70B INT4: antal pr. kort, når modellen passer på ét kort; samlet enkeltstrømsgennemstrømning, når flerkorttensorparallelisme er påkrævet, divideret med kortets samlede omkostninger.

5090 er den bedste perf/€-konge i alle modelstørrelser, hvor den kan passe til modellen. Pro 6000-kortene vinder på en anden akse: 70B-klasse modeller på et enkelt kort eliminerer latens- og kompleksitetsoverhead ved tensorparallelisme. L40 er den dårligste perf/€ på dette bord med en bred margin - den koster cirka 3 gange en 5090 for ~50% af inferensydelsen. Dens værditilbud er overholdelse af indkøbsregler og en Ada-generations produktionshistorik, ikke rå økonomi. L4 er perf/€-vinderen specifikt i hjørnet af små modeller + lavt strømforbrug, hvor den ikke har nogen konkurrence.

Ydeevne pr. watt: tabellen for colocation-manageren

Max-Q vinder perf/W i denne serie, og det er ikke tæt på. Ved at begrænse en 96 GB Blackwell til 300 W, holder kortet sig i den effektive del af kurven, og du får det meste af Server Editions gennemløbshastighed med halvdelen af ​​vægforbruget. For colocation, hvor strømmen måles, og du betaler €0.18-€0.30 pr. kWh kontinuerligt, sparer Max-Q reelle penge over en flerårig implementering i forhold til Server Edition. Vi har kunder, der skiftede fra Server Edition til Max-Q specifikt for at undgå at opgradere deres bygnings køleanlæg.

Trænings- og finjusteringsnoter

Træning er ikke Kentinos primære positionering – de fleste kunder køber inferens. Men finjustering dukker op overalt, og valget af træning har andre begrænsninger. Fuldparametertræning af 70B+ modeller er ikke mulig på denne serie; det kræver 8× H100/H200 SXM eller lejet cloud, og det vil vi sige. LoRA-finjustering af 7B-32B fungerer komfortabelt på 4× 5090 eller 4× Pro 6000 BW Max-Q. QLoRA på 70B foretrækker 2× Pro 6000 BW (enhver udgave) frem for 4× 5090 med FSDP, fordi ét kort pr. modelreplika er dramatisk enklere. Beslutningsreglen: Hvis træningskørsler er over 24 timer og uovervåget, er ECC vigtig – vælg Pro 6000 eller L40. Under 24 timer med et menneske i loopet er 5090 fint og hurtigere pr. euro.

Visionsprog og spørgsmålet om Pro 6000 vs. H100

VLM'er ændrer kalkulusen, fordi aktiveringsfodaftrykket er større, og præfyldningen (billedkodning) er mere beregningsbundet. For Qwen2.5-VL 72B INT4 (~46 GB) leverer Pro 6000 BW 18-24 tok/s på et enkelt kort med ~1.4 s præfyldning; 2× 5090 i tensor-parallel leverer 12-18 tok/s med 20-40 ms TP overhead pr. token. Til on-prem inferens inden for robotteknologi er Pro 6000 BW det mere ærlige valg, fordi Qwen2.5-VL 72B er den model, folk rent faktisk ønsker at køre, og ét kort eliminerer TP overhead. Til automatisk mærkning af pipelines og bulk-billede-til-tekst, hvor latenstid ikke betyder noget, vinder 4× 5090 stadig på perf/€.

Ærlig sammenligning: Pro 6000 BW vs H100

Vi sælger ikke H100. Vi vil være specifikke omkring afvejningen, fordi kunderne spørger.

Pr. enkelt kort slår H100 SXM (80 GB HBM3, 3.35 TB/s) Pro 6000 BW Server (96 GB GDDR7 ECC, 1.79 TB/s) på båndbreddebundet single-stream inferens med cirka 1.5-1.9× — altså 60 tok/s vs 31 tok/s på Llama 3.3 70B INT4. H100 har også NVLink og SXM5 mezzanin-stikket, som køber 900 GB/s GPU-til-GPU-forbindelse i en HGX 8-GPU-node. Pro 6000 BW har PCIe 5.0 x16 (~63 GB/s effektivt), cirka 14× langsommere for trafik på tværs af kort.

Ved inferens af modeller, der kan rumme 96 GB på et enkelt kort, er denne forskel usynlig - der er ingen trafik på tværs af kort. Ved inferens af modeller, der skal shardes på tværs af 4× eller 8× kort, vinder H100 med NVLink med 30-50% på samlet gennemløb, fordi tensorparallelisme er interconnect-følsom. Ved træning på tværs af 8 kort vinder H100 afgørende.

Prisforskellen er 3-3.5× pr. kort og 8-12× pr. brugbar node (HGX H100 inkluderer carrier-kortet og NVSwitches). For de fleste ikke-hyperscale-arbejdsbelastninger er dette forhold ikke entydigt. For arbejdsbelastninger, hvor det gør, køber kunden ikke fra Kentino – de køber direkte fra Dell, Lenovo eller Supermicro i 8-cifrede aftaler. Vi vil også sige dette over telefonen.

Hvad vi ikke vil sige: at Pro 6000 Blackwell er "lige så god som" eller "konkurrencedygtig med" en H100. Det er den ikke, på de målepunkter, hvor H100 var designet til at vinde. Det er dog det rigtige kort til de use cases, hvor 96 GB ECC ved 1.79 TB/s løser det faktiske problem, kunden har - hvilket er de fleste af dem.

Beslutningsflow

Den gren, der omdannes til "4× RTX 5090", er den mest almindelige version, vi leverer. Den gren, der omdannes til "4× Pro 6000 BW Server", er den anden. L4-grenen og Max-Q-grenen er mindre i volumen, men ingen af ​​dem er en niche – hvert kvartal leverer vi multi-unit-aftaler til kontorinstallationer, hvor 600 W-kort ikke ville overleve bygningens elektricitet.

Hvad vi ikke har på lager

Lige sagt: Kentino sælger ikke hardware i H100 SXM, H200 SXM, A100 SXM, B200 eller GB200 i NVL-klassen. SXM5-formfaktoren og HGX/NVL-bærerkort-økosystemet befinder sig i et niveau af forsyningskæden, som vi ikke er en del af. PCIe H100-varianter eksisterede kortvarigt og er stort set forsvundet fra kanalen. Hvis din arbejdsbyrde virkelig kræver 8× H100 med NVLink, er dine ærlige muligheder i maj 2026: leje fra en hyperscaler eller specialiseret cloud, køb direkte fra Dell/Lenovo/Supermicro med en 12-20 ugers føring eller arbejd med en integrator på det niveau.

Vi har heller ikke AMD Instinct MI300X eller MI325X på lager – stærke på papiret til hukommelsesbundet inferens (192 GB HBM3, 5.3 TB/s på MI300X), men ROCm-softwaremodenhed og kanaltilgængelighed i Tjekkiet er ikke der, hvor kundebasen er for os i dag.

Hvor analysen lander for typiske købere

• Forskningslaboratorium, første inferensserver: 4× RTX 5090 på EPYC Turin med 192 GB RAM, dobbelt ATX-strømforsyning, 4U rackkabinet. Kører alle modeller op til 70B INT4 på tværs af TP, med plads til finjustering.
• Produktionsinferens for startup-servere: 4× Pro 6000 BW-server i 4U med EPYC Genoa/Torino-vært, 384-512 GB RAM, CRPS-strømforsyning med 1+1 redundans. ECC, headless, enkeltkort 70B+ headroom.
• Robotlaboratorium + on-prem databehandling: 4× Pro 6000 BW Server. 96 GB giver dig mulighed for at hoste Qwen2.5-VL 72B og en LLM sammen. ECC er vigtig, fordi inferensoutput driver fysisk hardware.
• Virksomhedsindkøb med henblik på overholdelse af regler: 4× eller 8× L40 i et Supermicro-chassis. Dårligere ydeevne/€, men alle styklistelinjer består revision.
• Filial, detailhandel, kant: 4× eller 8× L4 i 1U/2U. Kontorstrøm, ingen speciel HVAC.
• Eksisterende 4090 flådeudvidelse: flere 4090'ere, hvis budgettet er bindende, og du kan finde dem; ellers er 5090'ere blandet ind (vLLM håndterer blandet generation TP acceptabelt; bland ikke 4090 med Pro 6000 - båndbreddeforskellen ødelægger den værste-kort-gevinst-effekt).

---

Dette er en del af Kentino Wiki, en referenceserie om AI-beregning, robotteknologi og de systemer, der forbinder dem. Kommentarer og rettelser er velkomne på info@kentino.com.