AI hjørne

Casestudie: 4x RTX 4090 AI-arbejdsstation

Denne artikel dokumenterer en komplet byggeproces bestilt til en forskningskunde, der havde brug for en rackmonterbar, 24/7-kompatibel LLM-inferensarbejdsstation med tilstrækkelig VRAM til at hoste modeller i 70B-klassen uden cloudafhængighed. Alt...

TurboQuant: Læsning af KV Cache-komprimeringsbr...

Læsetid: 10 min | Hvordan Googles 3-bit komprimering gør langkontekst-LLM'er billigere, og hvad det fortæller os om de næste 18 måneders AI-inferens Der er en stille...

AI Model VRAM-krav på tværs af forskellige GPU...

AI Model VRAM-krav på tværs af forskellige GPU-konfigurationer Denne tabel giver et overblik over omtrentlige modelstørrelser (i milliarder af parametre), der kan køres på forskellige VRAM-konfigurationer, sammen...