Hårdvaran
bakom AI.
Datorn, grafikkortet, modellprecisionen och datastacken. Det här är hörnstenarna när du själv börjar köra AI på egen hårdvara — för on-premise-lösningar, lokal modellträning eller seriös bildgenerering. På enkel svenska, utan säljspråk.
Datorn själv
Tre saker avgör om en dator kan köra AI lokalt: processorn, grafikkortet och grafikkortets minne. RAM, SSD och kylning spelar också roll, men de här tre avgör vilka modeller du kan ladda och hur snabbt de svarar.
CPU (Central Processing Unit)
Datorns huvudprocessor. Hanterar operativsystem, applikationer och allt som inte är specialiserat. För AI är CPU:n sekundär — själva inferensen sker på GPU:n — men en svag CPU kan flaskhalsa databehandling, datainmatning och Python-kod runt modellen. Snabba datorprocessorer som AMD Ryzen 9 9950X3D (16 kärnor, 32 trådar) eller Intels Core Ultra-serie räcker gott till en lokal AI-arbetsstation.
Daniel kör en AMD Ryzen 9 9950X3D i sin master-nod. 3D V-Cache hjälper för kompilering och datadestillering — men för ren AI-inferens skulle en billigare CPU ge samma resultat. Sätt budgeten på GPU:n, inte CPU:n.
GPU (Graphics Processing Unit)
Grafikkortet. Designat för att köra tusentals beräkningar parallellt — vilket råkar vara exakt vad AI-modeller behöver. En modern GPU används i dag både till AI och till grafik. NVIDIA dominerar AI-marknaden tack vare CUDA-ekosystemet; AMD och Intel jagar i kapp men ligger fortfarande efter på mjukvarustödet.
För lokal AI 2026: NVIDIA RTX 5090 (konsumentflaggskepp), NVIDIA RTX PRO 6000 Blackwell (proffs, 96 GB) eller en H100/H200 om budgeten är obegränsad. AMD-kort kör AI via ROCm, som stöds av färre verktyg än CUDA. Kontrollera att dina verktyg stöder ROCm innan du köper.
VRAM (Video RAM)
Det inbyggda arbetsminnet på ett grafikkort. Den enskilt viktigaste specifikationen för AI. Får modellen inte plats i VRAM måste en del läggas i datorns vanliga minne, och då svarar den mycket långsammare. Llama 3.1 70B kräver cirka 140 GB i 16-bit. I 4-bit tar vikterna cirka 35 GB, och med marginal för körningen behövs runt 40–42 GB. RTX 5090 har 32 GB, RTX 4090 har 24 GB.
Tumregel: räkna med ungefär 0,6 GB per miljard parametrar i 4-bit och 2 GB i 16-bit, plus minne för samtalet. Med 4-bit kvantisering ryms en 7B-modell på 8 GB. En 32B-modell behöver ~20 GB. En 70B-modell behöver ~42 GB. Vill du köra större modeller måste du antingen spara på precision (kvantisering) eller köpa flera grafikkort.
AI-arbetsstationer
När en gaming-PC inte räcker längre. Specialdesignade datorer för AI-utveckling — med massiva mängder VRAM och unified memory som tillåter modeller långt utöver vad en RTX 5090 klarar. Här bor produktionsbygget, träningen och on-premise-leveransen.
NVIDIA RTX 5090
NVIDIAs kraftfullaste GeForce-kort 2026. 32 GB GDDR7 VRAM, Blackwell-arkitektur. Sweet spot för utvecklare som vill köra modeller runt 30B lokalt utan att gå till proffsklass. Från 23 990 kr, NVIDIAs rekommenderade pris i Sverige. Räcker till modeller runt 30B i 4-bit, Flux Dev för bilder, Whisper Large-v3 för transkribering och Wan för video.
| VRAM | 32 GB GDDR7 |
| Arkitektur | Blackwell |
| TDP | 575 W |
| Pris (2026) | från 23 990 kr |
NVIDIA DGX Spark
NVIDIAs AI-arbetsstation för utvecklare — en kompakt "AI-dator" med GB10-arkitektur (Grace Blackwell) och 128 GB unified memory. Designad för att köra modeller upp till ~200B parametrar lokalt utan en datacenterbudget. Ett mellansteg mellan en kraftfull pc och en arbetsstation med RTX 6000. I svenska butiker kostar den från cirka 50 000 kr exklusive moms (Dustin, 30 oktober 2026). Kontrollera dagspriset.
| Minne | 128 GB unified |
| Arkitektur | GB10 (Grace Blackwell) |
| Klusterbar | Ja (ConnectX-7) |
| Pris (2026) | från ca 50 000 kr exkl. moms |
Hos Hrafninn kör DGX Spark-maskiner språkmodellerna, och en pc med RTX 5090 sköter bild och video. Olika maskiner för olika jobb gör att jobben inte slåss om grafikminnet.
GB10 / Grace Blackwell
NVIDIAs nya systemarkitektur som driver DGX Spark och liknande arbetsstationer. Grace är CPU-delen (ARM-baserad, designad för AI-workload), Blackwell är GPU-delen. Tillsammans kallas de GB10. Det centrala draget: unified memory — CPU och GPU delar samma minne istället för att kopiera data fram och tillbaka. Resultatet är att stora modeller får plats i ett gemensamt minnespool.
Med 128 GB delat minne kan maskinen ladda modeller som annars kräver flera grafikkort. För team som inte vill bygga ett datacenter men behöver köra 70B+ modeller är det här genvägen.
AMD Ryzen 9 9950X3D
En av AMD:s snabbaste processorer för konsumentdatorer 2026. 16 kärnor, 32 trådar, 3D V-Cache. För AI: sällan flaskhalsen, men en utmärkt allround-CPU för en utvecklingsmaskin. Ett bra val om du också vill spela eller kompilera tunga projekt parallellt.
Modellprecision
Hur många bitar varje parameter i modellen lagras med. Lägre precision = mindre filstorlek = snabbare körning = mindre VRAM-krav, men också (potentiellt) sämre kvalitet. Med lägre precision ryms en modell runt 30B på ett grafikkort hemma, och en 70B-modell på en arbetsstation.
FP16 (16-bit Floating Point)
Standardformatet för AI-modeller. Varje parameter lagras som ett 16-bitars flyttal. Bra balans mellan precision och storlek — det är vad de flesta modeller tränas i. En 7B-modell i FP16 tar ungefär 14 GB. För full precision finns FP32 (32-bit) men det används nästan aldrig längre i inferens — det är dubbelt så stort utan märkbar kvalitetsvinst.
NVFP4 (NVIDIA 4-bit Floating Point)
NVIDIAs nya 4-bitars format specifikt designat för Blackwell-arkitekturen (RTX 50-serien och DGX Spark). Gör modellen ungefär 3,5 gånger mindre än i FP16 och Blackwell-hårdvaran kör formatet direkt. Kontrollera kvaliteten på din egen uppgift.
För Llama 3.1 70B på ett RTX 5090 med 32 GB: 16-bit kräver cirka 140 GB och 4-bit runt 40–42 GB med marginal, så modellen får inte plats helt på kortet. Då behövs mer grafikminne, två kort eller att en del läggs i datorns vanliga minne. Även NVFP4 kräver runt 40–42 GB med marginal, så modellen ryms på en DGX Spark (128 GB) eller ett RTX PRO 6000 (96 GB) men inte på RTX 5090.
Quantization (4-bit, 8-bit)
Den generella metoden för att komprimera modeller från FP16 till 8-bit, 4-bit eller lägre. GGUF-formatet (llama.cpp) är de facto-standarden för distribution. Olika varianter — Q4_K_M, Q5_K_S, Q8_0 — representerar olika kompromisser mellan storlek, hastighet och kvalitet. Se även Quantization i Ordlistan.
Datahantering på GPU
Runt modellerna finns databehandlingen, och den kan också flyttas till GPU:n. När du jobbar med miljontals rader, miljarder transaktioner eller stora dokumentsamlingar räcker inte Pandas på en CPU. NVIDIAs RAPIDS-svit flyttar hela datapipelinen till GPU:n.
Apache Spark
Industristandarden för storskalig databehandling (Big Data). Open source, kör distribuerat över ett kluster. Hanterar dataset som inte ryms på en maskin genom att fördela arbetet på många. Används i finansiella institutioner, teleoperatörer, e-handel — överallt där data räknas i terabyte eller petabyte.
Spark körs traditionellt på CPU-kluster. Med NVIDIA RAPIDS Accelerator för Spark kan samma jobb köras på GPU:er med få eller inga kodändringar.
NVIDIA RAPIDS
En open source-mjukvarusvit från NVIDIA som flyttar klassisk databehandling från CPU till GPU. Designad som drop-in-ersättning för välkända Python-bibliotek — du byter import pandas mot import cudf, och stora tabeller går ofta mycket fortare. De viktigaste modulerna är cuDF, cuML och cuGraph.
cuDF (GPU Pandas)
RAPIDS-modulen som ersätter Pandas. Samma API — DataFrames, filter, groupby, joins — men körs på GPU:n. För datavolymer över ~1 GB blir skillnaden enorm. För små tabeller kan Pandas vara snabbare, eftersom det tar tid att flytta data till GPU:n.
cuML (GPU Scikit-Learn)
RAPIDS-modulen som ersätter Scikit-Learn för klassisk maskininlärning (random forests, k-means, PCA, regression). Inte djupinlärning — det är PyTorch och TensorFlow:s domän. cuML är för "traditionell" ML som du gör innan eller efter LLM-steget i en pipeline.
cuGraph (GPU-grafanalys)
RAPIDS-modulen för nätverks- och grafanalys på GPU. Hittar mönster i transaktionsflöden, sociala nätverk, leveranskedjor. Vanliga användningsområden: bedrägeridetektering (vilka konton hänger ihop?), rekommendationssystem, kunskapsgrafer.
Pandas & Scikit-Learn
De klassiska Python-biblioteken för databearbetning och klassisk maskininlärning. Pandas (data manipulation) och Scikit-Learn (ML-algoritmer) är fundamentet i Python-ekosystemet — de fanns långt innan AI blev en konsumentprodukt. Körs på CPU. RAPIDS är NVIDIAs GPU-accelererade versioner av dessa — designade som drop-in-ersättningar för stora dataset.
Nätverk i AI-kluster
När en arbetsstation inte räcker längre — och du börjar koppla ihop flera maskiner till ett kluster. Då räcker inte vanlig Ethernet. AI-träning och stora inferensjobb kräver extrem bandbredd och låg latens mellan noder, annars blir nätverket flaskhalsen.
ConnectX-7 (QSFP112)
Ett höghastighetsnätverkskort från NVIDIA för AI-kluster, med QSFP112-portar. DGX Station har det nyare ConnectX-8 med upp till 800 Gb/s. Används för att koppla ihop DGX-noder så de kan dela ut träning eller inferens över flera maskiner utan att nätverket blir bromsen.
För de flesta utvecklare behövs inte ConnectX-7. Det blir relevant när du klusterar två eller fler DGX Spark eller H100-noder — då måste sammankopplingen vara så snabb att den inte fördyrar matrismultiplikationen som ska distribueras. Den långsammaste länken mellan maskinerna sätter därför ofta taket för klustret.
Polaris i din inkorg —
måndag, onsdag och fredag, gratis.
Djupare analyser, praktiska genomgångar och det senaste från AI-fältet — på svenska. För dig som vill förstå mer än bara rubrikerna.
Gratis · avsluta när du vill
Genom att prenumerera samtycker du till att få Polaris nyhetsbrev. Så behandlar vi din adress.