Stacken
Stacken är fyra färdiga paket för hösten 2026: Webbläsare, Desktop, Hemma-pc och Delad maskin. Varje paket har en modell, en minnesbudget och ett sätt att mäta. Använd det minsta paketet som klarar jobbet, och gå upp när filerna, farten eller integriteten kräver mer.
Nybörjare
Först webbläsaren, sedan en modell på laptopen
Börja i webbläsaren. Gå upp ett paket när svaret är för svagt, filerna måste stanna på din dator eller modellen inte längre får plats i minnet.
Webbläsare innebär en chattsida i mobilen eller på valfri dator. Du installerar ingenting. Företaget som driver sidan har modellen, och gratisversionen sätter gränsen för hur mycket du får skicka den veckan. Skriv uppgiften, fakta som modellen måste hålla sig till och ett exempel på ett bra svar. Den kostnadsfria Hugging Face LLM Course körs i webbläsaren och visar hur en Transformer-modell laddas och anropas.
Desktop innebär en modellfil på laptopen. Ladda ner Ollama för macOS, Windows eller Linux och kör ollama run gemma4:e2b. Ollamas snabbstart anger att nedladdningen är på cirka 7,2 GB och föreslår 8 GB ledigt grafikminne, eller enhetligt minne på en Mac. En längre chatt kräver mer. Har du mindre grafikminne använder Ollama vanligt internminne och svaren blir långsammare. Program på din dator anropar den på http://localhost:11434, inklusive en adress i OpenAI-stil på /v1/chat/completions. Behåll ett betalabonnemang på en chattjänst för uppgifter som den här lilla modellen fortfarande missar, och spara promptar som fungerar i en textfil.
Marknadsplatsen och jobbtavlan öppnar senare. Kommandona på den här sidan körs på din egen dator redan idag.
Skriv en prompt som du kan återanvända
Du hjälper mig med en uppgift. Uppgift: [en mening]. Fakta du måste hålla dig till: [lista dem, eller skriv inga]. Om ett faktum inte finns i listan, säg att du inte har det. Formen på ett bra svar: [klistra in ett kort exempel]. Utför uppgiften nu.
Medel
En sökassistent för dina egna filer
En sökassistent svarar utifrån dina filer. Det brukar kallas RAG, retrieval-augmented generation. Du delar upp dokument i textblock, omvandlar varje block till en lista med siffror som kallas en embedding, sparar listorna och hämtar upp de block som ligger närmast frågan. Modellen skriver sitt svar utifrån de blocken. Be den säga till när blocken saknar fakta för att svara.
Ha filerna intill modellen, i Desktop- eller Hemma-pc-paketet. Ollamas bibliotek listar nomic-embed-text för embeddings. För chatt på en laptop kan du behålla gemma4:e2b, eller använda qwen3.5:9b som ligger runt 6,6–7,6 GB med en kontext på 256 000 tokens enligt bibliotekssidan från oktober 2026. På ett grafikkort med 16 GB ligger gemma4:12b på runt 7,7–8,0 GB, vilket lämnar plats för en måttlig cache. qwen3.5:27b och gemma4:26b ligger på runt 16–20 GB och kräver därför ett kort med 24 GB eller en Mac med enhetligt minne som överstiger filstorleken. Cachen hamnar ovanpå modellvikterna.
Dela upp texten vid rubriker och stycken, och låt ett kort stycke överlappa så att en gränsmening sparas två gånger. Börja runt 400 till 800 tokens per block. Skriv tio frågor som du redan kan svaret på och räkna hur ofta rätt textavsnitt hamnar bland de fem bästa träffarna. Justera blockstorleken innan du byter modell. LocalAI:s dokumentation listar sökning bland funktionerna, och körmiljön startas som en enda container: docker run -ti --name local-ai -p 8080:8080 localai/localai:latest. Kursen Hugging Face agents course visar sedan hur du låter modellen anropa sökningen som ett verktyg.
Hitta rätt blockstorlek med ett mätbart test
Jag bygger en sökassistent på min egen dator. Dokumenten är: [beskriv dem och klistra in en riktig sida]. Dela upp vid rubriker och stycken, låt ett kort stycke överlappa och börja med en blockstorlek på mellan 400 och 800 tokens. Skriv 10 frågor vars svar finns på sidan jag klistrade in. Citera för varje fråga den mening som innehåller svaret, så att jag kan kontrollera om det stycket kommer med bland de 5 bästa träffarna. Om sidan inte innehåller något svar, säg det.
Expert
Minne, kvantisering och den delade maskinen
Kvantisering innebär att varje vikt sparas med färre bitar. vLLM beskriver detta som lägre precision mot att modellen tar mindre plats. 4-bitars lagring kräver 0,5 byte per vikt och 16-bitars lagring kräver 2 byte, så 31 miljarder parametrar tar cirka 15,5 GB innan embeddings, en bildkodare och nyckel-värde-cachen räknas in. Cachen växer med kontextens längd och med antalet samtidiga svar. I oktober 2026 listar Ollama gemma4:31b på 19–20 GB, vilket ryms på ett 24 GB-kort med kort kontext, medan qwen3.5:122b på 81 GB kräver flera konsumentkort eller en större maskinpool.
vLLM kör den filen på Linux med Python 3.11 till 3.14. Kommandot vllm serve öppnar ett OpenAI-kompatibelt API på port 8000. Tensor- och pipeline-parallellism delar upp en modell på flera grafikkort. Ju snabbare länken mellan korten är, desto mindre tid går åt till att vänta på varandra. vLLM kan läsa in GPTQ, AWQ, GGUF, FP8, INT8 och INT4. En LoRA är en liten adapter på en låst basmodell, och en och samma basmodell kan hantera flera sådana.
Håll isär tiden till första token och avkodningshastigheten. Avkodningshastigheten är utgående tokens delat med antalet sekunder efter första token. Håll prompten och längden fasta, kör tre gånger och ta medianvärdet. Kör om samma lm-evaluation-harness-test med identiska flaggor när modellen eller formatet ändras. Multiplicera priserna i LiteLLM:s model_prices_and_context_window.json med din månatliga tokenförbrukning, och jämför med watt gånger timmar gånger ditt elpris. När modellvikterna plus cachen inte ryms på ett hemmagrafikkort behövs en större maskin. Spara finjusteringar som LoRA-filer.
Se om en modell ryms i ditt minne
Avgör om den här modellen ryms på maskinen jag beskriver. Använd bara siffrorna jag anger, och markera varje antagande tydligt. Modellens filstorlek: [GB]. Önskad kontext: [tokens]. Grafikminne eller enhetligt minne: [GB]. Antal samtidiga användare: [antal]. Uppskatta minnet för vikterna till 0,5 byte per parameter om jag bara anger antalet parametrar, och berätta sedan vad som blir över till nyckel-värde-cachen. Berätta vilket paket detta motsvarar: ett 16 GB-kort, ett 24 GB-kort med kort kontext, flera grafikprocessorer under vLLM eller en maskin i DGX Station-klass med 748 GB delat minne. Lista de tre mätvärden jag ska föra logg över: tid till första token, utgående tokens per sekund över tre körningar med medianvärde, samt ett fast lm-evaluation-harness-test.
Paketen för hösten 2026
Fyra paket, med filstorlekar hämtade från Ollamas bibliotekssidor för Gemma 4 och Qwen3.5 i oktober 2026, och siffrorna för den delade maskinen är tagna från specifikationen för NVIDIAs DGX Station. Den angivna filstorleken avser själva nedladdningen. Nyckel-värde-cachen för kontextfönstret läggs ovanpå detta. Priser på grafikkort och minne ändras hela tiden, så kontrollera dagspriset i butik samma vecka som du handlar.
| Paket | Maskin | Börja här | Minneskontroll | Vad du räknar varje månad |
|---|---|---|---|---|
| Webbläsare | Mobil eller valfri dator, i webbläsaren | Ett gratis chattkonto, plus Hugging Face LLM Course | Ingen modellfil | Gratiskvoten, och därefter leverantörens betalplan om du överskrider den |
| Desktop | Laptop | ollama run gemma4:e2b (cirka 7,2 GB; Ollama föreslår 8 GB ledigt grafikminne, eller enhetligt minne på en Mac). Vid mindre minne: qwen3.5:4b, cirka 3,3–4,0 GB, 256K kontext. Ett enda betalt chattabonnemang för uppgifter som den lokala filen fortfarande missar |
Längre chattar kräver mer minne än själva filen. Med mindre grafikminne använder Ollama datorns internminne och blir långsammare | Abonnemanget, om du skaffar ett |
| Hemma-pc | Ett grafikkort i en stationär dator, eller en Mac med en stor pool enhetligt minne | 16 GB-kort: gemma4:12b (cirka 7,7–8,0 GB, 256K kontext) eller qwen3.5:9b (cirka 6,6–7,6 GB). 24 GB-kort: gemma4:26b (cirka 16–19 GB; mixture-of-experts, cirka 3,8 miljarder aktiva parametrar av totalt 25,2 miljarder) eller qwen3.5:27b (cirka 17–20 GB). Embeddings: nomic-embed-text |
qwen3.5:35b listas på 22 GB, så ett 24 GB-kort har knappt något utrymme kvar för kontext. En fil på 19 GB är redan större än 16 GB |
Elförbrukningen för datorn, jämförd med en API-faktura från LiteLLM:s prisfil |
| Delad maskin | Linux, flera grafikprocessorer eller ett system i DGX Station-klassen | qwen3.5:122b, listad på 81 GB med en kontext på 256K. Kör med vllm serve på port 8000, eller LocalAI i Docker på port 8080 |
En PCIe Gen5 x16-plats och två x16-platser kopplade som x8, enligt specifikationen för DGX Station. Strömförbrukning specificerad till 1 600 W på en 20 A-krets. Minne: 252 GB HBM3e plus 496 GB LPDDR5X (748 GB sammanhängande), Ubuntu, upp till sju Multi-Instance GPU-delar, modeller upp till 1 biljon parametrar | Körda timmar gånger uppmätta watt gånger ditt elpris |
Innan du köper eller byter
Skriv ner det här för paketet du tänker använda.
- Uppgiften i en enda mening: chatt, programmering, dina egna dokument eller bilder.
- Vilka filer som måste stanna kvar på datorn. De uppgifterna hoppar över Webbläsare-paketet.
- Modellfilens storlek i GB, kopierad från modellsidan.
- Kontextlängden du faktiskt kommer att använda. Ett fönster på 256 000 tokens drar cacheminne utöver filen, även om den ser liten ut.
- Grafikminne eller enhetligt minne, med flera lediga gigabyte utöver själva filen.
- Tid till första token och utgående tokens per sekund. Samma prompt, samma längd, tre körningar, medianvärde.
- För en söklösning (RAG): tio frågor som du redan kan svaret på, och hur ofta rätt stycke hamnar bland de fem första träffarna.
- En lm-evaluation-harness-uppgift med exakt samma flaggor varje gång du byter modell eller kvantiseringsformat.
- En månads faktisk tokenförbrukning multiplicerad med priset per token i LiteLLM:s prisfil på https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json, jämfört med lokala wattimmar gånger ditt elpris.
- Licensen på modellkortet, som du läser innan vikterna används i något du levererar.
Vad som skulle höra hemma på en delad maskin
Ett jobb skulle höra hemma på en delad maskin när modellfilen plus nyckel-värde-cachen inte ryms på ett vanligt hemmagrafikkort. Just nu innebär det en fil i klass med qwen3.5:122b (81 GB), en lång kontext där cachen överstiger ett 24 GB-kort, en batchkörning av lm-evaluation-harness eller en LoRA-finjustering av någon av de stora basmodellerna. vLLM kan hålla basmodellen inläst i minnet och koppla på en separat adapter per projekt.
Låt följande ligga kvar i de andra paketen: webbläsarchatt, gemma4:e2b och qwen3.5:4b på en laptop, gemma4:12b och qwen3.5:9b på ett 16 GB-kort, samt gemma4:26b eller qwen3.5:27b på ett 24 GB-kort med kort kontext.
På en Linux-grafikserver som du redan kontrollerar laddar en person in en modell, gör jobbet och tar bort den ur minnet. Den publicerade fördelningen för DGX Station är 252 GB HBM3e och 496 GB LPDDR5X sammankopplat med NVLink-C2C i 900 GB/s, med Ubuntu installerat och Multi-Instance GPU som kan dela upp grafikprocessorn i upp till sju isolerade delar (slices). Dimensionera strömförsörjningen för specificerade 1 600 W på en 20 A-krets, och planera PCIe-banorna utifrån de listade kortplatserna: en PCIe Gen5 x16 och två PCIe Gen5 x16-platser som är elektriskt kopplade som x8.
Det är för modeller som är för stora för ett grafikkort hemma som Polaris planerar en insamling till en gemensam station. Om den gemensamma stationen
Källor
- Ollamas snabbstartInstallationssteg, det lokala kommandot för Gemma 4 E2B, nedladdningen på cirka 7,2 GB, rekommendationen om 8 GB grafikminne samt det lokala API:et på port 11434.
- Gemma 4 på OllamaFilstorlekar och kontextlängder från oktober 2026 för E2B, E4B, 12B, 26B och 31B, plus parameterantalet för 26B mixture-of-experts.
- Qwen3.5 på OllamaFilstorlekar från oktober 2026 från 4B (cirka 3,3–4,0 GB) via 9B, 27B, 35B (22 GB) till 122B (81 GB), alla med en kontext på 256K.
- LiteLLM:s prisfil för modellerEn uppdaterad JSON-lista med tokenpriser och kontextfönster, som här används för att räkna om en månads faktisk tokenförbrukning till en API-kostnad du kan jämföra med din lokala elförbrukning.
- vLLM-dokumentationTensor- och pipeline-parallellism, multi-LoRA-drift och kvantiseringsformaten. Snabbstarten på samma webbplats täcker Linux, Python 3.11–3.14 och vllm serve på port 8000.
- Kvantisering i vLLMVad kvantisering förändrar i minnet, och vilka format (bland annat GPTQ, AWQ, GGUF, FP8, INT8 och INT4) som fungerar på vilka grafikprocessorgenerationer.
- NVIDIA DGX Station748 GB sammanhängande minne (252 GB HBM3e och 496 GB LPDDR5X), NVLink-C2C i 900 GB/s, PCIe-kortplatser, 1 600 W på en 20 A-krets, Ubuntu, upp till sju MIG-delar och stöd för modeller upp till 1 biljon parametrar.
- lm-evaluation-harnessHur du utvärderar en specifik uppgift som HellaSwag mot en lokal modell eller en vLLM-server med samma flaggor varje gång. Läs LICENSE.md i kodförrådet innan du återanvänder koden.