Marknad
Marknad är anslagstavlan där Polaris-medlemmar kommer att sälja och ge bort datorer och grafikkort för att köra modeller hemma. Annonserna öppnar senare. Minnesräkningen och kontrollerna nedan fungerar på vilken annons du än tittar på i dag.
Annonser
Hårdvaruannonser öppnar med medlemskapet. Inga annonser har publicerats ännu.
Nybörjare
Vad ett första kort behöver rymma
Videominne (VRAM) är minnet på ett grafikkort. En språkmodell är en fil med vikter, alltså talen den har lärt sig, och vikterna ligger i minnet medan den svarar. I en stationär dator är kortets VRAM det snabba stället. Vanligt RAM-minne kan ta emot det som inte får plats, men då kommer svaren långsammare.
Q4_K är ett vanligt komprimerat format. Enligt Hugging Faces GGUF-anteckningar ligger det på 4,5 bitar per vikt. Dela med åtta för att få byte. En modell med 8 miljarder parametrar behöver ungefär 4,5 GB för vikterna, och en modell med 3 miljarder parametrar ungefär 1,7 GB. Chatten kräver extra minne utöver det, och en längre chatt kräver mer, så ett kort på 8 GB kan testa en liten modell medan ett kort på 12 GB ger svängrum. Vid 16-bit tar vikterna ungefär 2 GB per miljard parametrar, så den modellen på 8 miljarder tar ungefär 16 GB innan chatten startar.
När annonserna öppnar kan du filtrera på minst 12 GB VRAM och sikta på ett tak runt 5 000 kronor för ett första kort.
En bild från ett produktblad kan klistras in i vilken annons som helst. Be om säljarens egna bilder på just det här kortet, dess strömkontakter och en skärmbild som visar chippet och minnet. Ollama kör en nedladdad modell lokalt och visar vilka kretsar från NVIDIA, AMD och Apple som stöds. LM Studio gör samma sak på skrivbordet och kör modeller via llama.cpp. Börja runt 3 till 8 miljarder parametrar.
Kolla ett första grafikkort
Jag vill köra en liten AI-modell på min egen dator. Jag klistrar in en annons för ett begagnat grafikkort. Utgå enbart från siffrorna i annonsen och eventuella specifikationssidor du hänvisar till, och berätta om videominnet räcker till en modell med 8 miljarder parametrar vid 4,5 bitar per vikt (ungefär 4,5 GB för vikterna) plus en kort chatt. Be mig om kortets namn, minnet i GB, säljarens bilder, effekten på mitt nätaggregat i watt och vilket land jag bor i. Förklara VRAM första gången du använder begreppet. Hitta inte på något pris eller testresultat.
Medel
24 GB-kort, Mac-datorer och strömkontakten
Två kort kan båda ha 24 GB och ändå vara helt olika köp. Sidan för GeForce RTX 3090 anger 24 GB GDDR6X, och sidan för RTX 4090 anger också 24 GB GDDR6X. Vid 4,5 bitar per vikt tar en modell med 32 miljarder parametrar ungefär 18 GB i vikter, så ett 24 GB-kort rymmer dem plus en chatt. RTX 5090 har 32 GB GDDR7, som rymmer samma modell med mer plats kvar för samtalet. NVIDIA anger 575 watt total grafikeffekt. En modell med 70 miljarder parametrar tar ungefär 39 GB i vikter, så ett enskilt kort rymmer bara en del av filen.
Specifikationen för 4090 anger 450 watt i total grafikeffekt, 850 watt för nätaggregatet, 304 mm i längd och tre kortplatser. På samma sida anges NVLink (SLI-ready) som Nej. Sidan för 3090 beskriver en NVLink-brygga för 30-seriens kort. Jämför partnerkortets längd och kontakter mot ditt chassi och ditt nätaggregat.
För en Mac bör annonsen visa chippet och minnet under Om den här datorn. I Apples presentation om Apple silicon förklaras att processorn och grafikdelen delar på samma minne, vilket Apple kallar enhetligt minne. En Mac med 64 GB eller 128 GB rymmer den där filen på 39 GB som svämmar över från ett 24 GB-kort.
Filtrera på minne, strömförbrukning och frakt. Berätta hur ett tungt kort packas. Säljaren kan erbjuda sig att installera Ollama eller LM Studio på datorn. Betalda uppdrag utan hårdvara i paketet får vänta på uppdragstavlan.
Jämför två datorer för samma modell
Jag klistrar in två annonser: ett grafikkort och en Mac, eller två kort. För varje annons listar du minne i GB, siffrorna jag klistrar in för ström och storlek, samt om säljaren skickar varan. Uppskatta viktfilens storlek som antal parametrar gånger 4,5 delat med 8, och ange hur mycket extra minne chatten kräver. Jämför ett 24 GB-kort med en Mac vars annons visar 64 GB eller 128 GB. Ange en källsida för varje siffra du lägger till. Peka ut om det saknas bilder, saknas uppgifter om strömförbrukning, eller om en produktbladsbild används i stället för ett foto på den verkliga varan.
Expert
Serverhårdvara bredvid DGX Station
Serverköpare kollar på kopplingen mellan kretsarna och hastigheten i varje minnespool. PCIe är kortplatsen som kortet sitter i. DGX Station har PCIe Gen 5-platser bredvid en Grace CPU och en Blackwell Ultra GPU. Dess NVLink-C2C-länk körs i 900 GB/s mellan den processorn och grafikprocessorn. Ett kort med bara PCIe hamnar på den långsammare banan.
Stationens 748 GB är sammanhållet minne i två hastigheter: 252 GB HBM3e i 7,1 TB/s på grafikprocessorn och 496 GB LPDDR5X i 396 GB/s på processorn. Sammanhållet betyder att båda processorerna delar samma adressrymd. De snabba 252 GB är drygt tio gånger mer än ett 24 GB-kort. Resterande 496 GB ger extra utrymme i lägre hastighet. En annons som anger 748 GB GPU-minne har slagit ihop de båda minnespoolerna.
Matcha en serverannons mot en rad i Epoch AI:s hårdvarutabell över publicerat minne och bandbredd, och kontrollera sedan tillverkarens produktblad, effekten i watt och om felkorrigerande minne (ECC) anges. Stationen är specad till 1 600 watt och kräver en 20 A-krets. NVIDIA anger upp till 20 petaFLOPS i AI-prestanda, med FP4-tensormatte på 20 petaFLOPS med gleshet (sparsity) och 15 utan.
Hyrda timmar, när det erbjuds, ska ange krets, minne och mjukvaruavbildning, och maskinen stannar kvar hos ägaren. En LoRA, alltså extra vikter som tränats ovanpå en basmodell, kräver fortfarande basmodellen i minnet. Viktfiler läggs inte upp på den här tavlan. Avslutade annonser kommer att visa det överenskomna priset efter en försäljning.
Jämför en serverannons med DGX Station
Jag klistrar in en annons för en begagnad accelerator eller arbetsstation. Jämför minne, bandbredd, strömförbrukning, sammankoppling och eventuell uppgift om ECC med NVIDIA DGX Station: 252 GB HBM3e i 7,1 TB/s, 496 GB LPDDR5X i 396 GB/s, NVLink-C2C i 900 GB/s, PCIe Gen 5-platser, upp till 20 petaFLOPS, 1 600 W på en 20 A-krets. Håll isär det snabba GPU-minnet och det långsammare CPU-minnet. Berätta vilket nypris jag bör kolla upp, och vilka uppgifter som fortfarande saknas i annonsen. Hitta inte på något marknadspris, prestandatest eller tidigare försäljning.
Vad som får plats i minnet
Siffrorna avser storleken på viktfilen i Q4_K, baserat på 4,5 bitar per vikt från GGUF-anteckningarna (parametrar × 4,5 ÷ 8). De räknar inte med chatten, programmet eller operativsystemet. Mät den faktiska belastningen i programmet när du har satt i kortet. llama.cpp kan köra en modell som svämmar över VRAM genom att även använda datorns vanliga RAM-minne, men den vägen går långsammare.
| Modellstorlek | Vikter i Q4_K | Var vikterna får plats |
|---|---|---|
| 3 miljarder parametrar | ungefär 1,7 GB | ett 8 GB-kort, med marginal |
| 8 miljarder | 4,5 GB | 8 GB blir trångt när chatten växer; 12 GB är en säkrare grundnivå |
| 14 miljarder | ungefär 7,9 GB | 12 GB rymmer vikterna och en kort chatt |
| 32 miljarder | 18 GB | ett 24 GB-kort, eller ett 32 GB-kort med plats för ett längre samtal |
| 70 miljarder | ungefär 39 GB | en Mac med 64 GB eller mer, eller fler än ett 24 GB-kort om programmet kan dela upp modellen |
| 16-bit, oavsett storlek | ungefär 2 GB per miljard parametrar | en modell på 8 miljarder tar ungefär 16 GB i vikter innan chatten |
Så fungerar en annons
När annonserna öppnar finns också en flik för saker som ges bort och ett arkiv över avslutade affärer.
En annons gäller en maskin eller en del som köparen kan hämta eller få skickad med posten, fotograferad med säljarens egna bilder. Ange kretsens namn, minne i GB, strömförbrukning, vad som följer med i lådan, ort och om du kan skicka. Konton, API-nycklar, molnprenumerationer och promptpaket hör inte hemma på tavlan. Om den gemensamma stationen köps ägs den av Hrafninn Industries AB, och den säljs inte här. En medlems annons gäller den medlemmens egen maskin eller del.
Filter när sidan är igång: minne i GB, kategori (grafikkort, hel PC, Apple silicon Mac, serverdel), pris, ort, frakt och strömförbrukning. Varje kategori behöver en egen referensbild, skild från säljarnas bilder.
Skriv en prisrad för varje annons du granskar:
| Rad | Vad du antecknar |
|---|---|
| Begärt pris | Siffran i annonsen, valutan och datumet då du såg den |
| Dagsaktuellt nypris | Tillverkarens eller en stor återförsäljares pris för samma del, med datum. Ett lanseringspris från ett gammalt tillkännagivande är en annan siffra |
| Minne du faktiskt får | GB, och GB/s om tillverkaren anger det. På stationen: se expertdelen ovan |
| Stationspris | Lämnas tomt tills Polaris publicerar kampanjsiffran. NVIDIAs sida hänvisar till beställning via en partner och anger inget officiellt pris |
| Pris medlemmar betalat | Det överenskomna priset i arkivet efter en affär. Det finns inga försäljningar ännu |
Om Polaris köper den gemensamma stationen kan modeller som inte får plats på någon medlems kort köras där. Om den gemensamma stationen
Källor
- NVIDIA DGX StationOfficiella specifikationer: 748 GB sammanhållet minne uppdelat på 252 GB HBM3e i 7,1 TB/s och 496 GB LPDDR5X i 396 GB/s, NVLink-C2C i 900 GB/s, PCIe Gen 5-kortplatser, upp till 20 petaFLOPS, samt 1 600 W på en 20 A-krets. Sidan länkar till databladet i PDF och hänvisar beställningar till en partner.
- GGUF-kvantiseringstyper på Hugging FaceVad de komprimerade filformaten innebär. Tabellen anger Q4_K som 4,5 bitar per vikt, vilket är siffran bakom minnesberäkningarna på den här sidan.
- llama.cppDet lokala inferensprojektet bakom många skrivbordsprogram. Readme-filen går igenom heltalskvantisering från 1,5-bit till 8-bit och körning på både CPU och GPU när modellen är större än videominnet. Källkoden har MIT-licens.
- Hårdvarustöd i OllamaVilka maskiner från NVIDIA, AMD och Apple som nuvarande versioner av Ollama accelererar, inklusive Metal på Apple silicon.
- Specifikationer för NVIDIA GeForce RTX 409024 GB GDDR6X, 450 W total grafikeffekt, 850 W nätaggregat, 304 mm längd, tre kortplatser och NVLink (SLI-ready) markerat som Nej.
- NVIDIA GeForce RTX 509032 GB GDDR7 och 575 W total grafikeffekt.
- NVIDIA GeForce RTX 309024 GB GDDR6X på 3090 samt NVLink-bryggan som NVIDIA beskriver för 30-seriens kort.
- Explore the new system architecture of Apple silicon MacsUtskrift från Apples presentation: på Apple silicon delar CPU och GPU på samma minnespool, så en modell använder minnesmängden som visas för Macen.
- Epoch AI, maskininlärningshårdvara och dokumentationPublicerat minne och bandbredd för AI-acceleratorer, med en CSV-fil som Epoch uppdaterar. Ange Epoch AI, Data on machine learning hardware som källa om du återanvänder tabellen.