Modellindex
Modellindex jämför AI-modeller efter uppgift, pris, hastighet och licens, där varje uppgift hålls i en egen kolumn. Tabellen listar verkliga modeller som släppts fram till oktober 2026 och vilken typ av dator deras publicerade vikter passar för, från en bärbar dator till ett moln-API.
Nybörjare
Fem kolumner som hålls isär
En modell är programmet som läser det du skriver och svarar. Innan du litar på en topplista behöver du hålla isär tre saker. Arbetsuppgiften: ett vanligt samtal, att skriva eller fixa kod, eller en fråga där svaret går att kontrollera. Kostnaden: en avgift per token (en liten bit text), eller elen för en dator du redan äger. Licensen: den juridiska texten för vikterna, alltså de sparade talen som får modellen att fungera. Öppna vikter betyder att du kan ladda ner filen. En stängd modell stannar på tillverkarens servrar.
Håll fem kolumner i sikte: bäst på samtal, bäst på kod, billigast i drift, körs på en dator du själv styr, och öppen licens. Sortera efter mest för pengarna när budgeten sätter gränsen. Sortera efter bäst på uppgiften när ett felaktigt svar kostar för mycket. En modell kan toppa chattkolumnen men halka efter på kod. Låt kolumnerna stå sida vid sida. En sammanräknad procentsats visar inte hur modellen klarar varje uppgift.
Kontext handlar om hur mycket text modellen klarar att hålla i minnet samtidigt, räknat i tusentals tokens. En lång artikel kräver betydligt mer än en fråga på en rad. Små öppna modeller får plats på en bärbar dator. Mellanstora modeller fungerar på en vanlig stationär dator med ett kraftfullt grafikkort. De allra största öppna modellerna kräver en delad arbetsstation eller en molntjänst.
Det finns inga testloggar från medlemmar ännu. Modellkorten som länkas från tabellen visar ändå storleken, kontextlängden och licensen.
Välj en modell för en viss uppgift
Jag behöver hjälp att välja en AI-modell. Fråga mig vad jag vill göra, vad jag har för budget, om jag kan installera program på min egen dator och om jag behöver samtalet på svenska. Rekommendera sedan ett alternativ och berätta vilket av följande områden den är starkast på: samtal, kod, pris, att köra på egen dator samt öppen licens. Håll isär dessa som separata punkter. Förklara alla begrepp du använder med enkla ord, och nämn vilket officiellt modellkort jag bör läsa.
Medel
Vad de öppna testerna faktiskt mäter
Öppna tester svarar på olika frågor, så ett högt resultat på ett test kan stå bredvid ett svagt resultat på ett annat. MMLU, från en forskningsartikel 2020, ställer tentamensfrågor inom många olika ämnen. GPQA ställer svåra naturvetenskapliga frågor som är skrivna så att en icke-expert inte snabbt kan slå upp svaret. SWE-bench ber en modell att lösa verkliga problem i verkliga koddatabaser. LMArena, som publiceras som ett dataset med användarröster, jämför chattsvar genom att låta folk välja vilket svar de föredrar. MLPerf Inference, från MLCommons, mäter hur snabbt hårdvara kör en viss modell, inklusive tokens per sekund under ett angivet scenario. Artificial Analysis publicerar diagram över pris, hastighet och kvalitet för modeller som säljs via API:er. EleutherAIs lm-evaluation-harness är ett program som labb använder för att köra samma akademiska test två gånger på exakt samma sätt.
Skriv upp modellnamnet, den exakta viktfilen, datumet och hårdvaran. En nyare fil från samma modellfamilj kan ändra resultatet. Ett engelskt test säger inte mycket om svenska instruktioner förrän någon gör om det på svenska. Priset ska stå i en egen kolumn: avgiften per miljon tokens, eller elen och datorn om du kör vikterna själv. Hastigheten hålls också separat. Tid till första token är väntetiden innan det första ordet kommer. Tokens per sekund visar hur snabbt resten av svaret levereras.
Polaris kommer att föra en egen logg i stället för att klistra in en tabell från någon annan sajt. Varje framtida testkörning får en egen rad, där kvalitet, pris, hastighet och testdatum sparas var för sig. En gemensam DGX Station skulle kunna köra de största öppna modellerna för medlemmarna.
Läs ett prestandatest utan att blanda ihop poängen
Jag klistrar in ett modellnamn. Förklara, var för sig, vad MMLU, GPQA, SWE-bench och en omröstning om chattsvar faktiskt mäter. Berätta vilka uppgifter jag måste skriva upp innan jag kan lita på en siffra: exakt modellfil, datum, hårdvara, pris per miljon tokens, tid till första token och tokens per sekund. Visa mig till den officiella sidan för varje test. Slå inte ihop resultaten till ett enda samlat betyg.
Expert
En rad är en uppsättning mätvärden
Spara varje körning som separata mätvärden. Kvalitet är poängen på ett namngivet test, med promptmall, antal stickprov och temperatur angivet bredvid. Pris är dagens API-taxa, eller energi- och hårdvarukostnaden för att köra lokalt. Hastighet delas upp i tid till första token och tokens per sekund därefter. Kontextstabilitet testas genom att upprepa samma frågor med korta, medellånga och långa prompter, inklusive inställningar för längdförlängning som YaRN. Det utlovade maxvärdet är en övre gräns. Testa kvaliteten vid den längd du använder. Tillförlitlighet är spridningen mellan upprepade körningar, sparad bredvid själva poängen. Spara även testdatum, viktfilens namn, kvantisering och vilken testdator som användes.
Kvantisering innebär att vikterna sparas med färre bitar. gpt-oss levereras med MXFP4 för sina expertvikter, och DeepSeek-R1 ger ut FP8-vikter. En 4-bitarsfil kan få plats på en mindre dator än 16-bitarsfilen, och resultatet från den större filen gäller inte automatiskt för den mindre.
En mixture-of-experts-modell har två olika storlekar angivna. DeepSeek-R1 har totalt 671 miljarder parametrar och 37 miljarder aktiva per token. Llama 4 Scout har totalt 109 miljarder och 17 miljarder aktiva. Minnesbehovet styrs av den totala storleken. NVIDIA anger att DGX Spark klarar modeller upp till 200 miljarder parametrar i 128 GB enhetligt minne, och DGX Station upp till 1 biljon parametrar i 748 GB sammanhängande minne, varav 252 GB är snabbt HBM3e.
Polaris håller isär dessa fält helt utan samlat betyg från 0 till 100. Sortera kodtestet bredvid priset om du söker en billig kodmodell, eller samtalstestet och datumet om du vill ha en riktigt vass chattmodell.
Skapa en tom testlogg
Skriv en tom testlogg för en körning med en öppen modell. Ta med fält för kvalitet i ett namngivet test, pris, tid till första token, tokens per sekund, använd kontextlängd, huruvida kvaliteten höll när prompten växte, spridning vid upprepningar, testdatum, viktfil, kvantisering och testdator. Lägg till en rad om varför dessa uppgifter hålls i separata kolumner. Använd DeepSeek-R1 eller Llama 4 Scout enbart som exempel på totala kontra aktiva parametrar, och lämna alla resultatfält tomma.
Vad datorkolumnen betyder
Datorkolumnen visar vilken klass av hårdvara de publicerade vikterna kräver, hämtat från modellkorten och NVIDIAs minnesguider. Det fungerar som en praktisk fingervisning om var en fil kan köras.
- bärbar dator — cirka 16 GB räcker. OpenAI uppger att gpt-oss-20b körs på 16 GB.
- stationär dator — ett kraftfullt grafikkort för stationära datorer. Mistral uppger att en kvantiserad Small 3.1 ryms på ett RTX 4090, medan 16-bitarsvikterna kräver runt 55 GB.
- DGX Spark — NVIDIAs guide anger upp till cirka 200 miljarder parametrar i 128 GB enhetligt minne.
- DGX Station — NVIDIAs sida anger upp till cirka 1 biljon parametrar med 748 GB sammanhängande minne (252 GB HBM3e vid grafikprocessorn och 496 GB LPDDR5X vid processorn).
- moln — vikterna körs kvar på tillverkarens egen molntjänst.
En kvantiserad fil, där vikterna sparats med färre bitar, kan flytta ner en modell en klass. context_k anger kontextfönstret i tusentals tokens: 128 är det vanliga 128k-fönstret (131 072 tokens), 1000 motsvarar 1 miljon och 10000 är de 10 miljoner tokens som finns i Llama 4 Scout Instruct. Qwens egna kort för Qwen3-8B och Qwen3-235B-A22B anger 32 768 tokens i grundutförande och 131 072 med YaRN, en inställning för längdförlängning. Qwen2.5-72B-Instruct har den Qwen-licens som anges på dess kort. Korten för 7B och Coder 32B använder Apache 2.0. Vikterna för Llama och Gemma kan bara laddas ner efter att du godkänt en community-licens med särskilda användarvillkor. Parametertalen anger totaler. För mixture-of-experts-modeller finns även ett lägre aktivt antal, vilket framgår av kortet.
Hur en rad sparas
När en testkörning sparas i Polaris innehåller varje rad dessa fält, helt utan att något slås ihop till ett samlat betyg.
- Modellnamn, tillverkare och om vikterna är öppna
- Viktfilens namn och kvantisering
- Testnamn, datum och dator, inklusive vilken typ av minne som rymde vikterna
- Kvalitet på det specifika testet, med promptens inställningar bredvid
- Dagens pris, som API-taxa eller uppmätt energiförbrukning
- Tid till första token samt tokens per sekund
- Faktiskt använd kontextlängd och om kvaliteten höll när prompten blev längre
- Spridningen mellan upprepade körningar
Den här loggen har inga rader från medlemmar ännu. Tills dess kan du läsa tillverkarens modellkort och de öppna testerna som länkas nedan, och hålla varje siffra i sin egen kolumn.
En gemensam DGX Station för alla medlemmar skulle göra det möjligt att köra öppna modeller som kräver mer minne än en bärbar dator eller en DGX Spark, och spara varje körning med datum och datornamn. Om den gemensamma stationen
Källor
- Measuring Massive Multitask Language UnderstandingArtikeln om MMLU: tentamensliknande frågor inom många ämnen och hur testet poängsätts.
- GPQA datasetNaturvetenskapliga frågor på forskarnivå, formulerade så att en icke-expert inte snabbt kan slå upp svaret.
- SWE-benchEtt test som ber modellen lösa verkliga problem i verkliga kodbaser.
- LMArena leaderboard datasetRöster från allmänheten om vilket chattsvar som föredras. Polaris kopierar inte poängtabellen rakt av.
- MLPerf Inference v6.1 resultsResultat från MLCommons för hur snabbt hårdvara kör fasta modeller, inklusive tokens per sekund.
- Artificial AnalysisSeparata diagram över kvalitet, pris och hastighet för modeller som säljs via API:er.
- lm-evaluation-harnessEleutherAIs program för att köra akademiska tester på samma sätt två gånger. MIT-licensierad programvara.
- NVIDIA DGX StationOfficiella specifikationer: 748 GB sammanhängande minne och stöd för modeller upp till cirka 1 biljon parametrar.