Tävlingar

Polaris tävlingar är återkommande öppna omgångar med en skriftlig uppgift, en poängmetod och ett resultat som vem som helst kan köra igen. Du kan lämna in bidrag och rösta när tävlingarna öppnar. Tills dess kan du köra varje omgång nedan på din egen dator.

Omgångar

Ingen omgång har startat, och den första har inget datum än.

Nybörjare

Promptduell

I promptduellen ska du lösa en vanlig vardagsuppgift med en prompt på högst 25 tokens. En token är en textbit som modellen räknar. Det kan vara ett helt ord eller bara en del av ett ord, så 25 tokens blir ofta kortare än en mening på 25 ord. Omgången anger vilken räknare som gäller. Om du övar i en annan chatt, skriv upp modellens namn och antalet tokens den visar.

Välj en uppgift som någon behöver göra den här veckan, som ett kort svar till hyresvärden eller en matlåda på det som finns i kylen. Prompten måste stå på egna ben. Skickar du ett andra meddelande för att lägga till något som saknades räknas det som ett nytt försök. Spara hela svaret och skriv ner modellens namn, datumet och hur många tokens det blev.

Tre kontroller avgör om du blir godkänd. Svaret löser uppgiften du valde. Prompten håller sig inom gränsen på den angivna räknaren. En annan person kan klistra in samma prompt och få ett användbart svar utan extra instruktioner. Om två bidrag klarar alla krav väljer du det du själv faktiskt skulle skicka eller använda, och skriver en mening om varför. Det fungerar som Arenas Battle Mode, där du röstar innan du ser modellernas namn.

Ta inte med privata namn, kontonummer eller andras meddelanden. Använd ett påhittat namn som Hyresgäst A, eller ett fall du har rätt att dela. Svaret får vara långt. Gränsen gäller bara själva prompten. På övningskortet kan du ändra budgeten och se vilka ord du kan stryka innan listan blir sämre.

Inköpslista under tokengränsen

Fem billiga middagar, en vuxen, inget kött, en butik, 150 SEK. Bara inköpslista.

Medel

Arbetsflödesutmaning

I arbetsflödesutmaningen bygger du ett flöde som löser en riktig uppgift från början till slut. Det kan vara en AI-agent, ett Python-skript eller n8n, ett verktyg som kopplar ihop olika steg och kör dem igen. Visa upp det med filer: foton på kvitton som blir en tabell, tre kundmejl som blir utkast en människa fortfarande skickar, eller en offentlig rapport som sammanfattas till en sida med markerade källrader.

Skicka in ett litet paket. README-filen anger uppgiften, vad som skickas in, vad som kommer ut, modellnamnen och alla kommandon eller klick som en utomstående behöver. Skicka med ett testexempel och resultatet det gav.

För att bli godkänd ska en annan person kunna följa din README på en helt ren dator och få samma typ av resultat. Ett steg som bara fungerar efter att man fixat något manuellt i smyg blir underkänt. Håll hemligheter borta från zip-filen och lägg dem där ditt verktyg redan hanterar hemligheter. Ta inte med kundregister eller personuppgifter. Använd påhittade exempel eller filer som du har rätt att publicera.

Bedöm varje fungerande bidrag från 0 till 3 på fyra punkter: uppgiften är slutförd, en utomstående kan köra det utifrån din README, fel och brister beskrivs, och en ren körning kräver lite betald användning. Högst totalsumma vinner. Blir det oavgjort vinner bidraget med färre extra konton. Använd prompten på kortet för att planera flödet, och bygg sedan den minsta versionen som klarar ett testexempel.

Från kvittomapp till tabell

Planera ett litet flöde som jag kan köra den här veckan. Indata: en mapp med foton på kvitton. Utdata: en CSV med datum, butik, belopp och valuta, och tomt fält om något inte går att läsa. Använd Python eller n8n. Lista varje steg, de påhittade testfilerna, hur man kör det, var hemligheter ska sparas och hur någon annan kan kontrollera resultatet.

Expert

Inferens- och kostnadsmatch

Den här omgången testar en modell som du själv kan köra. Fillistan och minnestaket publiceras innan klockan startar. Inferens är steget där en tränad modell skriver svar utifrån vikter den redan har. Två spår delar på samma logg. Spår A belönar bäst kvalitetspoäng per krona, den svenska valutan i prislistan. Spår B belönar flest tokens per sekund, alltså hur mycket text som skrivs varje sekund, under ett tak för GPU-minne eller systemets RAM. Går man över minnestaket får Spår B noll poäng.

Sidan för omgången anger filerna, uppgiften, mätvärdet, tillåtna program och priset för el eller hårdvaruhyra. Kvantisering sparar vikterna med färre bitar så att de tar mindre minne. Använd det bara om reglerna tillåter det, och ange metoden i loggen.

Kvaliteten måste komma från ett skript som någon annan kan köra. För en språkuppgift kör EleutherAIs utvärderingsverktyg färdiga uppgifter och räknar fram en poäng. För kod ger SWE-bench modellen ett kodarkiv och ett ärende, och kontrollerar sedan om ändringen klarar projektets tester. Kvalitet per krona är den poängen delad med kostnaden för körningen.

I testloggen sparas model id, filhash, maximalt minne, genererade tokens, sekunder, kvalitetspoäng och kostnad. En öppen delmängd kan visas under omgångens gång. Slutresultatet avgörs på en sparad delmängd som lagts undan i förväg. Kaggles regler använder samma uppdelning: en öppen topplista medan omgången pågår och en privat topplista för den slutliga rankningen.

Mät en lokal uppsättning

Skriv en mätplan för en lokal öppen modell. Innan du antar någonting, fråga efter model id, gränsen för GPU-minne, filnamnen på datasetet och timpriset. Lista sedan loggfälten: maximalt minne, genererade tokens, sekunder, kvalitetspoäng och kostnad. Visa uträkningen för tokens per sekund och för kvalitet per krona. Nämn ett publicerat testverktyg för kvalitetspoängen och exakt vilket fält som ska kopieras. Lämna alla poängfält tomma.

Så går en omgång till

Publicera uppgiften, mätvärdet, fillistan, minnestaket, prislistan och sista inlämningstid innan några bidrag tas emot.
Öppna en testperiod i den öppna granskaren så att folk kan se loggformatet.
Lås mätvärdet efter det första godkända bidraget. Förtydliganden får rätta skrivfel, men får inte ändra vad som räknas som bäst.
Godkänn ett paket först när alla obligatoriska filer för den nivån finns med.
Kör om det. För en promptduell klistrar en annan person in prompten en gång. För ett arbetsflöde följer man README-filen på en ren dator. För inferensomgången kör granskaren det publicerade kommandot.
Lägg upp poänglistan med loggarna bifogade.
Håll ett fönster öppet för överklaganden vid poängfel, och låt sedan resultatet stå fast.
I promptduellen får varje person en röst på bidrag som redan klarat de tre kraven. En röst kan inte rädda ett underkänt krav.
Om Polaris köper stationen kan expertpriset bli körtid på den. Sponsrade priser och forummärken är inte bestämda än.

Bedömningsmall

Kontroll	Promptduell	Arbetsflödesutmaning	Inferens- och kostnadsmatch
Uppgiften slutförd	Svaret löser den angivna vardagsuppgiften	Testfilen skickas in och den utlovade filen kommer ut	Testverktyget visar en kvalitetspoäng för den angivna uppgiften
Gränsen hålls	Prompten ryms inom 25 tokens på den angivna räknaren	README räcker för en utomstående	Maximalt minne ligger på eller under taket på Spår B
Går att upprepa av andra	En ny inklistring ger ett användbart svar	Ren dator ger samma typ av resultat	Samma kommando, samma filer, samma prislista
Ärlighet	Modellnamn, datum och hela svaret bifogas	Ingen dold handpåläggning, inga hemligheter i zip-filen	Loggen innehåller hash, tokens, sekunder, poäng och kostnad
Vid lika poäng	Bidraget du själv faktiskt skulle skicka	Färre externa konton	Högre kvalitet per krona, därefter fler tokens per sekund

Det här lämnar du in

Promptduell. Prompten, antal tokens, räknaren du använde, modellens namn, datumet och hela svaret.

Arbetsflöde. En zip-fil eller länk, en README-fil, en testfil med indata, resultatet den gav och licensen för allt du inte har skrivit själv.

Inferens och kostnad. Konfigurationen, det exakta kommandot, testloggen, uppgifter om hårdvaran och kostnadsraden från prislistan.

Lämna alltid detta utanför varje paket:

API-nycklar och lösenord
Kundregister, personuppgifter och andras privata meddelanden
Manuella moment som beskrivs som automatiska i README-filen
Träning eller finjustering på den dolda delmängden
Mätvärden som du bytt ut efter att ha sett dina egna resultat

Om flödet använder kod, en modell eller ett dataset som du inte skrivit själv ska din README ange licensen och länka till den. FineWebs datasetkort är ett tydligt exempel: det anger licensen ODC-By 1.0 direkt på själva datasetet.

En gemensam DGX Station skulle köra alla expertbidrag på samma GPU:er och minnestak, och om pristid blir aktuell kan vinnaren upprepa samma upplägg och testa nästa. Om den gemensamma stationen

Källor

Arena Help: Battle ModeSå fungerar en preferensomröstning: två anonyma modeller svarar på samma prompt, du väljer en, och modellnamnen visas efter omröstningen. Rösterna matar de öppna topplistorna.
Text Arena leaderboardDen öppna textrankningen som bygger på dessa röster, med kategorier som matematik, programmering, instruktionsföljning och kreativt skrivande, samt antal röster direkt på sidan.
Kaggle competition rules (AI Cup 2026, performance track)Ett praktiskt exempel på skriftliga tävlingsregler: ett publicerat mätvärde, en daglig inlämningsgräns, en öppen topplista under omgången och en privat topplista för slutresultatet. Sidan anger att tävlingen inte delar ut några prispengar.
EleutherAI Language Model Evaluation HarnessDet öppna testverktyget för att köra samma språkmodelluppgifter, prompter och mätvärden två gånger och jämföra poängen. Licensierat under MIT. Läs uppgiftslistan innan du kopierar ett upplägg till en omgång.
Open LLM Leaderboard: aboutHugging Faces beskrivning av en öppen topplista som poängsätter öppna modeller med EleutherAI-verktyget, inklusive vilka uppgifter och mätvärden den rapporterar och var resultatfilerna finns.
SWE-benchEtt prestandatest för kodning: modellen får ett riktigt kodarkiv och ett GitHub-ärende, och poängen avgörs av om dess programfix klarar projektets tester. Licensierat under MIT. README-filen anger vilken maskinstorlek skaparna rekommenderar för att köra lokalt.
FineWeb datasetEtt stort städat engelskt webbtext-dataset från Common Crawl, med mindre urval listade bredvid hela datamängden så att en omgång kan låsa ett exakt utsnitt. Datasetkortet anger licensen ODC-By 1.0. Använd de filer som omgången anger, och ge datasetet erkännande om du delar det vidare.
n8n documentationOfficiell dokumentation för n8n, verktyget som nämns i utmaningen: installation, ett första arbetsflöde och hur en körning går till.

Till toppen