Chattbottar och assistenter
Jämför chattbottar genom att dölja namnen och välja svaret som gör jobbet. Använd sedan öppna topplistor för att se vad folk föredrar, hur ofta modellerna hittar på fakta och vad det kostar, och för egna anteckningar i ett kalkylark tills en fast svensk testuppsättning publiceras.
Nybörjare
Dölj namnen och välj sedan
I en chattbot skriver du till en stor språkmodell – ett system som fortsätter din text med ett troligt svar. En assistent är samma modell i en produkt som dessutom kan söka på webben, öppna filer du laddar upp eller följa instruktioner du har sparat. Testa båda på samma sätt: ge två produkter samma uppgift, dölj namnen och behåll svaret du faktiskt skulle skicka.
Klistra in prompten nedan i två chattar. Täck över loggorna. Välj mejlet du själv skulle skicka, titta sedan på namnen och skriv ner en anledning – till exempel en tydligare förfrågan, bättre ton eller färre påhittade detaljer. En påhittad detalj kallas hallucination. Modellen påstod något som fakta, ditt meddelande innehöll det inte, och en kontroll visar att det är fel.
Använd tre uppgifter du själv kan bedöma. Ett mejl ska be om en enda sak och hålla en artig ton. En förklaring ska lära ut en idé och förklara eventuella nya ord i samma mening. En översättning ska behålla namn, datum och belopp, och säga till om ett uttryck saknar en nära motsvarighet. Om svaret beror på dagsfärsk fakta, läs den officiella sidan för den informationen innan du agerar.
Topplistan Arena Text samlar sådana här blindtester och räknar om vinsterna till poäng. En högre poäng betyder att användare föredrog den modellens svar i de registrerade matcherna. Gäller det hälsa, juridik eller pengar ska du kontrollera källan själv. Diskutera sidan i forumet. Under provtiden är det öppet för inbjudna. Spara prompten, din vinnare och anledningen.
Mejl om droppande kran
Skriv ett artigt mejl till min hyresvärd. Kökskranen har droppat i en vecka. Be om ett besök för reparation någon gång under kommande vecka. Håll dig under 120 ord. Använd en artig hälsningsfras och en tydlig förfrågan i sista meningen. Lista efter mejlet alla fakta du använde som jag inte gav dig.
Medel
Samma fem prompter, nedskrivna
Skriv fem prompter och ändra dem inte under testets gång: ett mejl, en förklaring, en översättning till svenska, en vardagsfråga du kan kontrollera och en fråga där ett ärligt svar medger att fakta saknas. Skicka varje prompt till samtliga modeller under samma dag. Notera produkt, modellnamn om det visas, datum och synliga inställningar som snabbläge eller tankeläge. Om en produkt söker på nätet, slå på sökning för övriga också eller markera den raden som ett eget test.
Betygsätt varje svar med 0, 1 eller 2 på fyra punkter: det löste uppgiften, det höll sig till önskad längd, det lade inte till ogrundade fakta och tonen stämmer. Spara totalsumman och hela texten.
Topplistan Arena Text rangordnar modeller utifrån anonyma användarröster. Funktionen Style control på den sidan minskar fördelen med långa eller kraftigt formaterade svar. Artificial Analysis jämför intelligensindex, pris, svarshastighet, väntetid innan första token och kontextfönster. En token är en textbit, ofta ett ord eller en del av ett ord. Kontextfönstret är det mesta modellen kan ta emot i en omgång, och gränsen för svarets längd är ofta lägre.
För svenska kan du lägga till ett brev till en hyresvärd, en skola eller en kommun och be om ett enkelt och rakt språk. Markera meningar som låter översatta, som blandar du och ni, eller som särskriver ord som ska sitta ihop. Kör om de fem prompterna när en modell ändras och spara de gamla raderna.
Felanmälan på klarspråk
Skriv ett brev på svenska till ett kommunalt bostadsbolag. Lampan i trapphuset utanför min lägenhet har varit trasig i tio dagar. Be dem laga den och föreslå två tider på vardagar nästa vecka när jag är hemma. Använd ett enkelt och tydligt språk som en handläggare förväntar sig i ett ärende. Håll dig under 140 ord. Lägg efter brevet till en kort kommentar på engelska som pekar ut eventuella meningar som låter översatta och förklarar varför.
Expert
Rader som någon annan kan köra om
Spara en rad som någon annan kan köra om: modellversion, datum, inställningar, prompt-id, poäng och pris. Arena räknar om anonyma parvisa röster till en Bradley-Terry-poäng, i samma familj som Elo-ranking i schack. Text-topplistan visar den poängen, ett konfidensintervall, antal röster och rankingintervall. Style control ger mindre utdelning för en vinst som beror på längd eller formatering. Daterade ögonblicksbilder av topplistorna för text, bild och agenter finns i datasetet lmarena-ai leaderboard.
Vectara ber modellen sammanfatta ett internt dokument uteslutande utifrån det dokumentet, med temperaturen 0 när API:et tillåter det, och sätter betyg på sammanfattningen med HHEM-2.3, sin egen modell för att mäta hallucinationer. GSM8K består av 8,5 tusen matteuppgifter på mellanstadienivå med det slutgiltiga svaret angivet. LiveCodeBench lägger till nya tävlingsuppgifter i numrerade utgåvor och rapporterar pass@k, sannolikheten att k genererade lösningar innehåller minst ett program som klarar testerna.
Kostnaden beräknas som input-tokens gånger priset för input, plus output-tokens gånger priset för output, per miljon tokens. Artificial Analysis publicerar pris, hastighet, kontextlängd och ett test för långa kontexter. Deras Data API returnerar samma fält.
När det gäller säkerhet ska du följa leverantörens publicerade regler och OWASP Top 10 för applikationer byggda på stora språkmodeller. En jailbreak är ett meddelande som skrivits för att pressa modellen förbi de reglerna. Notera refused, partial eller complied för varje otillåten kategori, och publicera enbart kategorin och resultatet. En system prompt är instruktionen som produkten lägger till före användarens meddelande.
En fast svensk testuppsättning för juridisk klarspråkstext, lokal humor och myndighetsbrev har inte publicerats än.
Bedöm svaret mot källan
Bedöm hur väl ett chattbotsvar stämmer överens med källan rent sakligt. Jag klistrar in en KÄLLA och ett SVAR. Använd enbart KÄLLAN. Lägg inte till fakta från dina egna kunskaper. Ange tre antal: påståenden som stöds av KÄLLAN, påståenden som saknas i KÄLLAN och påståenden som motsäger KÄLLAN. Citera varje påstående som saknas eller motsäger källan. Märk sedan svaret som refused, answered eller mixed. Om jag inte har klistrat in någon KÄLLA, be om den och stanna där.
Ett kalkylark för varje svar
Kopiera den här raden en gång per svar.
- Datum och produktnamn
- Modellversion, kopierad från skärmen
- Sökning på eller av, samt snabb eller tänkande om produkten erbjuder det
- Prompt-id och hela svaret
- Betyg för uppgift, längd, ogrundade fakta och ton
- Antal tokens om det visas, inklusive resonemangstokens och cacheskrivningar, samt priset
- Om du skulle skicka eller lita på svaret
Vilket öppet test som svarar på vilken fråga
| Fråga | Öppna det här |
|---|---|
| Vilket svar föredrog folk när namnen var dolda? | Arena Text |
| Vilket svar föredrogs till en bild? | Arena Vision |
| Slutfördes en session med verktygsanvändning, och vad kostade det? | Arena Agent |
| Hur ofta lade en sammanfattning till fakta som saknades i källan? | Vectaras topplista för hallucinationer |
| Vad är pris, hastighet och kontextfönster? | Artificial Analysis |
| Kan ett skript rätta matte på mellanstadienivå? | GSM8K |
| Kan ett skript rätta nyare tävlingskod? | LiveCodeBench |
Kopiera datumet från topplistan till ditt kalkylark. Placeringarna ändras när nya röster kommer in.
Vad den här sidan kommer att lägga till
Vyn för blindtester och den fasta svenska promptuppsättningen ska byggas framöver. En avslutad körning sparar prompt-id, båda svaren i sin helhet, rösten, modellnamnen efter att rösten registrerats, datumet och maskinens namn. Tills de verktygen finns på plats är kalkylarket här metoden du använder.
En gemensam DGX Station skulle köra samma svenska promptuppsättning på stora modeller med öppna vikter som inte ryms på en bärbar dator, och varje körning skulle sparas med datum och maskinnamn. Om den gemensamma stationen
Källor
- Arena Text leaderboardAnonyma röster på textsvar, plus stilkontroll och kategorifilter. Bildsvar finns på https://arena.ai/leaderboard/chat/vision och sessioner med verktygsanvändning på https://arena.ai/leaderboard/agent.
- Arena leaderboard datasetDaterade ögonblicksbilder för topplistorna inom text, bild och agenter, med en aktuell delmängd och fullständig historik. Datasetsidan beskriver övergången från Elo till Bradley-Terry och när stilkontroll blev standard.
- Vectara hallucination leaderboardMetod och tabell för hur ofta en sammanfattning lägger till fakta som saknas i källan, med HHEM-2.3 vid temperaturen 0. README-filen länkar till den interaktiva topplistan på https://huggingface.co/spaces/vectara/leaderboard.
- Artificial Analysis model comparisonJämförelse sida vid sida av intelligensindex, pris, hastighet, svarstid och kontextfönster. Samma fält finns dokumenterade för skript på https://artificialanalysis.ai/data-api.
- GSM8K grade-school math8,5 tusen mänskligt skrivna textuppgifter i matematik med det slutgiltiga talet markerat. Kodförrådet arkiverades den 8 april 2026 och är skrivskyddat.
- LiveCodeBenchTävlingsuppgifter som samlats in löpande från LeetCode, AtCoder och Codeforces, med numrerade utgåvor samt pass@1 och pass@5.
- OWASP Top 10 for Large Language Model ApplicationsProjektsida för OWASP:s lista över de största säkerhetsriskerna i applikationer som använder stora språkmodeller, med länk till den aktuella listan.