Tester
Ett test ger två eller fler AI-verktyg samma uppgift, håller namnen dolda tills du har bedömt svaren och sparar prompten och svaret så att körningen kan upprepas.
Resultat
Inga publicerade testresultat än. Tills dess visar sidan hur du kör egna: fem uppgifter, betyg från 1 till 5 och en loggrad som vem som helst kan upprepa.
Nybörjare
Tre regler och ett första betyg
Ett test innebär här en bestämd uppgift som ges till en AI-chatt, där svaret sparas. Uppgiften kan vara ett brev, en sammanfattning, en uträkning, en källkontroll eller att läsa text i en bild. Du kollar om svaret faktiskt gör jobbet.
Följ tre regler varje gång. Ge varje verktyg samma uppgift, med exakt samma ord och samma filer. Dölj namnen tills du har valt en vinnare, precis som i ett blindtest på öppna Arena: du röstar, och först därefter visas namnen. Spara prompten, hela svaret, datumet och verktygets namn när du väl visar det.
Betygsätt varje svar från 1 till 5 med tabellen längre ner, och skriv en mening om varför.
Börja med ett brev du faktiskt behöver. Berätta för chatten vem det är till, vad du vill ha och vilka fakta den inte får lägga till. Läs sedan utkastet på samma sätt som du läser ett meddelande från en ny kollega: namn, datum, löften och ton. Om du jobbar på svenska, kör samma brev på svenska också. Ett verktyg kan låta hur smidigt som helst på engelska och ändå snubbla på svensk grammatik eller välja fel artighetsnivå. Behåll protokollet själv. De fem uppgifterna i checklistan räcker gott för en första kväll.
Brev utan påhittade fakta
Skriv ett kort mejl från mig till min hyresvärd. Jag behöver få lampan i hallen lagad den här veckan. Mitt namn är [ditt namn]. Adressen är [gata, postnummer och ort]. Lägg inte till något klockslag, telefonnummer eller tidigare klagomål. Skriv enkelt och artigt. Lista alla fakta du använde efter mejlet, och markera varje detalj som jag inte gav dig.
Medel
Läs varje öppen tabell utifrån vad den mäter
Öppna tabeller svarar på olika frågor, så läs beskrivningen innan du för in en placering i dina anteckningar.
Arena samlar in mänskliga röster på anonyma par. En person skriver en prompt, ser två svar där namnen är dolda och väljer det svar den föredrar. Rankingen visar vilket svar användarna föredrog. Längd och ton kan påverka den rösten.
Artificial Analysis publicerar separata siffror för kvalitetsindex, pris per miljon tokens och hastighet. Matcha rätt kolumn med rätt uppgift. Ett lågt pris innebär fortfarande att du själv måste bedöma brevet, uträkningen och de svenska formuleringarna.
SWE-bench ber en modell om en kodpatch som fixar ett verkligt problem på GitHub, och testar sedan patchen mot projektets egna tester. Ett starkt resultat visar att modellen klarar kodreparationer. Att sammanfatta mötesanteckningar är en helt annan uppgift, så håll det betyget i en egen kolumn.
EleutherAI Language Model Evaluation Harness kör fasta uppgifter och sparar uppgiftsversionen, så att två körningar kan hänvisa till exakt samma upplägg. Många av de uppgifterna liknar prov i engelska. Dina fem uppgifter, på det språk du faktiskt använder, hör fortfarande hemma i protokollet.
Kör alla fem uppgifterna på två verktyg. Ändra bara en sak i taget: verktyget, språket eller formuleringen. Låt temperature stå kvar på produktens standardvärde och skriv upp det. Temperature är inställningen som gör ordvalen mer varierade ju högre siffran är. Sammanställ båda svaren i en tabell med stjärnor och en motivering på en rad. Om du hänvisar till en öppen tabell, skriv upp webbplatsens namn, benchmark-namnet och datumet bredvid dina stjärnor.
Blindtest av två svar
Jag kommer att klistra in en uppgift och två svar märkta A och B. Verktygens namn är dolda. Betygsätt varje svar från 1 till 5: 1 missar uppgiften eller hittar på fakta, 3 är användbart efter ändringar jag kan peka på, 5 skulle jag skicka eller lita på helt utan ändringar. Ge stjärnor och en mening som pekar på en specifik rad för varje svar. Berätta sedan vilket svar du skulle behålla, och vad jag fortfarande borde kontrollera manuellt. Gissa inte vilken produkt som har skrivit vilket svar.
Expert
Logga en körning så att någon annan kan upprepa den
Ett test som går att upprepa dokumenterar varje val som kan påverka svaret.
Anteckna modellnamnet och exakt version eller webbprodukt, datum och tid samt systemtexten när produkten visar den. Spara hela användarprompten och eventuella filer eller bilder, med namn och storlek. Anteckna temperature, top-p om du har ställt in det, och seed. En seed är startvärdet för slumpvalen som modellen gör. Samma inställningar kan ändå skilja sig åt mellan olika maskiner, så anteckna leverantör eller maskin och mjukvaruversion. Spara svaret som text. När verktyget visar det, notera time to first token (väntetiden innan första ordet kommer) och tiden tills svaret är helt klart.
EleutherAI:s evaluation harness rapporterar en uppgiftsversion och tar emot en seed samt inställningar som temperature. Spara den versionen bredvid betyget. Koden är MIT-licensierad: behåll upphovsrätts- och licensmeddelandet om du återanvänder den. SWE-bench, som också är MIT-licensierat, sätter betyg på en patch utifrån om projektets tester går igenom. Ange dataset split och harness-version.
MLPerf, från MLCommons, mäter hårdvara. Training mäter hur lång tid ett system behöver för att träna en modell till ett angivet kvalitetsmål. Datacenter inference mäter hur snabbt en tränad modell hanterar indata, med latens, genomströmning och eventuell strömförbrukning mätt vid vägguttaget. Håll de siffrorna i egna kolumner, tillsammans med testsvitens version.
Lås prompten i en fil, ange vem som bedömde och om körningen var blind. Läs de aktuella villkoren för Artificial Analysis data-API innan du återpublicerar deras siffror.
Bygg loggraden, hitta inte på något
Hjälp mig att logga ett AI-test så att någon annan kan upprepa det. Fråga efter alla fält som jag inte har angett. Fyll inte i luckor med gissningar. Fält: datum och tid med tidszon; modellnamn och exakt version eller produkt; leverantör eller maskin; mjukvaruversion; språk; temperature; top-p; seed; systemtext; fullständig användarprompt; bifogade filnamn och filstorlekar; time to first token; total svarstid; hela svaret; bedömarens namn; om körningen var blind; stjärnor från 1 till 5; en mening om varför; öppen webbplats, benchmark-namn och datum om jag hänvisar till någon. När alla fält är ifyllda av mig, visa en enda Markdown-tabell med en rad.
Fem uppgifter att köra den här veckan
Kör varje uppgift på två verktyg med samma ord. Dölj namnen tills du har betygsatt båda.
- Brev. Be om ett mejl du behöver den här veckan. Ange mottagaren, vad du vill ha och vilka fakta som måste finnas med. Säg åt verktyget att inte lägga till telefonnummer, tidpunkter eller tidigare klagomål som du inte har angett. Betygsätt tonen, fakta som saknas och fakta som lagts till.
- Sammanfattning. Klistra in en text du får dela, till exempel en sida du själv har skrivit. Be om en sammanfattning med ett bestämt antal meningar. Kontrollera vilka poänger som föll bort och markera alla påståenden som inte fanns i källan.
- Uträkning. Skriv ett kort kvitto eller en textuppgift i matte, och lös den på papper först. Be verktyget att visa varje steg. Jämför slutsiffran med din egen.
- Källkontroll. Be om ett faktabaserat påstående och sidan som stödjer det. Öppna varje länk. En trasig länk, eller en sida som inte säger det som svaret påstår, sänker betyget.
- Text i en bild. Fota en skylt, en meny eller ett kvitto. Be om varje ord och siffra, i rätt ordning. Jämför avskriften tecken för tecken.
Betyg från 1 till 5
Använd samma betydelse för varje stjärna i alla uppgifter.
| Stjärnor | Vad du såg |
|---|---|
| 1 | Svaret missar uppgiften, eller så påstår det ett fakta du inte gav och som du kan visa är felaktigt. |
| 2 | En del av uppgiften är gjord. Du skulle skriva om det mesta av svaret. |
| 3 | Du kan använda svaret efter att du har rättat fel som du kan peka på. |
| 4 | Du skulle ändra några få ord, och alla fakta stämmer. |
| 5 | Du skulle skicka svaret, eller lita på siffran, helt utan ändringar. |
Lägg till en mening som pekar på en specifik rad. En smidig ton med fel siffra stannar på 1 eller 2.
Vad du ska spara på varje rad
Under provtiden kan inbjudna medlemmar posta raderna i forumet. Spara en rad per körning i ett kalkylark.
- Datum och tid, med tidszon.
- Verktygets eller modellens namn, och exakt version eller produktvy du använde.
- Leverantör eller maskin, och app- eller mjukvaruversion.
- Språk i prompten.
- Temperature, top-p och seed, eller orden "product default" om skärmen inte visar dem.
- Hela prompten samt namn och storlek på eventuella filer eller bilder.
- Hela svaret, sparat som text.
- Time to first token och total tid, om verktyget visar det.
- Ditt namn som bedömare, om namnen var dolda, stjärnorna och en mening om varför.
- Om du nämner en öppen tabell: webbplats, benchmark-namn och vilket datum du läste av den.
Om Polaris köper den gemensamma stationen kan tunga tester på stora öppna modeller upprepas där, med samma inställningar på varje rad. Om den gemensamma stationen
Källor
- Så fungerar ArenaHur ett öppet blindtest fungerar: du skickar in en prompt, ser två namnlösa svar, röstar och ser först därefter vilka modeller som skrev dem.
- EleutherAI Language Model Evaluation HarnessEtt verktyg för att köra många fasta uppgifter för språkmodeller. Det sparar uppgiftsversion och tar emot en seed samt genereringsinställningar som temperature. MIT-licens (licensfilen).
- SWE-benchEtt benchmark som ber en modell att fixa ett verkligt problem på GitHub och sedan kontrollerar om projektets tester går igenom. MIT-licens (licensfilen).
- MLPerf Inference: DatacenterMLCommons-resultat för hur snabbt serversystem kör en tränad modell, med regler för latens och genomströmning samt valfri effektmätning vid vägguttaget. Closed division behåller referensmodellen; open division får ändra den.
- MLPerf TrainingMLCommons-resultat för hur lång tid system behöver för att träna en modell till ett angivet kvalitetsmål. Varje benchmark anger sitt dataset och sitt mål.
- Artificial Analysis Data APIDokumenterad åtkomst till deras publicerade kvalitetsindex, token-priser och hastighetssiffror. Läs gällande villkor innan du kopierar någon siffra till en öppen tabell. Diagrammen finns på Artificial Analysis webbplats.
- Hugging Face LLM course, chapter 1Gratiskurs om språkmodeller och Transformers-biblioteket. Sidan anger att kursen är licensierad under Apache 2.0, så ange källan och licensen om du återanvänder materialet. Den förutsätter Python.
- Elements of AIGratis introduktionskurs från Helsingfors universitet och MinnaLearn. Deras licenssida anger att lektionerna har alla rättigheter förbehållna: du får citera dem, men du får inte kopiera texten eller övningarna (licenssidan).