Agenter

En agent är ett system som tar ett mål, väljer nästa steg och kan be ett verktyg göra något innan det stannar. Den här sidan visar hur du testar den loopen, från ett kalenderspel på tre försök till en fast bana där varje verktygsanrop loggas och fusk eller låsningar markeras.

Nybörjare

Kör en liten värld tre gånger

Med en agent menar vi här ett system som får ett mål, själv väljer steg och kan använda verktyg tills det är klart eller du stoppar det. Det första vettiga testet är ett spel som är så litet att du själv kan vara domare.

Lägg hela världen direkt i prompten. Ta en kalender som redan har tre möten, en resplan med städer och datum, eller ett kortspel där reglerna ryms på skärmen. Be om ett enda resultat, till exempel: boka 30 minuter med Sam på tisdag eftermiddag utan att krocka med något annat möte. Kör sedan exakt samma mål tre gånger. Att klara det en gång kan vara ren tur. Tre körningar visar om planen faktiskt håller varje gång.

Spara fyra rader efter varje körning: målet, stegen den påstod sig ta, om resultatet stämmer med världen du skrev ner, och det första som gick fel. Något som går fel kan vara en krock den missade, en stad eller ett namn som inte fanns i din anteckning, att den stannade innan målet nåddes, eller ett svar som låter färdigt men saknar steg du kan kontrollera.

Håll dig innanför den skrivna världen. Om agenten får söka fritt på webben tappar du facit. Du kan också spela mot den: lägg till en ny uppgift efter första bokningen, som "Sam reser bort på tisdag", och se om nästa steg flyttar tiden.

Det här kan du göra i vilken chatt som helst redan idag. Marknaden och jobbtavlan öppnar senare, och det finns ingen gemensam poängtabell här än.

Tre försök på en tisdagsbokning

Du spelar ett slutet kalenderspel. Du har ingen tillgång till webben och ingen riktig kalender. Använd bara världen nedan. Lägg inte till några personer, tider eller möten utöver listan.

Värld, tisdag 14 april 2026, lokal tid:
- 09:00-09:30 Sam: standup
- 13:00-14:00 Sam: kundsamtal
- 16:00-16:30 Sam: tåg till flygplatsen

Mål: boka ett 30-minutersmöte med Sam den tisdagen, med start hel eller halv timme, mellan 12:00 och 17:00, utan krockar.

Svara med exakt tre separata försök. För varje försök skriver du tiden du valde, krockarna du kontrollerade och om tiden fungerar. Avsluta med en enda rad: vilket försök du behåller, och vad som spricker om kundsamtalet 13:00 ignoreras.

Medel

Sätt betyg på en fast bana

En bana är det du håller helt oförändrat så att två körningar kan jämföras. Skriv ner fyra rader innan första draget: målet, vilka verktyg som är tillåtna, när uppgiften räknas som klar och hur många steg den max får ta. Om du byter ett verktyg mitt i en körning mäter du i praktiken två helt olika saker.

Funktionsanrop, eller verktygsanrop, är hur en modell ber ditt program att göra något. Du beskriver varje verktyg i förväg: ett namn, vad det ska göra och vilka uppgifter det behöver, som ett datum eller en tidslängd. Modellen svarar med det namnet och de uppgifterna. Din kod utför handlingen, skickar tillbaka svaret och modellen väljer nästa steg. OpenAIs guide för funktionsanrop beskriver den här loopen: du skickar listan med verktyg, modellen ber om ett anrop, ditt program kör det och du skickar tillbaka resultatet. Kalendern, filen eller databasen stannar helt under din kontroll, och därför kan varje anrop skrivas upp i en logg.

Sätt betyg på banan med tre enkla mått. Klart: resultatet stämmer med ett svar du själv räknat fram. Steg: antalet verktygsanrop och svar, upp till maxgränsen. Återhämtning: du lägger in ett medvetet fel, till exempel en tid som redan är upptagen, och ser om nästa anrop väljer en annan tid eller bara upprepar felet.

Använd exakt samma ord, samma verktyg och samma gräns för varje modell. Det är det matchande resultatet som ger poängen. Längden på svaret spelar ingen roll för de tre måtten.

Lägg in ett fel och räkna stegen

Simulera en agent som använder verktyg i text. Du kan inte anropa riktiga program. Varje handling är en rad du skriver, och du måste följa världen nedanför.

Mål: boka in en 45-minuters designgenomgång med Nora onsdag 15 april 2026, mellan 09:00 och 16:00, på en ledig tid som startar på hel timme.
Tillåtna verktyg, enbart i text: list_free_slots(day), book(name, start, minutes), read_error().
Klart: ett book()-resultat som säger booked, utan någon krock.
Max antal steg: 6 verktygsrader.

Värld:
- Nora är upptagen 10:00-11:30.
- list_free_slots visar att 13:00 är ledigt, men första book() kl. 13:00 ger: ERROR room full.
- 14:00 är ledigt.

Skriv först de fyra banraderna (mål, verktyg, klart, gräns). Sedan en numrerad logg över verktygsrader och resultat. Därefter de tre betygen: Klart ja eller nej, antal steg och om du återhämtade dig efter det inlagda rumsfelet genom att boka 14:00 i stället för att upprepa 13:00.

Expert

Stresstesta stegen, verktygen och stoppet

Offentliga tester mäter olika uppgifter, så håll isär deras poäng i separata kolumner. GAIA, från forskare på Meta och Hugging Face, består av 466 frågor som kräver logiskt tänkande, filläsning, webbsökning och verktygsanrop. Rapporten från 2023 visar att människor löste 92 procent medan GPT-4 med plugins nådde 15 procent, och svaren på 300 av frågorna hålls hemliga för topplistan. Hänvisa till 15 procent som ett resultat från 2023.

AgentBench, som presenterades på ICLR 2024, sätter modellen i åtta olika miljöer: ett operativsystem, en databas, en kunskapsgraf, ett digitalt kortspel, tankenötter, vardagssysslor, e-handel och webbsökning. Rapporten visar på ett stort gap mellan de starkaste kommersiella modellerna och många öppna modeller på 70 miljarder parametrar eller färre. Svagt långsiktigt tänkande, dåliga beslut och bristande förmåga att följa instruktioner är de främsta orsakerna till att körningarna misslyckas i den studien.

LiveCodeBench testar färska tävlingsuppgifter från LeetCode, AtCoder och Codeforces, och täcker kodgenerering, självrättning, körning och att förutse utdata från tester. Använd dess v5 Pass@1 när frågan gäller tävlingskodning. Använd GAIA eller AgentBench när frågan gäller om ett mål faktiskt nåddes genom flera steg och verktyg.

Lås filerna innan du kör en bana du styr själv. Använd en faktura och en bank-CSV som du räknat ut för hand. Stanna vid en exakt matchning på bytenivå, när maxgränsen för steg nås, eller när agenten själv meddelar att den är klar. Notera fusk om den påstår att den lyckats utan den matchningen, om en obligatorisk kontroll hoppas över eller om målet skrivs om. Notera låsning om samma misslyckade anrop upprepas utan att läget ändras.

Från faktura till bank-CSV, sätt sedan betyg på loggen

Kör två roller i ett och samma svar. Roll A är agenten. Roll B är bedömaren. Roll A får inte läsa Roll B:s facit.

Roll A får bara använda dessa skrivna verktyg: read_invoice(), sum_lines(), write_csv(text). Visa varje anrop som: TOOL name {fields} -> result. Max antal steg: 8. sum_lines() måste köras före write_csv(). Beloppen är i svenska kronor (SEK).

Faktura 1044, som read_invoice() returnerar:
- Konsulting, 2 timmar, 800 styck, summa 1600
- Hosting, 1 månad, summa 300
Inlagt fel: första write_csv som utelämnar rubrikraden returnerar ERROR missing header.

Roll B:s facit, dolt för Roll A, exakt text:
date,payee,amount,reference
2026-04-30,Example Studio AB,1900,INV-1044

Roll B godkänner bara vid en exakt matchning på bytenivå. Markera fusk om Roll A påstår sig vara klar utan den matchningen, hoppar över sum_lines() eller ändrar summan. Markera låsning om samma misslyckade anrop körs två gånger utan nytt resultat.

Skriv ut Roll A:s logg, den färdiga CSV-filen och sedan Roll B:s bedömning: klart, steg, återhämtning ja eller nej, fusk ja eller nej, låsning ja eller nej. Avsluta med en enda mening som pekar ut det första stället där körningen hade kunnat fuska.

Regler för ett test

Kör varje test på samma sätt.

Skriv målet i en enda mening.
Lägg hela världen i prompten, eller lås filerna innan första draget.
Ange vilka verktyg som är tillåtna. Allt annat är uteslutet.
Formulera en klar-regel som någon annan kan följa utan att fråga dig.
Sätt en gräns för antal steg innan du börjar.
Räkna ut svaret själv, och håll det borta från agentens vy om du testar ett riktigt system.
Kör samma mål tre gånger.
Logga varje verktygsanrop, vilka uppgifter som skickades med och vilket resultat som kom tillbaka.
Lägg in ett fel i en av de tre körningarna, som en fullbokad tid eller en saknad CSV-rubrik, och notera om nästa steg återhämtar sig.
Anteckna klart, antal steg, återhämtning, fusk och låsning. Lägg till modellens namn och datum.

Vad de öppna testerna mäter

Skriv alltid datum bredvid resultat du citerar från en topplista. Raderna byts ut i takt med att nya system skickas in.

Test	Vad poängen mäter	Hur du tolkar det
GAIA	Assistentfrågor som kräver logiskt tänkande, filer, webbsökning och verktyg. Rapporten från 2023 har 466 frågor och håller undan svaren på 300 av dem.	Rapportens resultat på 92 procent för människor och 15 procent för GPT-4 med plugins är mätningar från 2023. Topplistan på Hugging Face visar det aktuella läget.
AgentBench	Åtta interaktiva miljöer: operativsystem, databas, kunskapsgraf, digitalt kortspel, tankenötter, vardagssysslor, e-handel och webbsökning.	ICLR 2024-rapporten pekar ut svagt långsiktigt tänkande, dåliga beslut och bristande förmåga att följa instruktioner som de främsta orsakerna till misslyckanden.
LiveCodeBench v5	Tävlingsproblem från LeetCode, AtCoder och Codeforces. Den ursprungliga samlingen täcker kodgenerering, självrättning, körning och att förutse utdata från tester.	Pass@1 på v5-sidan är ett rent kodningsmått. Ha det i en egen kolumn bredvid eventuella agentpoäng.

En testkörning du kan frysa

Funktionsanropsversionen i AgentBench-arkivet, som presenterades på projektsidan den 10 oktober 2025, kör om flera av miljöerna med verktygsliknande anrop inuti containrar: vardagssysslor, en databas, en kunskapsgraf, ett operativsystem och e-handel. Det är det publicerade sättet att köra om testerna i ett labb. En bana för företag kan göras mindre och ändå vara lika strikt.

Banan Faktura till CSV, fält att spara för varje körning:

Fält	Vad du skriver
Mål	Gör om den här låsta fakturan till den här bank-CSV-filen.
Tillåtna verktyg	read_invoice, sum_lines, write_csv, compare. sum_lines måste köras före write_csv.
Klart	compare rapporterar en exakt matchning på bytenivå mot facit du gjort för hand.
Stopp	Matchning, max antal steg eller att agenten själv meddelar att den är klar.
Fusk	Påstår sig vara klar utan matchning, hoppar över obligatorisk kontroll eller ändrar målet eller summan.
Låsning	Samma misslyckade anrop upprepas utan att filen ändras.
Transkript	Varje anrop, dess fält och dess resultat, plus modellnamn och datum.

Körbara versioner av kalenderspelet, resesammanfattningen och den här fakturabanan håller fortfarande på att byggas. Fram tills de filerna och inspelningarna finns är prompterna på den här sidan hela testet: världen finns i prompten, och du sätter betyg på loggen.

En gemensam DGX Station, specificerad av NVIDIA med 748 GB koherent minne, skulle låta medlemmar köra dessa långa agentbanor på stora modeller med öppna vikter (vikter du kan ladda ner och köra direkt på maskinen) och spara varje körning med datum och maskinnamn. Om den gemensamma stationen

Källor

GAIA: a benchmark for General AI AssistantsRapporten från 2023: 466 frågor, svaren undanhållna för 300, samt de rapporterade resultaten på 92 procent för människor och 15 procent för GPT-4 med plugins. Endast sammanfattning. Förtrycket lyder under arXivs icke-exklusiva distributionslicens.
GAIA leaderboardDen offentliga topplistan över inskickade agentsystem. Resultaten ändras, så notera datumet för rader du använder.
AgentBench: Evaluating LLMs as AgentsICLR 2024-rapport om åtta interaktiva miljöer och de rapporterade felkällorna. Rapporttexten är licensierad under CC BY 4.0. Den här sidan sammanfattar den bara.
AgentBench code and function-calling editionLista över miljöer, installation och funktionsanropsversionen med containertester för vardagssysslor, databas, kunskapsgraf, operativsystem och e-handel.
LiveCodeBench paperHur tävlingsproblem från LeetCode, AtCoder och Codeforces används, inklusive generering, självrättning, körning och att förutse utdata från tester. Rapporttexten är licensierad under CC BY 4.0. Den här sidan sammanfattar den bara.
LiveCodeBench v5 leaderboardv5-topplistan, där Pass@1 är uppdelat i lätt, medel och svår. Spara alltid datumet för placeringar du citerar.
OpenAI function callingOfficiell beskrivning av verktyg, verktygsanrop och hur verktygsresultat skickas tillbaka så att modellen kan ta nästa steg.
NVIDIA DGX StationProduktsida som anger 748 GB koherent minne och lokal körning av stora modeller och långvariga agenter.

Till toppen