AI-quiz
Femton flervalsfrågor tar dig från prompter och tokens till EU:s AI-förordning och grafikminne, alla med en motivering och en sida du kan dubbelkolla. Veckoresultat och topplista öppnar senare, när medlemmar kan logga in.
Nybörjare
Prompter, tokens och påhittade fakta
En omgång är en kort lista med flervalsfrågor där ett svar är bäst, plus en kort förklaring du kan kolla upp.
De femton frågorna här nedanför kan du köra direkt. En vecko-omgång, sparade poäng och en topplista kommer igång senare när medlemmar kan logga in.
En prompt är meddelandet du ger modellen. En tydlig prompt talar om uppgiften, vem som ska läsa, hur lång texten ska vara och vilka fakta som måste finnas med. "Skriv en lapp på 80 ord till grannen som matar min hund. Mål klockan 08:00 och 18:00, en kopp torrfoder, ingen choklad" anger alla de valen. "Skriv något snällt om hundar" lämnar däremot både läsare, längd och fakta öppna.
En token är enheten som modellen räknar. Googles ordlista för maskininlärning beskriver en token som den minsta beståndsdelen en språkmodell tränar på och förutser: ett ord, ett tecken eller en orddel. Både kontextfönster och API-fakturor räknas i tokens, så en lång inklistrad artikel förbrukar mer av din pott än en kort fråga.
En hallucination är, enligt ordlistan för generativ AI, ett svar som verkar rimligt men som innehåller sakfel om verkligheten. Deras exempel är en modell som påstår att Barack Obama dog 1865. Felfri grammatik visar bara att meningarna är välformulerade. Texten kan vara skriven av en människa eller en modell, och ett årtal i texten kan fortfarande vara fel. Be alltid om källan till en siffra, ett datum eller ett citat, och gå in och läs på den sidan.
Den kostnadsfria svenska kursen Elements of AI går igenom just det här. Webbplatsen lyfter fram MinnaLearn och Helsingfors universitet, med Linköpings universitet bland de svenska partnerna.
Förhör mig på grundbegreppen
Förhör mig med 5 flervalsfrågor anpassade för en nybörjare på AI. Ge 4 svarsalternativ per fråga med ett bästa svar. Ta upp: vad en prompt är, vilken av två prompter som är mest specifik, vad en token är (Googles ordlista: ett ord, ett tecken eller en orddel), vad en hallucination är (ett svar som låter trovärdigt men som innehåller sakfel om verkligheten), och varför snygg grammatik inte avslöjar vem som skrivit texten. Rätta svaren när jag har svarat på alla fem frågorna. Förklara varje fråga på enkel svenska och ange en sida jag kan öppna och läsa. Hitta inte på någon statistik eller några citat.
Medel
Kostnader, märkning, agenter och AI-förordningen
I medelnivån får du ta ställning till en faktura, en märkning, ett verktyg och en lagregel.
Vardagliga uttryck, god grammatik och tvärsäkra datum dyker upp både när människor och modeller skriver. Modellens namn syns i produktens gränssnitt eller i ett API-fält. Saknas den märkningen är texten osignerad.
Publika chatt-API:er mäter användningen i tokens. OpenAI:s Chat Completions-objekt redovisar prompt_tokens för indata och completion_tokens för utdata. Ett långt inklistrat dokument ökar antalet indata-tokens. Ett långt svar ökar antalet utdata-tokens.
Temperatur styr samplingen. Enligt OpenAI:s API-referens gör ett högre värde som 0,8 svaren mer slumpmässiga, medan ett lägre värde som 0,2 gör dem mer fokuserade. Googles ordlista beskriver samma koppling mellan temperatur och slumpmässighet. En låg inställning håller det önskade formatet stabilare mellan körningarna. Inställningen rör varken källor eller träningsvikter.
En agent är en loop som planerar delsteg och anropar verktyg. Det passar bra för ett jobb med flera uppslagningar: hitta den officiella artikeln, notera stycket och spara länken. Att summera en kolumn i en CSV-fil du redan har är en ren beräkning. Ett kalkylark eller ett litet skript räknar ihop summan direkt i filen.
Förordning (EU) 2024/1689, EU:s AI-förordning, delar in skyldigheter efter risknivå. Artikel 5 förbjuder vissa metoder, bland annat AI-system som skapar eller bygger ut databaser för ansiktsigenkänning genom oriktad skrapning av ansiktsbilder från internet eller övervakningskameror. Användning med hög risk medför strängare krav i samma förordning. Förordningen har uppdaterats, så läs den gällande konsoliderade texten på EUR-Lex.
Faktura, märkning, agent, AI-förordningen
Förhör mig med 5 flervalsfrågor, 4 svarsalternativ per fråga. Ämnen: varför enbart text inte avslöjar vilken modell som skrivit den, hur ett chatt-API redovisar indata-tokens och utdata-tokens, vad temperatur förändrar vid sampling, när ett kalkylark passar bättre än en agent, samt en förbjuden metod enligt artikel 5 i förordning (EU) 2024/1689. Förklara varje fråga när jag har svarat. För den juridiska frågan ska du sammanfatta artikeln med en eller två meningar och hänvisa till den gällande konsoliderade texten på EUR-Lex, eftersom förordningen har ändrats. För fakturering och temperatur ska du hänvisa till referensen för OpenAI Chat Completions.
Expert
Cache-beräkningar, attention och små vikter
I expertomgången möter du formler du kan räkna på själv eller mekanismer från forskningsrapporter.
En nyckel-värde-cache (KV-cache) sparar nycklar och värden som redan beräknats för tidigare tokens, så att nästa token kan återanvända dem. Hugging Faces cache-guide beskriver det återanvändandet. För multi-head attention motsvarar antalet byte i cachen 2 × layers × hidden size × tokens × bytes per number. Den inledande tvåan står för nycklar och värden.
För 32 lager, en hidden size på 4096, 16-bitars tal (2 byte) och 8192 tokens blir beräkningen: 2 × 32 × 4096 × 8192 × 2 = 4 294 967 296 byte = 4 GiB. Modellens vikter lagras separat från den här cachen.
FlashAttention (Dao, Fu, Ermon, Rudra och Ré, 2022) ger exakt samma matematiska resultat som vanlig attention. Vinsten i rapporten handlar om dataflytt: genom blockindelning (tiling) minskar trafiken mellan grafikprocessorns snabba minne (HBM) och lokala SRAM på chippet, och hela poängmatrisen behöver aldrig skrivas till minnet. Rapportens block-sparse-variant är den approximativa formen.
RoPE, från forskningsrapporten om RoFormer, roterar par av dimensioner i query och key. Därmed beror produkten av query och key på det relativa avståndet mellan positionerna.
Ett mixture-of-experts-block innehåller flera feed-forward-experter och skickar varje token genom ett fåtal av dem. Beräkningen för den tokenen beror på vilka experter som kördes. Om hela modellen ligger på en enda GPU tar minnet ändå upp plats för de inaktiva experterna, eftersom nästa token kan ta en annan väg.
Vikter som sparas som 4-bitars heltal i stället för 16-bitars flyttal tar ungefär en fjärdedel så mycket viktminne. Mät modellens resultat på en testuppgift eller dess perplexitet efter ändringen. En 16-bitars KV-cache växer fortfarande med kontextlängden enligt formeln ovan.
Rätta min beräkning av KV-cachen
Ge mig en uppgift och vänta på mitt svar. Förutsättningar: 32 lager, multi-head attention, hidden size 4096, nycklar och värden i 16-bitars flyttal (2 byte), kontext 8192 tokens. Fråga efter storleken på KV-cachen i byte och i GiB. Formel: 2 × layers × hidden size × tokens × bytes. Rätt produkt är 4294967296 byte, vilket motsvarar 4 GiB. Om jag missar den inledande tvåan ska du peka på nycklar och värden och visa den rättelsen. Fråga sedan vad som händer med viktminnet om vikterna ändras från 16-bitar till 4-bitar medan cachen ligger kvar på 16-bitar. Om jag blandar ihop detta med FlashAttention ska du hänvisa till arXiv:2205.14135 och förklara att den rapporten handlar om dataöverföring för exakt attention, medan den här uppgiften enbart rör cachestorleken.
Så här räknas poängen
Tills inloggning finns på plats rättar du frågorna själv. En veckoomgång, sparade poäng och en topplista aktiveras när medlemskonton öppnas.
- Svara på alla frågor på en nivå och öppna sedan facit.
- Ett bästa svarsalternativ per fråga.
- Håll koll på tre olika poäng, med antal rätta svar per nivå: nybörjare, medel, expert.
- Skriv ut produkten vid minnesfrågor. Ett slutsvar utan formel räknas som ofullständigt.
- Vid juridiska frågor öppnar du den konsoliderade AI-förordningen och läser artikeln som nämns i facit. Eventuella senare ändringar i lagtexten gäller före den här sidan.
- Läs förklaringen även när du svarade rätt. Hela poängen med omgången är just motiveringen och sidan den hänvisar till.
| Del | Nu | När inloggning öppnar |
|---|---|---|
| Frågebank och skriftligt facit | De 15 frågorna på den här sidan | De här frågorna, plus nya frågor varje vecka |
| Dina poäng | Du rättar själv | Sparas på kontot |
| Topplista | Ingen topplista än | Öppnar när medlemmar kan logga in |
Formelkort för cachen
Antal byte i cachen för multi-head attention, 16-bitars nycklar och värden:
2 × layers × hidden size × tokens × 2
Den första tvåan står för nycklar och värden. Den sista tvåan är antalet byte i ett 16-bitars tal. Hidden size betyder här antalet nyckel-värde-heads gånger head size, vilket motsvarar modellens bredd i vanlig multi-head attention.
Räkneexempel på den här sidan: 32 lager, bredd 4096, 8192 tokens → 4 294 967 296 byte → 4 GiB cache, där vikterna räknas separat. Att minska vikterna från 16-bitar till 4-bitar skalar ner viktminnet till ungefär 1/4 och lämnar den här raden för cachen oförändrad.
En gemensam DGX Station för nätverket skulle göra det möjligt att i en senare expertomgång klocka en lång kontext, en inläsning med 4-bitars vikter och en mixture-of-experts-modell på samma maskin, så att facits siffror för cache och vikter kan stämmas av mot en verklig körning. Om den gemensamma stationen
Källor
- Googles ordlista för maskininlärningGoogles definition av en token: den minsta beståndsdelen en språkmodell tränar på och förutser, som ett ord, ett tecken eller en orddel.
- Googles ordlista för maskininlärning: Generativ AIDefinitioner av hallucination (ett svar som verkar rimligt men innehåller sakfel om verkligheten) och temperatur (reglaget för hur slumpmässigt svaret blir).
- API-referens för OpenAI Chat CompletionsTemperatur (högre värde ger mer slumpmässighet, lägre ger mer fokus) och fälten för förbrukning: prompt_tokens och completion_tokens. Se aktuell prissida för gällande taxa.
- Förordning (EU) 2024/1689, EU:s AI-förordningOfficiell lagtext. Artikel 5 förbjuder oriktad skrapning av ansiktsbilder för att skapa eller bygga ut databaser för ansiktsigenkänning. Sidan länkar till gällande konsoliderad version. EU-rätt: citera officiella tidningen, klistra inte in långa utdrag här.
- Regler för tillförlitlig AI i EU (EUR-Lex sammanfattning)Lättläst sammanfattning av den riskbaserade förordningen, inklusive förbjudna metoder som oriktad skrapning av ansiktsdatabaser. Komplettera med den konsoliderade förordningen när du behöver själva lagtexten.
- FlashAttention (Dao et al., 2022)Forskningsrapporten om IO-medveten exakt attention: tiling minskar minnestrafiken på grafikprocessorn, och hela poängmatrisen behöver inte sparas. Block-sparse attention är den approximativa varianten. Återge endast med egna ord.
- RoFormer: Rotary Position Embedding (Su et al.)RoPE kodar position genom rotation så att attention beror på det relativa avståndet. Dokumentet på arXiv anger licensen CC BY-NC-ND 4.0. Den här sidan sammanfattar idén och återger inte rapporten i sin helhet.
- Hugging Faces guide till cacheHur en KV-cache sparar tidigare nycklar och värden så att genereringen kan återanvända dem, där minnet växer i takt med längden. För nybörjarkursen, se den svenska webbplatsen för Elements of AI: https://www.elementsofai.se (MinnaLearn, Helsingfors universitet och svenska partner inklusive Linköpings universitet). Kursmaterialet finns kvar på deras webbplats.