Den här lektionen är en frivillig fördjupning till kursen F01. Den innehåller räkneexempel och fackord. Börja med F01 om du är ny. Till kursen F01 →
Så fungerar en språkmodell
Efteråt kan du räkna token med en given regel, räkna om en fördelning med tre token vid temperatur 0, 0,7 och 1,4, och peka ut den mekaniska orsaken när ett svar blir fel.
- Nivå
- Första ljuset
- Tid
- 8 h
- Förkunskap
- F01

Hoppa till
Efter kursen kan du
Eleven kan räkna ut exakt antal tokens i givna textsträngar, följa nästa-token-sannolikheterna vid temperatur 0,0, 0,7 och 1,4 och para ihop 15 felaktiga modellsvar med deras exakta mekaniska orsak.
Token och delord
En språkmodell läser token. Bokstäverna du skrev är redan delade i de bitarna innan någon förutsägelse börjar. Vid delordstokenisering ligger vanliga bitar, till exempel the eller ing, som hela token. Med lektionens förenklade regel, nära WordPiece, delas ett ovanligt ord i de längsta bitar ordlistan redan har, och enstaka bokstäver blir reserven när inget längre passar. Riktiga BPE-tokenizers slår i stället ihop par i en inlärd ordning, med bytes som reserv. Regeln ligger fast för en viss tokenizer. Samma stavning kan bli en token i ett system och flera token i ett annat.
Antalet token styr hur mycket text som ryms och hur mycket arbete ett svar tar. Ett kort vanligt ord kan kosta en token. Ett långt namn, ett ord från ett annat språk, eller en rad skiljetecken kan kosta flera. I många tokenizer sitter mellanslaget fast på nästa ord, och en punkt står för sig. Att dela teckenantalet med fyra ger bara ett grovt snitt för engelsk prosa. En exakt räkning följer en namngiven regel från vänster. En gissning utifrån teckenlängd missar delningen.
Nästa token och vikterna
I varje steg ger modellen en poäng åt varje token i ordlistan. Softmax gör poängen till sannolikheter. Varje poäng går genom exponentialfunktionen och delas sedan med summan av de värdena, så att resultaten blir 1 tillsammans. En token dras ur den fördelningen och läggs sist i texten. Samma räkning körs sedan för nästa steg. Det som känns ledigt kommer av att de lokala valen råkar ligga i rad, en token i taget.
Poängen kommer från vikterna, en lång lista tal inuti nätet. Samma tal kallas också parametrar. Träning är perioden då vikterna fortfarande ändras. Tränaren visar verklig text, ber om nästa token, och skjuter vikterna så att sannolikheten rör sig mot den token som faktiskt följde. Den omgången upprepas över en stor mängd text. När träningen stannar sparas vikterna. Chatten du kör senare ändrar dem inte vidare.
Inferens är ett svar med vikterna låsta. Kontexten går in, en fördelning kommer ut, en token väljs, och den nya kontexten går in igen. Ingenting i den slingan söker på webben, och ingenting öppnar ett faktaregister. Om ett särskilt verktyg kopplas på är det ett tillägg som kommer efteråt. Själva modellsteget förvandlar bara de aktuella token genom de fasta vikterna. Två körningar kan skilja sig när urvalet drar en token som inte ligger högst, och de blir lika när urvalet alltid tar den högsta.
Kontextfönster och cachen
Kontextfönstret är det största antal token modellen kan ta i ett framåtpass. Räkningen omfattar prompten och de token som redan skrivits. En token utanför den gränsen saknas i beräkningen. Modellen fortsätter från en kortad vy, ofta de senaste token som fortfarande ryms. En lång inklistrad text kan tränga undan frågan du skrev längst upp. Eftersom gränsen räknar token fyller ett ovanligt ord som delas i många bitar fönstret snabbare än lika många vanliga ord.
KV-cachen är ett lager som sparar tid under inferens. För varje tidigare token har modellen redan byggt en nyckelvektor och en värdevektor, K och V i namnet. Attention använder de vektorerna när den nya token poängsätts mot de tidigare. Om de sparas kan modellen återanvända jobbet i nästa steg. Cachen har varken ett sammandrag eller extra fakta. När en token lämnar fönstret följer dess cachepost med. En felaktig post skulle ge en annan fördelning än texten som fortfarande syns.
Urval, brytdatum och troliga fel
Temperatur skalar om poängen före softmax. Dela varje poäng med T. Ett T under 1 gör att den största poängen drar ifrån, så fördelningen blir skarpare. Ett T över 1 drar ihop poängen, så fördelningen blir plattare. När T går mot 0 behåller urvalet bara den vinnande token. Det kallas girigt urval. Top-k behåller de k högsta sannolikheterna, tar bort resten och skalar om det som är kvar. Top-p sorterar från toppen och behåller den minsta mängd vars sannolikheter summerar till minst p, och skalar sedan om den mängden.
De tre inställningarna ändrar vilken fortsättning du troligen får se. De lämnar vikterna orörda och lägger alltså inte till något lagrat faktum. Vikterna tar slut vid ett kunskapsbryt, det sista datumet i den träningssamlingen. Senare text saknas om du inte lägger in den i prompten. Ett namn eller något som hänt efter brytet kan ändå dyka upp, eftersom en nästa token alltid väljs och en rimlig token kan få hög poäng. När datumet spelar roll står det i anteckningarna för just den modellen.
Ett påhitt har samma källa. Urvalet valde token som fortsätter det lokala mönstret. En påhittad källhänvisning, ett bestämt datum eller ett fel i en uträkning kan var och en vara den fortsättning som får högst poäng. Det finns inget inre steg som jämför meningen med en källa. Du fångar en del av det genom att räkna det lilla fallet själv, genom att klistra in källan i fönstret, eller genom att använda ett verktyg som lämnar tillbaka ett dokument. Svaret är en rad dragningar av nästa token, villkorade av den extra texten.
En räkning och en temperatur, för hand
Använd den här exempletokenizern, byggd så att en handräkning blir exakt. Gör texten till gemener. Dela vid mellanslag, och behåll varje mellanslag som ett inledande märke på nästa bit. Ett helt ord är en token när det finns i listan the, cat, sat, on, a, mat. Varje annat ord läses från vänster och delas vid den längsta träffen i bitlistan un, re, ing, ly, tion. När ingen av dem träffar tar du en bokstav. En punkt är alltid en egen token.
Ta strängen The cat sat on a mat följd av en punkt. Den har 21 tecken. Token blir the, cat med inledande mellanslag, sat med inledande mellanslag, on med inledande mellanslag, a med inledande mellanslag, mat med inledande mellanslag, och punkten ensam. Det är 7 token. 21 delat med 4 blir 5,25. unhappily saknas i ordlistan. Biten un träffar, sedan bokstäverna h, a, p, p och i, sedan biten ly. Det är också 7 token.
Utgå från tre exempelsannolikheter vid temperatur 1: 0,50, 0,30 och 0,20, för kandidaterna cat, sat och mat. De är exempel, valda så att räkningen syns. Om de kom ur en softmax är poängen deras logaritmer, plus en konstant som får läggas till. Dela poängen med T och kör softmax igen. Det blir samma sak som att upphöja varje sannolikhet till 1/T och sedan dela med summan av de tre potenserna.
Vid temperatur 0,7 är exponenten 1/0,7, ungefär 1,429. Potenserna avrundas till 0,3715, 0,1791 och 0,1003, och de avrundade talen summerar till 0,6509. 0,3715 delat med 0,6509 ger 0,571, 0,1791 delat med 0,6509 ger 0,275, och 0,1003 delat med 0,6509 ger 0,154. Vid temperatur 1,4 är exponenten 1/1,4, ungefär 0,714. Potenserna avrundas till 0,6095, 0,4232 och 0,3168, med summan 1,3495. Andelarna avrundas till 0,452, 0,314 och 0,235. De avrundade andelarna blir 1,001 tillsammans, de exakta blir 1. Vid temperatur 0 väljs cat med sannolikhet 1.
Kolla på papper
Med exempletokenizern, skriv varje token i A cat sat unhappily följd av en punkt. Ta sedan samma exempelsannolikheter 0,50, 0,30 och 0,20. Temperatur 0,5 betyder exponenten 2. Kvadrera varje värde, dela med summan och avrunda till tre decimaler. Skriv också sannolikheten för cat vid temperatur 0, 0,7 och 1,4, från exemplet. Märk till sist fyra fel med en orsak var: ett matchresultat efter kunskapsbrytet utan artikel i prompten, en inledande regel som försvinner efter en mycket lång inklistring, samma fras upprepad vid temperatur 0, och en källhänvisning utan källa och utan verktygssvar i fönstret.
De elva token är a, cat med inledande mellanslag, sat med inledande mellanslag, un med inledande mellanslag, h, a, p, p, i, ly och punkten. Kvadraterna är 0,25, 0,09 och 0,04, summan är 0,38, och andelarna är 0,658, 0,237 och 0,105. cat har sannolikhet 1 vid temperatur 0, 0,571 vid 0,7 och 0,452 vid 1,4. De fyra felen är ett kunskapsbryt, ett kontextfönster som tappat de tidiga token, girigt urval, och en fortsättning utan kontroll mot en källa.
Kontrollfrågor
Hur många token ger exempletokenizern för sat följd av en punkt, utan inledande mellanslag?
Två. sat finns i ordlistan, och punkten är en egen token.
I exemplet börjar cat på 0,50. Vilken sannolikhet, avrundad till tre decimaler, har cat vid temperatur 0,7, och vilken har cat vid temperatur 0?
0,571 vid temperatur 0,7, och 1 vid temperatur 0. Girigt urval behåller bara den ledande token.
Vad lagrar en korrekt KV-cache, och ändrar den korrekta cachen sannolikheterna för nästa token?
Den lagrar nyckelvektorn och värdevektorn för varje tidigare token som fortfarande ligger i fönstret. En korrekt cache lämnar sannolikheterna oförändrade och sparar bara omräkning.
Varför kan modellen ange en rimlig källhänvisning som varken fanns i prompten eller kom från ett verktyg?
Token som ser ut som en källhänvisning var en sannolik fortsättning på texten så här långt. Själva modellsteget söker inte och jämför inte meningen med en källa.
Ett svar är en kedja token dragen ur en fördelning som vikterna och det aktuella fönstret bestämmer. Temperatur, top-k och top-p ändrar dragningen, och en ledig mening kan ändå vara fel när källan aldrig låg i det fönstret.
Slutuppgift
Genomför en nyckelrättad diagnostik på 20 uppgifter om tokenisering, samplingsmatematik och felklassning, och lämna in ett skript (token_check.py eller .js) som klarar 10 fasta enhetstester på tokenräkning och gränsvärden för samplingsparametrar. (Valfritt portföljobjekt: en förklarande sida på vanlig svenska.)
Lektionen är öppen att läsa. Prov, diplom och konto kommer senare; väntelistan är till för dem. Till väntelistan