Bygg en Transformer från grunden i PyTorch
Efteråt kan du räkna tre BPE-merge på tre rader, stapla embedding-raderna för en uppdelad rad, räkna de två kausala utvärdena när nyckeln har bredd 1, och kolla att ett gemensamt kvartsvarv lämnar skalärprodukten oförändrad.
- Nivå
- Navigatör
- Tid
- 32 h
- Förkunskap
- R09-101

Hoppa till
Efter kursen kan du
Eleven kan implementera en komplett BPE-tokeniserare och en decoder-only Transformer med RoPE och KV-caching från grunden i PyTorch (utan nn.Transformer) som matchar referenstensorer för forward/backward och ekvivalens för KV-cache.
Räkna en BPE-merge
BPE, Byte-Pair Encoding, bygger tokenlistan genom att gång på gång slå ihop det grannpar som förekommer flest gånger. En merge är en sådan hopslagning. Regeln är densamma som i en tokenizer på byte-nivå. Handversionen börjar med bokstäverna nedan, så att varje räkning syns. En körning på byte-nivå skulle börja med bytes i stället för de här bokstäverna. Materialet är tre rader, redan delade i symboler, och slutmärket · är en symbol på samma sätt som en bokstav. Rad A är a a b ·. Rad B är a a b ·. Rad C är a b ·. Ett par är två symboler som står intill varandra. Rad A ger paren aa, ab och b· en gång var. Rad B ger samma tre par en gång var. Rad C ger ab och b·. Summorna är aa = 2, ab = 3 och b· = 3.
Mergen är paret med störst summa. ab och b· ligger lika på 3. Vid lika summa jämförs paret alfabetiskt, först den första symbolen och sedan den andra. Symbolen a kommer före b, så första mergen är ab, sparad som en ny symbol ab. I ett varv läser du från vänster och byter ut varje träff som inte överlappar, och fortsätter sedan efter symbolen du just skrev. De tre raderna har ingen överlappning, så varje a som står direkt före ett b går ihop med det. Efter mergen är raderna A: a ab ·, B: a ab · och C: ab ·. De nya summorna är a följt av ab = 2, och ab följt av · = 3. Andra mergen är ab·. Raderna är nu A: a ab·, B: a ab· och C: ab·. Ett par återstår, a följt av ab·, med summan 2, och tredje mergen är aab·. Rad A och rad B blir var för sig den enda symbolen aab·. Rad C stannar på ab·, eftersom inget a står framför. Den sparade listan, i ordning, är ab, sedan ab·, sedan aab·.
När du kodar en ny rad använder du den sparade listan och räknar inte om paren. Börja med tecken och kör de tre mergarna i den sparade ordningen. Träningsraden a a b · blir a ab ·, sedan a ab·, sedan aab·, alltså en token. Raden a b · blir ab ·, sedan ab·, och den tredje mergen hittar inget att slå ihop, så raden är den enda token ab·. Raden a a a b · finns utanför materialet. Första mergen slår ihop det a som rör vid b och lämnar a a ab ·. Andra mergen ger a a ab·. Tredje mergen slår ihop det a som rör vid ab·, och det vänstra a saknar partner, så kvar blir de två token a och aab·. Du kan klistra in de tre träningsraderna i chattjänsten, be om parsummorna, och behålla svaret bara när det stämmer med aa = 2, ab = 3 och b· = 3.
En rad för varje token-id
Varje symbol som mergarna kan ge får ett heltals-id och en rad med tal, en embedding. Id-numren följer en fast ordning: startsymbolerna a, b och ·, därefter mergarna i den ordning de lärdes. id 0 är a med raden [1, 0]. id 1 är b med raden [4, 1]. id 2 är · med raden [1, 3]. id 3 är ab med raden [2, 2]. id 4 är ab· med raden [0, 1]. id 5 är aab· med raden [3, 1]. En rad som blev en token är en enda talrad. Symbolen aab· har id 5, så fältet är den enda raden [3, 1]. En rad som blev två token staplar två talrader i den ordningen. Delningen a och sedan aab· använder id 0 och 5, så fältet är [[1, 0], [3, 1]]. Talraden är ett uppslag. Uppslaget bär ingen plats. Platsen kommer senare, och bara in i frågan och nyckeln.
Tabellen matar också skalärprodukten du redan använder som poäng. Raden a i skalärprodukt med raden b är 1 gånger 4 plus 0 gånger 1, alltså 4. Raden ab· i skalärprodukt med raden aab· är 0 gånger 3 plus 1 gånger 1, alltså 1. Två rader med olika bredd har ingen skalärprodukt, så varje rad i tabellen har bredd 2. I fältkoden är tabellen en matris med en rad per id, och textraden är en lista av id som används som index. I uppmärksamheten i nästa avsnitt är de två token a och ab·, id 0 och 4. Det staplade fältet X är [[1, 0], [0, 1]]. De två raderna är kopierade ur tabellen. De andra fyra raderna ligger kvar i tabellen och ingår inte i just den här poängen.
Skalade poäng och en kausal mask
Scaled dot-product attention, skalad uppmärksamhet med skalärprodukt, bygger en poäng mellan varje fråga och varje nyckel, delar med kvadratroten ur nyckelns bredd, och gör om varje rad av poäng till vikter med softmax. Här är nyckelns bredd d_k lika med 1, så kvadratroten är 1 och skalan lämnar varje produkt oförändrad. Frågematrisen W_Q är 2 gånger 1 och lika med [[1], [2]]. Nyckelmatrisen W_K är 2 gånger 1 och lika med [[0], [1]]. Värdematrisen W_V är 2 gånger 1 och lika med [[2], [8]]. X är 2 gånger 2. Innerstorlekarna stämmer, och varje produkt är 2 gånger 1. Frågekolumnen Q har posterna 1 gånger 1 plus 0 gånger 2 = 1, och 0 gånger 1 plus 1 gånger 2 = 2. Nyckelkolumnen K har posterna 1 gånger 0 plus 0 gånger 1 = 0, och 0 gånger 0 plus 1 gånger 1 = 1. Värdekolumnen V har posterna 2 och 8. Poängen på rad i och kolumn j är q_i gånger k_j. Poängmatrisen är [[0, 1], [0, 2]].
Använd de angivna exponentialerna e upphöjt till 0 lika med 1, e upphöjt till 1 lika med 2,718 och e upphöjt till 2 lika med 7,389, och avrunda varje sannolikhet till tre decimaler. Softmax upphöjer en rad till e och delar med summan av den raden. Rad 0 har massorna 1 och 2,718. Summan är 3,718. Sedan ger 1 delat med 3,718 avrundningen 0,269, och 2,718 delat med 3,718 ger 0,731. De två avrundade vikterna blir 1,000 tillsammans. Rad 1 har massorna 1 och 7,389. Summan är 8,389. Sedan ger 1 delat med 8,389 avrundningen 0,119, och 7,389 delat med 8,389 ger 0,881. Även de avrundade vikterna blir 1,000 tillsammans. Utvärdet för en token är den viktade summan av värdena. Token 0 ger 0,269 gånger 2 plus 0,731 gånger 8 = 0,538 plus 5,848 = 6,386. Token 1 ger 0,119 gånger 2 plus 0,881 gånger 8 = 0,238 plus 7,048 = 7,286.
En kausal mask hindrar en token från att läsa ett senare värde. På papper tar du bort varje framtida poäng och sätter vikten 0 där. I fältkoden skriver du ett stort negativt tal i den framtida rutan före softmax. Talet här är -10 upphöjt till 9. Exponentialen av det är 0 i vanlig float32, så vikten i rutan blir 0, samma regel som på papper. På rad 0 tas den framtida poängen bort, vikten på token 0 är 1, och vikten på token 1 är 0. Det kausala utvärdet är 1 gånger 2 plus 0 gånger 8 = 2. Rad 1 har ingen framtida token, så dess kausala utvärde stannar på 7,286. Byt det senare värdet från 8 till 80. Det kausala utvärdet för token 0 stannar på 2. Det omaskerade utvärdet för token 0 blir 0,269 gånger 2 plus 0,731 gånger 80 = 0,538 plus 58,480 = 59,018. Masken är raden som håller 80 utanför det första utvärdet. De fem raderna du skriver före någon träningsloop är: räkna paren, spara mergarna, stapla talraderna, multiplicera med W_Q, W_K och W_V, och kör sedan softmax på varje rad efter att de framtida rutorna håller -10 upphöjt till 9.
Ett kvartsvarv för platsen
RoPE, rotary positional embedding, viker in platsen i frågan och nyckeln genom att vrida par av poster. Värdena vrids inte. Nycklarna med bredd 1 ovan har inget par att vrida, så det här avsnittet använder ett eget par med bredd 2 och en lektionsregel med ett rent kvartsvarv. Ett kvartsvarv moturs skickar [x, y] till [-y, x]. Plats 0 gör noll varv, och paret stannar på [x, y]. Plats 1 gör ett varv. Plats 2 gör två varv och skickar [x, y] till [-x, -y]. Plats 3 gör tre varv och skickar [x, y] till [y, -x]. Ta innehållsfrågan [3, 1] och innehållsnyckeln [1, 2]. Båda på plats 0 ger poängen 3 gånger 1 plus 1 gånger 2 = 5. Flytta bara nyckeln till plats 1. Nyckeln blir [-2, 1], och poängen mot den ovridna frågan är 3 gånger -2 plus 1 gånger 1 = -5.
Samma förskjutning syns ett steg senare. Lägg frågan på plats 1 och nyckeln på plats 2. Frågan blir [-1, 3]. Nyckeln blir [-1, -2]. Poängen är -1 gånger -1 plus 3 gånger -2 = 1 minus 6 = -5. Platsparet (0, 1) och platsparet (1, 2) delar förskjutningen 1 och delar poängen -5. Lägg nu båda på plats 1. Frågan är [-1, 3], nyckeln är [-2, 1], och poängen är -1 gånger -2 plus 3 gånger 1 = 5. Båda på plats 0 och båda på plats 1 ger poängen 5. Ett gemensamt kvartsvarv på ett enda par lämnar skalärprodukten oförändrad, och en gemensam förskjutning upprepar poängen. Formeln i koden använder en mindre vinkel. Par nummer i på plats m vrids med m gånger 10000 upphöjt till -2i/d, i radianer. För det enda paret vid bredd 2 är i lika med 0, och 10000 upphöjt till 0 är 1, så steget är 1 radian per plats. På plats 0 är vinkeln 0. Med cos 0 = 1 och sin 0 = 0 ligger paret kvar, vilket stämmer med lektionsregeln på plats 0. På plats 1 är de angivna värdena med fyra decimaler cos 1 = 0,5403 och sin 1 = 0,8415. De vrider [1, 0] till [0,5403, 0,8415]. Kvadraterna är 0,29192409 och 0,70812225. Summan är 1,00004634, som fortfarande avrundas till 1,0000 med fyra decimaler. Vridningen ändrar riktningen och behåller längden.
RMSNorm och residualadditionen
RMSNorm delar en rad med kvadratmedelvärdets rot för samma rad, och multiplicerar sedan post för post med en inlärd skala. För bredd 2 använder medelvärdet divisorn 2. Ta raden [0, 4]. Kvadraterna är 0 och 16, summan är 16, och medelvärdet är 8. Roten ur 8 är 2 gånger kvadratroten ur 2. Med den angivna kvadratroten ur 2 lika med 1,414 blir den roten 2,828. Att dela [0, 4] med 2,828 ger [0, 1,414], eftersom 0 delat med 2,828 är 0 och 4 delat med (2 gånger kvadratroten ur 2) är kvadratroten ur 2. Den visade kvoten 4 delat med 2,828 blir 1,414 när den avrundas till tre decimaler. En skala γ = [1, 2] ger sedan [0, 2,828]. Raden [1, 1] är den exakta kontrollen av samma regel. Dess kvadrater summerar till 2, medelvärdet är 1, och roten är 1, så divisionen lämnar [1, 1]. Med γ = [2, 3] blir den raden [2, 3].
En residualaddition skriver tillbaka inraden på den uppdaterade raden, post för post. Börja med u = [0, 4], kör RMSNorm med γ = [1, 1], och få [0, 1,414]. Summan är [0, 5,414]. Fyran från inraden ligger fortfarande i summan. På uppmärksamhetssidan kräver samma addition att bredderna stämmer, så de kausala utvärdena 2 och 7,286 med bredd 1 är en egen kolumn. De adderas bara till en värdekolumn med höjd 2, till exempel [2, 7,286] plus [1, 1] lika med [3, 8,286]. Additionen använder ingen produkt och ingen mask. Den ligger efter den maskade blandningen, och den tidigare token bär fortfarande bara sitt eget värde in i den blandningen.
Från tre rader till två kausala utvärden
Räkna materialet en gång till. Rad A a a b · ger aa, ab, b·. Rad B ger samma tre. Rad C a b · ger ab, b·. Summor: aa = 2, ab = 3, b· = 3. Den alfabetiska likheten väljer ab. Raderna blir a ab ·, a ab · och ab ·. Nästa summor är 2 för a+ab och 3 för ab+·, så andra mergen är ab·. Raderna blir a ab·, a ab· och ab·. Sista summan är 2 för a+ab·, så tredje mergen är aab·. Koda a a b · med den listan och du har en token, aab·, id 5, raden [3, 1]. Koda a a a b · och du har två token, a och aab·, id 0 och 5, raderna [[1, 0], [3, 1]].
För poängen, ta token a och ab·. Deras rader ur tabellen är [1, 0] och [0, 1], så X = [[1, 0], [0, 1]]. Med W_Q = [[1], [2]], W_K = [[0], [1]] och W_V = [[2], [8]] blir produkterna Q = [[1], [2]], K = [[0], [1]] och V = [[2], [8]]. Poängen är [[0, 1], [0, 2]]. Rad 0 använder massorna 1 och 2,718, summan 3,718, vikterna 0,269 och 0,731, omaskerat utvärde 0,269 gånger 2 plus 0,731 gånger 8 = 6,386. Rad 1 använder massorna 1 och 7,389, summan 8,389, vikterna 0,119 och 0,881, utvärde 0,119 gånger 2 plus 0,881 gånger 8 = 7,286.
Den kausala regeln sätter -10 upphöjt till 9 i den framtida rutan på rad 0, vilket ger vikten 0 både på papper och i float32. Token 0 ger då utvärdet 2. Token 1 ger fortfarande 7,286. Om 8 byts mot 80 stannar det kausala utvärdet för token 0 på 2, medan det omaskerade utvärdet för token 0 flyttar till 59,018. Separat ger innehållsfrågan [3, 1] och innehållsnyckeln [1, 2] poängen 5 när båda står på plats 0. Med enbart nyckeln på plats 1 är poängen -5, och med frågan på plats 1 och nyckeln på plats 2 är poängen åter -5. Båda på plats 1 ger poängen 5.
Stäng blocket på en rad med bredd 2 som aldrig ingick i uppmärksamhetsprodukten. RMSNorm på [0, 4] delar med 2,828 och ger [0, 1,414]. Skalan [1, 1] lämnar den raden, och residualadditionen ger [0, 5,414]. Samma fem skrivna rader, mergar, talrader, tre produkter, en maskad softmax och residualadditionen, räcker för att fylla ett framåtsteg för hand.
Tre delningar och en poäng på papper
Med samma tre träningsrader, samma regel vid lika summa och samma tre mergar, skriv token, id och de staplade raderna för den nya raden b a ·. Skriv sedan token för b a b ·. Med det genomräknade X, W_Q, W_K, W_V och de angivna exponentialerna, skriv det kausala utvärdet för token 0 och för token 1, och skriv det omaskerade utvärdet för token 0 efter att det senare värdet ändras från 8 till 80. Ta till sist innehållsfrågan [2, 0] och innehållsnyckeln [0, 5]. Skriv poängen med båda på plats 0, poängen med bara nyckeln på plats 1, och poängen med båda på plats 1. Dela också raden [1, 1] med dess kvadratmedelrotsvärde och använd sedan γ = [2, 3].
Raden b a · innehåller inget av de hopslagna paren, så token är b, a och ·, id är 1, 0 och 2, och raderna är [4, 1], [1, 0] och [1, 3]. Raden b a b · innehåller paret a b. Första mergen skriver b ab ·, andra mergen skriver b ab·, och den tredje hittar inget a framför ab·. Token är b och ab·, id är 1 och 4, och raderna är [4, 1] och [0, 1]. De kausala utvärdena är 2 och 7,286. När det senare värdet blir 80 är det omaskerade utvärdet för token 0 lika med 59,018, och det kausala utvärdet för token 0 stannar på 2. De tre poängen är 0, -10 och 0. Raden [1, 1] har kvadratmedelrotsvärde 1, och γ = [2, 3] skickar den till [2, 3].
Kontrollfrågor
I den första parräkningen, vilka summor har aa, ab och b·, och vilket par mergas först?
Summorna är 2, 3 och 3. Regeln vid lika summa mergar ab först.
Hur många token blir raden a a a b · med de tre sparade mergarna, och vilka är de token?
Två token: a och aab·.
När V är 2 och sedan 8, vad är det kausala utvärdet för token 0, och vad är det kausala utvärdet efter att det senare värdet ändras från 8 till 80?
Det är 2, och det stannar på 2. Det omaskerade utvärdet flyttar till 59,018, medan masken håller det första utvärdet på 2.
För innehållsfrågan [3, 1] och innehållsnyckeln [1, 2], vilken poäng ger båda på plats 0, och vilken poäng ger frågan på plats 1 och nyckeln på plats 2?
5 när båda står på plats 0, och -5 när frågan står på plats 1 och nyckeln på plats 2.
En sparad mergelista delar en rad i id, en tabell gör varje id till en talrad, kausal skalad uppmärksamhet blandar en token bara med dess eget värde och tidigare värden, och ett gemensamt kvartsvarv på ett par lämnar skalärprodukten oförändrad.
Slutuppgift
Lämna in bpe.py och transformer.py som testas av 35 fasta enhetstester som verifierar: exakt reproduktion av BPE-merge, noll läckage av framtida token genom kausal mask, exakt tensormatchning mot referensvikter (< 1e-5) och identiska logits med och utan KV-cache aktiverad.
Begrepp i kursen
Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.
Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan