Linjär algebra, sannolikhet och gradient descent i kod
Efteråt kan du räkna poäng på en kort lapp med en skalärprodukt, multiplicera en viktmatris med en egenskapsvektor, lägga till ett L2-straff från vikternas kvadrerade längd, och göra om två poäng till en cross-entropy-förlust plus en gradient via kedjeregeln.
- Nivå
- Navigatör
- Tid
- 28 h

Hoppa till
Efter kursen kan du
Eleven kan implementera automatisk differentiering i reverse-mode, cross-entropy-förlust och AdamW-optimeraren från grunden i ren NumPy vars analytiska gradienter matchar numeriska finita differenser inom < 1e-6.
Vektorer och skalärprodukten
En vektor är en ordnad lista tal. I den här lektionen bär en egenskapsvektor tre räkningar från en kort lapp: hur många gånger ordet refund förekommer, hur många gånger ordet thanks förekommer, och hur många token lappen innehåller. Lappen refund thanks har räkningarna 1, 1 och 2, så vektorn är [1, 1, 2]. En viktvektor har ett tal per egenskap, i samma ordning. Fakturaradens vikter [2, -1, 0] betyder att refund höjer fakturapoängen, thanks sänker den, och antalet token lämnar poängen orörd.
Skalärprodukten (dot product) multiplicerar tal som står på samma plats och adderar produkterna. För [2, -1, 0] och [1, 1, 2] blir produkterna 2, -1 och 0, och summan blir 1. Byter du plats på vektorerna är summan fortfarande 1. Bias är ett extra tal som läggs på efter skalärprodukten. Med bias -1 blir fakturapoängen 1 + (-1) = 0. Produkten saknar värde när listorna är olika långa, eftersom ett tal då står utan motpart. När du kodar poängen skriver du w · x + b: en multiplikation per egenskap, sedan en addition av bias.
Rader, kolumner och produkten
En matris lagrar en viktrad per klass. Med faktura på rad 0 och hälsning på rad 1 är viktmatrisen [[2, -1, 0], [0, 2, -1]] och biasvektorn [-1, 1]. Matris-vektor-produkten kör skalärprodukten en gång per rad. Rad 0 med [1, 1, 2] ger 1, och bias -1 tar fakturapoängen till 0. Rad 1 ger 0·1 + 2·1 + (-1)·2 = 0, och bias 1 tar hälsningspoängen till 1. Poängvektorn är [0, 1]. Formkollen gäller den inre längden: en matris 2 gånger 3 möter en vektor av längd 3 och lämnar en vektor av längd 2.
Produkten av två matriser använder samma rad mot kolumn. Ta A = [[1, 2], [0, -1]] och B = [[3, 1], [4, 2]]. Övre vänstra talet är raden [1, 2] i skalärprodukt med kolumnen [3, 4], alltså 3 + 8 = 11. Övre högra talet är [1, 2] mot [1, 2], alltså 1 + 4 = 5. Nedre raden [0, -1] ger -4 och -2. Därmed är AB = [[11, 5], [-4, -2]]. BA = [[3, 5], [4, 6]]. Produkterna har samma form och olika tal, så ordningen hör till räkningen. I kod måste de inre måtten stämma. En matris 2 gånger 2 gånger en matris 2 gånger 2 är definierad. En matris 2 gånger 3 gånger en matris 2 gånger 2 har ingen produkt, eftersom 3 missar 2.
Längd och L2-straffet
L2-normen är vektorns längd längs en rät linje. För [3, 4] är kvadraterna 9 och 16, kvadratsumman är 25, och längden är roten ur 25, alltså 5. Delar du varje tal med den längden får du enhetsvektorn [0,6, 0,8], och 0,6 i kvadrat plus 0,8 i kvadrat blir 1. Den kvadrerade längden är skalärprodukten av vektorn med sig själv. Skalning med -2 skickar [3, 4] till [-6, -8]. Kvadraterna är 36 och 64, summan är 100, och längden är 10, alltså 2 gånger 5. Tecknet på skalfaktorn faller bort, eftersom varje tal kvadreras före roten. L1-normen adderar absolutbelopp i stället. För fakturavikterna [2, -1, 0] är L1-normen 2 + 1 + 0 = 3.
Ett L2-straff tar betalt för vikternas kvadrerade längd och läggs på dataförlusten. För [2, -1, 0] är kvadraterna 4, 1 och 0, så den kvadrerade längden är 5. Med den angivna roten är roten ur 5 lika med 2,236, och det är L2-normen för de vikterna. Straffet i lektionen är (λ / 2) gånger den kvadrerade längden. Vid λ = 0,1 är λ / 2 lika med 0,05, och 0,05 gånger 5 är 0,25. Ett större λ gör att samma kvadrerade längd kostar mer, så draget mot noll på den raden blir starkare. Hälsningsraden [0, 2, -1] har kvadraterna 0, 4 och 1, så dess kvadrerade längd är också 5 och dess straff vid λ = 0,1 är också 0,25. Båda raderna tillsammans kostar 0,25 + 0,25 = 0,50.
Från poäng till cross-entropy
Softmax gör poäng till sannolikheter som summerar till 1. Exponentialfunktion på varje poäng, sedan division med summan av de värdena. Använd de avrundade värdena e upphöjt till 0 är 1, och e upphöjt till 1 är 2,718. För poängen [0, 1] är summan 3,718. Då avrundas 1 / 3,718 till 0,269, och 2,718 / 3,718 avrundas till 0,731. De två avrundade sannolikheterna blir 1,000 tillsammans. Samma konstant tillagd på varje poäng lämnar sannolikheterna oförändrade, eftersom faktorn e upphöjt till c sitter i varje massa och tar ut sig i divisionen. Poängen [1, 2] är de gamla poängen plus 1. Med e upphöjt till 2 lika med 7,389 är massorna 2,718 och 7,389, och summan är 10,107. Då avrundas 2,718 / 10,107 till 0,269, och 7,389 / 10,107 avrundas till 0,731. De visade sannolikheterna stämmer överens.
En one-hot-etikett har 1 på rätt klass och 0 på de andra. Cross-entropy, förlusten minus den naturliga logaritmen av rätt sannolikhet, blir då just det talet. Använd ln 2 = 0,693 och ln 3 = 1,099. Massorna 1 och 3 har summan 4, så sannolikheterna är 0,25 och 0,75. När rätt klass är den andra blir ln(0,75) = ln 3 minus ln 4 = ln 3 minus 2 ln 2 = 1,099 - 1,386 = -0,287, och förlusten är 0,287. När rätt klass är den första är förlusten ln 4 = 1,386. En räknare ger ln(0,269) = -1,313 och ln(0,731) = -0,313. En fakturaetikett på sannolikheterna 0,269 och 0,731 har alltså förlusten 1,313, och en hälsningsetikett har förlusten 0,313. Kalla exponentialen av en enlappsförlust för spridningen. Den är 1 delat med den rätta sannolikheten. Rätt sannolikhet 1/4 har spridning 4, samma osäkerhet som en jämn dragning över 4 etiketter. För två lappar med rätta sannolikheter 1/2 och 1/4 är förlusterna ln 2 och ln 4. Medelvärdet är 1,5 gånger 0,693 = 1,0395, som avrundas till 1,040. Spridningen av det medelvärdet är det geometriska medelvärdet av enlappspridningarna 2 och 4, alltså roten ur 8. Med roten ur 2 lika med 1,414 är två gånger 1,414 lika med 2,828.
Ett steg med kedjeregeln
Kedjeregeln (chain rule) multiplicerar lokala lutningar. Ta en vikt w = 3, en egenskap x = 2 och en målpoäng 5. Poängen är s = w gånger x = 6. Förlusten är L = (s - 5) i kvadrat = 1. Lutningen av L med avseende på s är 2 gånger (s - 5) = 2. Lutningen av s med avseende på w är x = 2. Produkten av lutningarna är 4, och den produkten är lutningen av L med avseende på w. En liten kontroll använder w = 3,001. Då är s = 6,002 och skillnaden s - 5 är 1,002, så L = 1,002 i kvadrat = 1,004004. Differenskvoten är (1,004004 - 1) / 0,001 = 4,004. De extra 0,004 är kvadratens böjning över steget 0,001. Lutningen 4 är det värde kvoten närmar sig när steget krymper.
Efter softmax är lutningen av cross-entropy med avseende på varje poäng lika med sannolikheten minus etiketttalet. För sannolikheterna 0,25 och 0,75 och en etikett på den andra klassen är etikettvektorn [0, 1], så poänggradienten är [0,25, -0,25]. Vid oavgjort ger poängen [0, 0] sannolikheterna [0,5, 0,5]. En etikett på den första klassen ger poänggradienten [-0,5, 0,5]. En räknare ger förlusten 0,693147 vid de oavgjorda poängen och förlusten 0,692647 när 0,001 lagts på den första poängen. Av de visade förlusterna blir differenskvoten (0,692647 - 0,693147) / 0,001 = -0,500, samma tal som gradientens första post. Varje poänggradient multipliceras sedan med egenskapsvektorn för att nå vikterna. Lutningen av straffet (λ / 2) gånger den kvadrerade längden, med avseende på en vikt, är λ gånger den vikten. Vikterna ligger stilla medan du räknar lutningen. En senare uppdatering skulle dra ifrån en steglängd gånger gradienten från varje vikt. Den subtraktionen är en egen rad, skild från själva lutningen.
En lapp, från räkningar till viktlutningar
Ta lappen refund thanks, med egenskapsvektorn x = [1, 1, 2]. Fakturaraden är [2, -1, 0] med bias -1. Produkterna är 2, -1 och 0, skalärprodukten är 1, och fakturapoängen är 0. Hälsningsraden är [0, 2, -1] med bias 1. Produkterna är 0, 2 och -2, skalärprodukten är 0, och hälsningspoängen är 1. I matrisform ger viktmatrisen gånger x, plus biasvektorn [-1, 1], poängvektorn [0, 1].
Använd e upphöjt till 0 är 1 och e upphöjt till 1 är 2,718. Massorna summerar till 3,718. Fakturasannolikheten avrundas till 0,269 och hälsningssannolikheten avrundas till 0,731. Etiketten är faktura, så one-hot-vektorn är [1, 0]. En räknare ger ln(0,269) = -1,313, och cross-entropy är 1,313. Varje viktrad har kvadrerad längd 5. Vid λ = 0,1 betalar varje rad straffet 0,25, och de två raderna betalar 0,50 tillsammans. Totalen är 1,313 + 0,50 = 1,813.
Poänggradienten är sannolikhet minus etikett: [0,269 - 1, 0,731 - 0] = [-0,731, 0,731]. Faktura-bias har lutningen -0,731, eftersom bias går in i poängen med lutning 1. Hälsnings-bias har lutningen 0,731. Multiplicera fakturans poänglutning med x för att nå fakturavikterna: -0,731 gånger [1, 1, 2] blir [-0,731, -0,731, -1,462]. Straffet lägger till λ gånger viktraden. För faktura är det tillägget 0,1 gånger [2, -1, 0] = [0,2, -0,1, 0]. Post för post blir -0,731 + 0,2 = -0,531, -0,731 + (-0,1) = -0,831, och -1,462 + 0 = -1,462. Hela fakturagradienten är [-0,531, -0,831, -1,462].
Hälsningens datagradient är 0,731 gånger [1, 1, 2] = [0,731, 0,731, 1,462]. Strafftillägget är 0,1 gånger [0, 2, -1] = [0, 0,2, -0,1]. Post för post blir 0,731 + 0 = 0,731, 0,731 + 0,2 = 0,931, och 1,462 + (-0,1) = 1,362. Hela hälsningsgradienten är [0,731, 0,931, 1,362]. Samma fyra rader, en matris-vektor-produkt, en softmax, en negativ logaritm och ett kedjeregelpass, räcker för att fylla en gradient för hand innan någon träningsslinga kör.
Kör en andra lapp på papper
Använd x = [2, 0, 1], fakturaraden [1, 4, -2] med bias 1, och hälsningsraden [0, -1, 3] med bias -1. Skriv båda poängen. Med e upphöjt till 1 lika med 2,718 och e upphöjt till 2 lika med 7,389, skriv båda sannolikheterna avrundade till tre decimaler. Etiketten är hälsning. Skriv cross-entropy från den angivna logaritmen ln(0,731) = -0,313. Ta ett L2-straff bara på fakturaraden, med λ = 0,02, och lägg det på förlusten. Skriv sedan poänggradienten, fakturans datagradient, fakturans straffgradient och hela fakturagradienten. Multiplicera också C = [[1, 0], [2, 1]] med D = [[4, -1], [0, 3]]. För sig: w = 1, x = 4 och målpoäng 3. Poängen är w gånger x, förlusten är kvadraten av poäng minus 3, och du ska ha lutningen med avseende på w samt differenskvoten vid w = 1,001.
Poängen är 1 och 2. Massorna 2,718 och 7,389 summerar till 10,107, och sannolikheterna avrundas till 0,269 och 0,731. Hälsningsförlusten är 0,313. Fakturans kvadrater är 1, 16 och 4, så den kvadrerade längden är 21. Straffet är 0,01 gånger 21 = 0,21, och totalförlusten är 0,313 + 0,21 = 0,523. Poänggradienten är [0,269, -0,269]. Fakturans datagradient är 0,269 gånger [2, 0, 1] = [0,538, 0, 0,269]. Straffgradienten är 0,02 gånger [1, 4, -2] = [0,02, 0,08, -0,04]. Hela fakturagradienten är [0,558, 0,08, 0,229]. Produkten CD är [[4, -1], [8, 1]]. I skalarfallet är poängen 4 och förlusten 1. Lutningen är 2 gånger 4 = 8. Vid w = 1,001 är poängen 4,004, förlusten är 1,004 i kvadrat = 1,008016, och differenskvoten är 8,016.
Kontrollfrågor
För lappen refund thanks, med fakturavikterna [2, -1, 0] och bias -1, vad blir fakturapoängen?
0. Produkterna är 2, -1 och 0, summan är 1, och bias drar bort 1.
Med e upphöjt till 0 = 1, e upphöjt till 1 = 2,718 och e upphöjt till 2 = 7,389, vilka sannolikheter avrundade till tre decimaler delar poängen [0, 1] och poängen [1, 2]?
Båda paren avrundas till 0,269 och 0,731. Att lägga 1 på båda poängen lämnar de visade sannolikheterna oförändrade.
På den genomräknade lappen har fakturaetiketten cross-entropy 1,313, och var och en av de två raderna betalar L2-straffet 0,25. Vad blir totalen, och vad blir hela fakturaviktens gradient?
Totalen är 1,813. Hela fakturagradienten är [-0,531, -0,831, -1,462].
För sannolikheterna 0,25 och 0,75 med etiketten på den andra klassen, vad blir cross-entropy med ln 2 = 0,693 och ln 3 = 1,099, och vad blir poänggradienten?
Förlusten är 0,287. Poänggradienten är [0,25, -0,25].
En linjär poängräknare är en matris-vektor-produkt plus ett bias. Softmax gör poängen till sannolikheter, cross-entropy läser den rätta sannolikheten, och kedjeregeln bär sannolikhet minus etikett tillbaka till varje vikt, med λ gånger vikten tillagd när ett L2-straff är på.
Slutuppgift
Lämna in en modul för autograd och optimerare i ren NumPy (micrograd_np.py) som klarar 30 fasta enhetstester som jämför forward-utdata, backward-gradienter och AdamW-viktuppdateringar mot referenstensorer inom toleransen 1e-6.
Begrepp i kursen
Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.
Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan