RLHF, DPO och mekanistisk tolkbarhet
Efteråt kan du maska en övervakad förlust med fyra platser så att bara svarsetiketterna räknas, göra om belöningsgapet ln(3) till en preferenssannolikhet, räkna en DPO-förlust för ett par och dess två gradienter på loggsannolikheten, och klistra in ett uppmärksamhetshuvuds utskrift för att mäta hur stor del av ett logitgap det återställer.
- Nivå
- Navigatör
- Tid
- 28 h
- Förkunskap
- R09-201

Hoppa till
Efter kursen kan du
Eleven kan implementera den exakta DPO-förlustfunktionen och en activation-patching-hook i PyTorch som förskjuter preferenssannolikheter på en toy-modell och isolerar det utpekade attention head som ansvarar för ett seedat circuit-beteende.
En mask på svarsetiketterna
Övervakad finjustering, Supervised Fine-Tuning (SFT), behåller den cross-entropy för nästa token som du redan räknar från en poäng och en softmax. Det nya är en mask som ligger i linje med etiketterna. Prompten är texten som redan står i frågan. Svaret är texten som viktuppdateringen ska följa. I den här lektionen är maskvärdet 1 när etiketten är en svarstoken och 0 när etiketten är en prompttoken. Radens förlust är summan av varje plats förlust gånger dess maskvärde, delad med summan av masken. Framåtpasset förutsäger fortfarande varje nästa token. Masken avgör vilka av de förlusterna som kommer med i medelvärdet. Ett vanligt biblioteksval gör samma sak genom att skriva ignore index -100 på varje etikett som ska hoppas över. PyTorchs cross-entropy hoppar över varje -100 och tar medelvärdet av de etiketter som är kvar.
Ta fem token, Q, 2, +, 4 och E, med id 10, 11, 12, 13 och 14, och med rollerna prompt, prompt, prompt, svar, svar. Platsen vid position i förutsäger token vid position i+1, så de fyra etiketterna är 11, 12, 13 och 14, för token 2, +, 4 och E. Deras roller är prompt, prompt, svar, svar, och etikettmasken är 0, 0, 1, 1. Lagrade etiketter blir då -100, -100, 13, 14. Använd de fyra förlusterna 1,0, 0,6, 0,8 och 0,4. Var och en är redan lika med minus loggen av den rätta token. Den maskade summan är 0,8 + 0,4 = 1,2. Masksumman är 2. Radens förlust är 1,2 / 2 = 0,6. Medelvärdet utan mask av samma fyra förluster är (1,0 + 0,6 + 0,8 + 0,4) / 4 = 2,8 / 4 = 0,7. Delar du den maskade summan med alla fyra platser får du 1,2 / 4 = 0,3. Lektionens regel delar med antalet ettor, eftersom det är medelvärdet över de etiketter som faktiskt poängsätts.
Masken följer etiketten, den token som förutsägs. Position 2 håller +, en prompttoken, och etiketten på den platsen är 4, den första svarstoken, så maskvärdet är 1 och förlusten 0,8 stannar i summan. En mask kopierad från de fem in-rollerna är 0, 0, 0, 1, 1. De fyra första av de värdena är 0, 0, 0, 1. Gånger 1,0, 0,6, 0,8 och 0,4 behåller den avskurna masken bara 0,4, och dess medelvärde är 0,4. Förlusten 0,8 på den första svarstoken har fallit bort. Felet är steget mellan in-rollen vid position i och etikettrollen vid position i+1. Klistra in de fyra förlusterna och masken 0, 0, 1, 1 i chattrutan, och behåll svaret bara när medelvärdet är 0,6.
Två poäng och en preferenssannolikhet
En reward model, en belöningsmodell, läser en prompt och en fortsättning och skriver ut en enda poäng. Ett preferenspar har två fortsättningar på samma prompt: y_w, den fortsättning en person valde, och y_l, den fortsättning personen lade åt sidan. Bradley-Terry-modellen gör poänggapet till en sannolikhet. Med sigmoiden σ(z) = 1 / (1 + e upphöjt till -z) är sannolikheten att y_w föredras lika med σ(r_w - r_l). Parförlusten är minus loggen av den sannolikheten, vilket är ln(1 + e upphöjt till -(r_w - r_l)).
Sätt r_w = ln(3) och r_l = 0. Gapet är ln(3). Då är e upphöjt till -ln(3) lika med 1/3, och σ(ln(3)) = 1 / (1 + 1/3) = 3/4. Parförlusten är -ln(3/4) = ln(4/3), som avrundas till 0,288 på tre decimaler. Ett andra par med r_w = 1 och r_l = 1 har gap 0, sannolikhet 1/2 och förlust ln(2), som avrundas till 0,693. Lika poäng ger en större förlust än gapet ln(3). Ett träningssteg på den här förlusten höjer den valda poängen i förhållande till den bortvalda.
Reward hacking syns när poängen som träningen följer kan stiga medan en separat kontroll stannar på 0. Kontrollen här ger 1 bara när svaret är exakt den enda token 4, och ger 0 i varje annat fall. Proxyn börjar på 0, lägger till 1 när tecknet 4 finns minst en gång, och lägger till 0,2 för varje token efter den första. Svar A är den enda token 4. Kontrollen ger 1. Proxyn ger 1 + 0,2 × 0 = 1. Svar B är fem token, 4 4 4 4 4. Kontrollen ger 0, eftersom svaret är längre än en token. Proxyn ger 1 + 0,2 × 4 = 1,8. Proxyn rangordnar B före A, och kontrollen rangordnar A före B. De extra 0,8 betalar för fyra upprepade token. Ett steg som klättrar på proxyn kan ta de 0,8 och lämna det exakta svar som består av en token.
DPO-förlusten på ett par
Direct Preference Optimization (DPO) skriver en preferensförlust på policyns egna loggsannolikheter för hela svaret. En fryst referens, skriven π_ref, håller loggsannolikheterna från före den här preferensuppdateringen, ofta loggsannolikheterna hos SFT-vikterna. Loggsannolikheten för svaret är summan av tokenloggarna på svarsplatserna. Promptplatserna står utanför, av samma skäl som SFT-masken nollar dem. För ett par är marginalen u = (log π_θ(y_w|x) - log π_ref(y_w|x)) - (log π_θ(y_l|x) - log π_ref(y_l|x)). Med en positiv koefficient β sätter du z = β u och tar förlusten L = -ln σ(z). I Bradley-Terry-modellen med ett straff som håller policyn nära referensen är promptens gemensamma partitionsterm densamma för båda fortsättningarna, så den tar ut sig i gapet. Gapet som blir kvar är z. Paret poängsätts då från policyn och den frysta referensen.
Använd β = 1, log π_θ(y_w|x) = -1, log π_ref(y_w|x) = -1, log π_θ(y_l|x) = -1 - ln(3) och log π_ref(y_l|x) = -1. Vinnarens skillnad mot referensen är 0. Förlorarens skillnad mot referensen är -ln(3). Då är u = 0 - (-ln(3)) = ln(3), och z = ln(3). Sannolikheten σ(z) är 3/4, och L = ln(4/3), samma 0,288 som för belöningsgapet ln(3). Referensloggarna hålls fasta. Partialderivatan av L med avseende på log π_θ(y_w|x) är -β × (1 - σ(z)). Här är 1 - 3/4 = 1/4, och σ(-ln(3)) = 1 / (1 + 3) = 1/4, samma vikt. Vinnarens partial är -1 × 1/4 = -0,25. Förlorarens partial är +0,25. Gradientsteg med steglängd 0,1 drar bort 0,1 gånger partialen. Vinnaren ändras med -0,1 × -0,25 = +0,025, från -1 till -0,975. Förloraren ändras med -0,025, från -1 - ln(3) till -1 - ln(3) - 0,025. Den nya marginalen är ln(3) + 0,05.
Samma u med β = 2 ger z = 2 ln(3) = ln(9). Då är e upphöjt till -z lika med 1/9, σ(z) = 9/10, och förlusten är ln(10/9), som avrundas till 0,105. Faktorn 1 - σ(z) är 1/10, så de två partialerna är -2 × 0,1 = -0,2 och +0,2. De är mindre till beloppet än -0,25 och +0,25, eftersom sigmoiden gick från 3/4 till 9/10 och den kvarvarande vikten krympte mer än den extra faktorn β lade tillbaka. I den här preferensuppställningen tränar proximal policy optimization (PPO) mot en särskild belöningsmodell och klipper sannolikhetskvoten mellan den nya policyn och den gamla. Advantage är talet som säger hur långt en fortsättnings belöning ligger över en baslinje. Med klippbredd ε = 0,2, kvot 1,5 och advantage 2 är den oklippta produkten 1,5 × 2 = 3. Klippet stannar kvoten vid 1 + 0,2 = 1,2, och 1,2 × 2 = 2,4. Den klippta målfunktionen använder det mindre av 3 och 2,4, alltså 2,4, eftersom advantage är positiv. DPO-paret ovan bär partialerna -0,25 och +0,25. Det paret har en fryst referens inuti marginalen, och PPO-talen här är ett separat klipp på en kvot.
Byt ett huvud och läs logiten
Activation patching kör två framåtpass och kopierar sedan en inre utskrift från den rena körningen in i den förstörda. Den rena prompten är 2+2. Den förstörda prompten byter den andra 2:an mot 3, och logiten för svartoken 4 sjunker. Logit betyder här poängen för token 4 före softmax. Leksaken har bredd 1, så ett attention head, ett huvud inne i attention-blocket, skriver ett enda tal som läggs till en residual som också är ett tal. Den fasta avläsningsvikten är 1/2, och logiten är den vikten gånger residualen efter huvudet. Varje utskrift före det valda huvudet är likadan i de två körningarna. Det är leksakens uppställning, så gapet sitter i det här huvudets utskrift. Residual före huvudet: 2. Ren huvudutskrift: 4. Förstörd huvudutskrift: -1.
Den rena residualen efter huvudet är 2 + 4 = 6, och den rena logiten är 0,5 × 6 = 3. Den förstörda residualen är 2 + (-1) = 1, och den förstörda logiten är 0,5 × 1 = 0,5. Gapet är 3 - 0,5 = 2,5. Klistra in den rena huvudutskriften i den förstörda körningen: byt -1 mot 4 och lämna residualen före huvudet på 2. Den patchade residualen är 6, och den patchade logiten är 3. Det återställda beloppet är 3 - 0,5 = 2,5. Andelen av gapet är 2,5 / 2,5 = 1. Ett kontrollhuvud som skriver 0 i den rena körningen och 0 i den förstörda ändrar ingenting när du kopierar det. Den förstörda logiten stannar på 0,5, det återställda beloppet är 0, och andelen är 0. Att inspektera huvudena betyder att räkna den andelen ett huvud i taget, med varje annat huvud kvar på sin förstörda utskrift. Huvudet med andelen 1 bär hela gapet i den här leksaken. Huvudet med andelen 0 bär en nollandel av det.
En linear probe, en linjär avläsare, läser residualen och förutsäger en etikett. På de här två punkterna är residualen efter huvudet 6 i den rena körningen och 1 i den förstörda, med etiketterna ja och nej. Mittpunkten mellan 6 och 1 är 3,5. Poängen residual minus 3,5 är 2,5 på den rena punkten och -2,5 på den förstörda. En positiv poäng svarar ja. Båda punkterna hamnar på den sida av 0 som matchar etiketten, så avläsaren har rätt på 2 av 2 punkter. En regel som alltid svarar ja har rätt på 1 av 2. Avläsaren lägger ett snitt mellan de två residualerna. Patchen är skrivningen som flyttar den förstörda logiten från 0,5 till 3.
En prompt, från masken till patchen
Börja med de fem token med id 10, 11, 12, 13, 14. De fyra etiketterna är 11, 12, 13, 14, och svarsmasken gör dem till -100, -100, 13, 14. Förlusterna 1,0, 0,6, 0,8, 0,4 ger då den maskade summan 1,2, maskantalet 2 och radförlusten 0,6. Medelvärdet utan mask är 0,7. Den avskurna in-masken 0, 0, 0, 1 behåller bara 0,4. På samma prompt ger belöningspoängen ln(3) och 0 gapet ln(3), preferenssannolikheten 3/4 och parförlusten ln(4/3), som avrundas till 0,288. Lika poäng 1 och 1 ger förlusten ln(2), som avrundas till 0,693. Svar A, den enda token 4, får 1 på kontrollen och 1 på proxyn. Svar B, fem 4:or, får 0 på kontrollen och 1,8 på proxyn.
För DPO är β = 1 och de fyra svarsloggarna -1, -1, -1 - ln(3) och -1, i ordningen policy-vinnare, referens-vinnare, policy-förlorare, referens-förlorare. Marginalen u är ln(3), σ(u) är 3/4, och förlusten är ln(4/3) igen. Partialerna är -0,25 och +0,25. Ett gradientsteg på 0,1 flyttar vinnarens loggsannolikhet från -1 till -0,975 och förlorarens från -1 - ln(3) till -1 - ln(3) - 0,025, och marginalen växer från ln(3) till ln(3) + 0,05. Med β = 2 ger samma u σ = 9/10, förlusten ln(10/9) som avrundas till 0,105, och partialerna -0,2 och +0,2. Vid sidan av det bidrar en PPO-kvot på 1,5 med advantage 2 och klippbredd 0,2 med 2,4 efter klippet, medan den oklippta produkten är 3.
I patchen med bredd 1 är residualen före huvudet 2, det rena huvudet skriver 4 och det förstörda huvudet skriver -1. Logiterna är 3 och 0,5. Att kopiera 4 in i den förstörda körningen återställer logiten 3, alltså hela gapet, andelen 1. Att kopiera kontrollhuvudets 0 lämnar logiten på 0,5, andelen 0. Avläsarens poäng är 6 - 3,5 = 2,5 och 1 - 3,5 = -2,5, så båda punkterna hamnar på rätt sida av 0. De fyra resultat du kan kontrollera i chattrutan är det maskade medelvärdet 0,6, preferenssannolikheten 3/4, DPO-partialerna -0,25 och +0,25, och den patchade logiten 3.
En andra rad på papper
Använd samma form med fem token, roller prompt, prompt, prompt, svar, svar, och samma fyra etikettplatser. Ta förlusterna 0,3, 0,9, 1,1 och 0,5. Skriv etikettmasken, det maskade medelvärdet, medelvärdet utan mask, och medelvärdet från den avskurna in-masken 0, 0, 0, 1. Sätt belöningspoängen till ln(4) och 0. Skriv preferenssannolikheten och parförlusten avrundad till tre decimaler. Med samma kontroll och samma proxy, poängsätt svar C, den enda token 4, och svar D, de tre token 4, 9, 9. För DPO, använd β = 1, policy- och referenslogg -2 på vinnaren, referenslogg -2 på förloraren, och policylogg -2 - ln(4) på förloraren. Skriv förlusten avrundad till tre decimaler och de två partialderivatorna. För patchen, sätt residualen före huvudet till 4, den rena huvudutskriften till 6, den förstörda huvudutskriften till 0 och avläsningen till 1/2. Skriv den rena logiten, den förstörda logiten, den patchade logiten och andelen. Från de två residualerna efter huvudet, skriv avläsarpoängen med mittpunkten mellan de residualerna.
Etikettmasken är 0, 0, 1, 1. Den maskade summan är 1,6 och det maskade medelvärdet är 0,8. Medelvärdet utan mask är 2,8 / 4 = 0,7. Den avskurna masken behåller 0,5, så det medelvärdet är 0,5. Gapet ln(4) ger sannolikheten 4/5 = 0,8 och förlusten ln(5/4), som avrundas till 0,223. Svar C får 1 på kontrollen och 1 på proxyn. Svar D får 0 på kontrollen och 1 + 0,2 × 2 = 1,4 på proxyn. DPO-marginalen är ln(4), förlusten avrundas till 0,223, och partialerna är -0,2 och +0,2. Den rena logiten är 5, den förstörda logiten är 2, den patchade logiten är 5, och andelen är 1. Residualerna efter huvudet är 10 och 4, mittpunkten är 7, och avläsarpoängen är 3 och -3.
Kontrollfrågor
För förlusterna 1,0, 0,6, 0,8 och 0,4, vad är det maskade medelvärdet med etikettmasken 0, 0, 1, 1, och vilket medelvärde ger den avskurna in-masken 0, 0, 0, 1?
0,6 med etikettmasken, och 0,4 med den avskurna in-masken. Den avskurna masken tappar 0,8 på den första svarstoken.
Med belöningspoängen ln(3) och 0, vad är Bradley-Terry-sannolikheten, och vad är parförlusten avrundad till tre decimaler?
Sannolikheten är 3/4. Parförlusten är ln(4/3), som avrundas till 0,288.
På det genomräknade DPO-paret med β = 1 och marginal ln(3), vilka är de två partialderivatorna av förlusten med avseende på policyns loggsannolikhet för vinnaren och för förloraren?
-0,25 för vinnaren och +0,25 för förloraren. Den gemensamma vikten är 1 - 3/4 = 1/4, och β är 1.
Den förstörda logiten börjar på 0,5. Vad blir den när den rena huvudutskriften 4 ersätter den förstörda huvudutskriften -1, och hur stor andel av gapet återställs?
Logiten blir 3, och andelen är 1. Kontrollhuvudet som skriver 0 i båda körningarna återställer andelen 0.
Det maskade medelvärdet poängsätter svarsetiketterna, ett Bradley-Terry-gap på ln(3) ger sannolikheten 3/4 och förlusten ln(4/3), DPO gör det gapet till partialerna -0,25 och +0,25 mot en fryst referens, och att kopiera den rena huvudutskriften flyttar leksakens logit från 0,5 till 3.
Slutuppgift
Lämna in dpo_loss.py och activation_patch.py som klarar 25 fasta enhetstester som verifierar exakt överensstämmelse för DPO-förlust/gradient mot referensekvationer och deterministisk identifiering av den seedade induction head i en fryst liten transformer.
Begrepp i kursen
Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.
Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan