Hoppa till innehållet
POLARISAI ACADEMY
R01-301 · Navigatör

Automatiserade evals och regressionstester

Efteråt kan du rätta 25 rader i ett golden dataset med ett exakt träffkrav, räkna hur ofta tre sneda granskare håller med det kravet på fyra par, räkna normalintervallet vid z=2 för träffsäkerhet 0,80 och 0,64, och ge loggarna för fee@2 och fee@3 en avslutskod.

Nivå
Navigatör
Tid
22 h (uppskattning)
Förkunskap
R01-201
Kurs 3 av 4
Hoppa till

Efter kursen kan du

Eleven kan bygga en automatiserad utvärderingshärva som upptäcker regressioner mellan promptversioner och blockerar varje kandidatprompt vars träffsäkerhet sjunker eller vars latens/kostnad överskrider fasta tröskelvärden.

Tjugofem rader och ett exakt träffkrav

Ett golden dataset är här en fil med 25 rader, numrerade 1 till 25. Varje rad har en anteckning och en gold-sträng, svaret som ska komma tillbaka. Härvan sparar kandidatens svar bredvid den strängen. Du rättar de sparade strängarna. När de två strängarna ligger fast ligger också träffbiten fast.

Normalisera båda strängarna på samma sätt. Ta bort mellanslag i båda ändar. Gör om varje bokstav till gemen. Dra ihop varje följd av mellanslag till ett enda. Assertionen exact_match, kontrollen som ger godkänt eller underkänt, blir godkänd när resultaten är samma sträng och underkänd när de skiljer sig. Träffar H är antalet rader som blir godkända. Träffsäkerhet A är H delat med 25. Gold-strängarna i filen är redan gemener med enkla mellanslag, och du kör ändå de tre stegen på båda sidor.

Pröva två svar mot gold-strängen 40. Svaret som har två mellanslag före 40 och två efter klipps till 40, och de senare stegen lämnar 40. exact_match blir godkänd. Svaret The Fee is 40, med två mellanslag mellan The och Fee, blir efter gemener och hopdragning the fee is 40. Det skiljer sig från 40, så exact_match blir underkänd. Ett längre svar kan se hjälpsamt ut och ändå falla. Träffbiten använder strängarna efter den här proceduren.

Loggen listar de id som faller, och du får tillbaka H genom subtraktion. fee@1 faller på id 3, 8, 14, 19 och 22. Det är 5 fall. H = 25 minus 5 = 20. A = 20/25 = 0,80. fee@2 faller på id 3, 5, 8, 11, 14, 16, 19, 22 och 24. Det är 9 fall. H = 25 minus 9 = 16. A = 16/25 = 0,64. De fyra id som fee@1 klarade och fee@2 fällde är 5, 11, 16 och 24. Varje id som fee@1 fällde är fortfarande ett fall hos fee@2. fee@3 faller på samma fem id som fee@1, så H = 20 och A = 0,80. Latens och kostnad är summor över samma 25 rader. fee@1 har latenssumman 10000 ms, så medelvärdet är 10000/25 = 400 ms, och kostnadssumman 50,00 ger medelvärdet 2,00. fee@2 har latenssumman 9000 ms, medel 360 ms, och kostnadssumman 40,00 ger medel 1,60. fee@3 har latenssumman 16000 ms, medel 640 ms, och kostnadssumman 62,50 ger medel 2,50.

Plats, längd och frasen

En model-grader är en andra språkmodell som pekar ut ett vinnande svar. Publicerade jämförelser av sådana granskare visar tre lutningar. Position bias, platsbias: svaret i lucka 1 vinner oftare. Verbosity bias, längdbias: det längre svaret vinner oftare. Self-preference, egenpreferens: ett svar som liknar granskarens eget sätt att skriva vinner oftare. De tre penn-granskarna nedan kopierar de lutningarna, och egenpreferensen kopieras med en fast fras, as an assistant. Grinden i härvan använder exact_match. Granskarna visar hur ett val kan flytta sig medan gold-strängen ligger kvar.

Fyra par använder ett kort svar S och ett långt svar L. Token är bitar delade vid mellanslag, och skiljetecken sitter kvar på sin bit. Par P1 har gold 40, S lika med 40 (exakt, 1 token) och L lika med the fee is 40 (4 token, inte exakt). Nyckelvinnaren är S. Par P2 har gold lund, S lika med lund (exakt, 1 token) och L lika med as an assistant the city is lund (7 token, inte exakt). Nyckelvinnaren är S. Par P3 har gold the fee is 40, S lika med 40 (1 token, inte exakt) och L lika med the fee is 40 (4 token, exakt). Nyckelvinnaren är L. Par P4 har gold 40, S lika med 41 (1 token, inte exakt) och L lika med the fee is 41 (4 token, inte exakt). Nyckeln är oavgjort, eftersom båda svaren faller på exact_match.

Ordningen SL lägger S i lucka 1. Ordningen LS lägger L i lucka 1. Platsgranskaren väljer lucka 1 i varje ordning och har inget oavgjort resultat. På P1 håller SL med och LS gör det motsatta. På P2 håller SL med och LS gör det motsatta. På P3 gör SL det motsatta och LS håller med. På P4 gör båda ordningarna det motsatta, eftersom nyckeln är oavgjort. Det är 3 överensstämmelser av 8 bedömningar: P1 med SL, P2 med SL och P3 med LS. På P2 i ordningen LS är lucka 1 det långa svaret, nyckelvinnaren är fortfarande S, och alla tre granskare väljer L, så 0 av 3 håller med i den ordningen.

Längdgranskaren väljer svaret med fler token, och den väljer oavgjort bara när tokenantalen är lika. Varje långt svar ovan är längre, så längdgranskaren väljer L på alla fyra par. L är nyckelvinnare bara på P3. P1, P2 och P4 går åt andra hållet. Överensstämmelser: 1 av 4. Egenpreferensgranskaren läser den normaliserade texten. Om exakt ett svar innehåller frasen as an assistant väljer den det svaret. Annars, om exakt ett svar klarar exact_match, väljer den det svaret. Annars väljer den oavgjort. P2 träffar första regeln och väljer L, mot nyckeln S. P1 väljer S och håller med. P3 väljer L och håller med. P4 väljer oavgjort och håller med. Överensstämmelser: 3 av 4, på P1, P3 och P4.

Intervallet och de tre grindarna

Normalapproximationen för en andel använder SE, roten ur A gånger (1 minus A) delat med n, där n = 25. Ett läroboksintervall multiplicerar SE med 1,96, det normalvärde som lämnar 5 procent av kurvan utanför de två svansarna. Den här lektionen multiplicerar med 2, så varje produkt går att kontrollera genom att kvadrera, och grinden läser de ändarna. Hamnar en ände under 0 byter du den mot 0. Hamnar en ände över 1 byter du den mot 1. För de två träffsäkerheterna nedan ligger båda ändarna redan mellan 0 och 1, så bytet ändrar ingenting.

För A = 0,80 är A gånger (1 minus A) = 0,80 gånger 0,20 = 0,16. Sedan är 0,16/25 = 0,0064, och roten ur 0,0064 är 0,08, eftersom 0,08 gånger 0,08 = 0,0064. Två gånger SE = 0,16. Lektionsintervallet går från 0,80 minus 0,16 = 0,64 till 0,80 plus 0,16 = 0,96. Med 1,96 är marginalen 1,96 gånger 0,08 = 0,1568, och den nedre änden är 0,80 minus 0,1568 = 0,6432. För A = 0,64 är 0,64 gånger 0,36 = 0,2304. Sedan är 0,2304/25 = 0,009216, och roten är 0,096, eftersom 0,096 gånger 0,096 = 0,009216. Två gånger SE = 0,192. Lektionsintervallet går från 0,640 minus 0,192 = 0,448 till 0,640 plus 0,192 = 0,832. Med 1,96 är marginalen 1,96 gånger 0,096 = 0,18816, och den nedre änden är 0,640 minus 0,18816 = 0,45184.

Grindfilen prompts/fee/gates.txt har tre rader, skrivna innan du öppnar en kandidatlogg: acc-lower 0,60, lat-max 500 och cost-max 3,00. G-acc blir godkänd när lektionens nedre ände är minst 0,60. G-lat blir godkänd när medellatensen är högst 500 ms. G-cost blir godkänd när medelkostnaden är högst 3,00. fee@1 har nedre ände 0,64, latens 400 och kostnad 2,00, så alla tre blir godkända. fee@2 har nedre ände 0,448, så G-acc faller, medan 360 och 1,60 skulle klara de andra två. fee@3 delar intervallet med fee@1, så G-acc blir godkänd, kostnad 2,50 blir godkänd, och latens 640 fäller G-lat. Produkterna n gånger A och n gånger (1 minus A) är 20 och 5 när A är 0,80, och 16 och 9 när A är 0,64. Lektionen räknar normalformeln som användbar när båda produkterna är minst 5, och båda de här loggarna klarar det.

En regressionsgrind i continuous integration kör den kontrollen på varje ny version. Continuous integration, löpande integration, betyder här att samma kommando körs på varje version innan någon uppdaterar pekaren. Kommandot är python3 eval_runner.py följt av ett /prompter-argument. Avslutskod 0 betyder att alla tre grindar blev godkända. Avslutskod 1 betyder att minst en grind föll. fee@2 och fee@3 får båda kod 1. Pekarfilen ligger kvar på det förra id:t.

Filer under prompts/ och raden /prompter

Versioner ligger under prompts/fee/. Filen prompts/fee/1.txt börjar med raden id: fee@1, sedan raden parent: none, sedan en tom rad, sedan kroppen. prompts/fee/2.txt har id: fee@2 och parent: fee@1. prompts/fee/3.txt har id: fee@3 och parent: fee@1. prompts/fee/CURRENT håller en rad, fee@1. Du kopierar ett nytt id till CURRENT först efter att det id:t har fått avslutskod 0.

Argumentet /prompter fee@2 delas vid @ i uppgiften fee och versionen 2. Sökvägen är prompts/fee/2.txt. Härvan öppnar den sökvägen och kräver att första raden är exakt id: fee@2. En fil vars första rad är id: fee@9 avslutas med kod 1 innan någon rad rättas, och H blir inte uträknat. Samma delning bygger prompts/fee/3.txt från /prompter fee@3, och prompts/fee/1.txt från /prompter fee@1.

Räkna kroppens token genom att dela vid mellanslag. Kroppen i fee@1 är fyra rader: Read the note. (3 token), Copy the fee digits. (4), Reply with the digits only. (5) och Stop. (1). Summan är 3 plus 4 plus 5 plus 1 = 13. fee@2 behåller rad 1, 2 och 4, och byter rad 3 mot Reply with a short sentence. som är Reply, with, a, short, sentence. och alltså 5 token. Kroppens summa stannar på 13. fee@3 behåller de fyra raderna från fee@1 och lägger till Check the sum twice. som är Check, the, sum, twice. och alltså 4 token. Kroppens summa är 13 plus 4 = 17. Tokensumman visar vilka rader som ändrades. Avslutskoden kommer från H, latenssumman och kostnadssumman. fee@2 bytte raden som bad om enbart siffror, och loggen visar att H föll från 20 till 16. fee@3 lade till en rad, och loggen visar H fortfarande 20 med medellatens 640, från summan 16000. De extra token är diffen. Medelvärdet är mätningen som grinden läser.

Ett exempel

fee@2 från filen till avslutskod 1

Öppna prompts/fee/2.txt via argumentet /prompter fee@2. Första raden är id: fee@2, så rättningen körs. Föräldraraden är parent: fee@1. Grindfilen lyder fortfarande acc-lower 0,60, lat-max 500 och cost-max 3,00. Fallistan är 3, 5, 8, 11, 14, 16, 19, 22 och 24. Antalet är 9. H = 25 minus 9 = 16. A = 16/25 = 0,64. SE = 0,096, eftersom 0,096 gånger 0,096 = 0,009216 och 0,2304/25 = 0,009216. Lektionens ändar är 0,448 och 0,832. Den nedre änden 0,448 ligger under 0,60, så G-acc faller. Latenssumman 9000 ger medel 360, och 360 är högst 500, så G-lat blir godkänd. Kostnadssumman 40,00 ger medel 1,60, och 1,60 är högst 3,00, så G-cost blir godkänd. En fallen grind räcker. Kommandot python3 eval_runner.py /prompter fee@2 avslutas med kod 1, och CURRENT behåller raden fee@1.

Kör samma kommando på fee@3. Sökvägen är prompts/fee/3.txt och id-raden stämmer. H stannar på 20, A stannar på 0,80, och lektionsintervallet stannar på 0,64 till 0,96, så G-acc blir godkänd. Kostnadssumman 62,50 ger medel 2,50, så G-cost blir godkänd. Latenssumman 16000 ger medel 640. Eftersom 640 ligger över 500 faller G-lat, och python3 eval_runner.py /prompter fee@3 avslutas med kod 1. Kroppen växte från 13 token till 17 eftersom raden Check the sum twice. lades till. Spärren du rapporterar är medelvärdet 640 från de 25 raderna. Båda kandidaterna lämnar CURRENT på fee@1, eftersom en kopiering till CURRENT väntar på avslutskod 0.

Övning

Rätta fee@4 och par P4

Rätta /prompter fee@4. Filen prompts/fee/4.txt börjar med id: fee@4 och parent: fee@1, sedan en tom rad, sedan samma fyra kroppsrader som fee@1. Loggen faller på id 3, 8, 14, 19 och 22. Latenssumman är 8750 ms. Kostnadssumman är 80,00. Grindfilen är oförändrad. Skriv H, A, SE, båda lektionsändarna, utfallet för varje grind och avslutskoden. Skriv sedan, för par P4, vad egenpreferensgranskaren väljer och om valet håller med nyckeln. Skriv till sist tokenantalet i fee@2-raden Reply with a short sentence.

H = 20, eftersom 25 minus 5 = 20. A = 0,80. SE = 0,08. Lektionsändarna är 0,64 och 0,96. G-acc blir godkänd, eftersom 0,64 är minst 0,60. Medellatensen är 8750/25 = 350, så G-lat blir godkänd. Medelkostnaden är 80,00/25 = 3,20, och 3,20 ligger över 3,00, så G-cost faller. Avslutskoden är 1, och CURRENT ligger kvar på fee@1. På P4 väljer egenpreferensgranskaren oavgjort och håller med nyckeln. Raden i fee@2 delas i fem bitar, så tokenantalet är 5.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

fee@1 faller på id 3, 8, 14, 19 och 22. Vad blir H och A?

20 och 0,80. Fem fall lämnar 20 träffar, och 20/25 = 0,80.

Hur många av de 8 platsbedömningarna håller med nyckeln, och hur många av de 4 längdbedömningarna håller med?

3 av 8, och 1 av 4. Platsöverensstämmelserna är P1 i ordningen SL, P2 i ordningen SL och P3 i ordningen LS. Längdgranskaren håller med bara på P3.

För A = 0,64 och n = 25, vad är SE, vilka är de två lektionsändarna, och blir G-acc godkänd?

SE är 0,096. Ändarna är 0,448 och 0,832. G-acc faller eftersom 0,448 ligger under 0,60.

Vilken sökväg öppnar /prompter fee@3, vad är medellatensen, och vilken avslutskod blir det?

prompts/fee/3.txt, 640 ms och avslutskod 1. G-lat faller eftersom 640 ligger över 500, medan G-acc och G-cost blir godkända.

Ta med dig

exact_match på de 25 gold-strängarna låser H, och lektionsintervallet är A plus eller minus 2 gånger SE. Kommandot avslutas med kod 1 när den nedre änden ligger under 0,60, medellatensen ligger över 500 ms, eller medelkostnaden ligger över 3,00. På de fyra paren håller platsgranskaren med 3 av 8 gånger, längdgranskaren 1 av 4, och egenpreferensgranskaren 3 av 4.

Slutuppgift

Lämna in en utvärderingshärva (eval_runner.py) som testas mot 10 seedade prompt-diffar (5 giltiga förbättringar, 5 regressioner med subtila defekter); runnern måste klassificera alla 10 diffar korrekt i containerns testsvit.

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan