Hoppa till innehållet
POLARISAI ACADEMY
R09-401 · Navigatör

Läsa, granska och återskapa en forskningsartikel

Efteråt kan du räkna om en rubrikvinst mot den starkaste baslinjen i samma tabell, pröva tappgränsen 0,05 på en ablation med två termer, köra ett seedat steg av en skriven uppdatering, och markera om en omkörning ligger innanför eller utanför toleransen 0,02.

Nivå
Navigatör
Tid
35 h (uppskattning)
Förkunskap
R09-301
Kurs 4 av 4
Hoppa till

Efter kursen kan du

Eleven kan implementera kärnalgoritmen och ablationsexperimentet från en tillhandahållen specifikation av en forskningsartikel och reproducera dess empiriska målvärden inom en deklarerad toleransenvelopp.

Rubriken och den starkaste baslinjen

Ett artikelpaket i den här lektionen är en kort bunt utskrivna tabeller plus en ekvation, litet nog att granska på papper samma dag. Rubriken anger en vinst mot baslinjen. Cherry-picking betyder i den här granskningen att den baslinje som citeras är en svagare rad i artikelns egen tabell, medan en starkare rad står på samma sida. Läs varje baslinjes andel rätt i tabellen och dra bort den från den föreslagna metoden. Den rättvisa vinsten är den minsta skillnaden, vinsten mot den starkaste baslinjen i listan. Överdriften är rubrikens vinst minus den rättvisa vinsten. Du skriver båda talen, och du namnger vilken rad rubriken använde.

Paketets testtabell, antal rätt av 100, visar Ours 80, svag baslinje W 62 och standardbaslinje S 74. Rubriken säger att metoden ligger 18 punkter över baslinjen, och 80 - 62 = 18, så rubriken använde W. Den starkaste baslinjen i tabellen är S på 74. Den rättvisa vinsten är 80 - 74 = 6 punkter, alltså andelen rätt 0,06. Överdriften är 18 - 6 = 12 punkter. Ett chattsvar som upprepar 0,18 har skrivit av rubriken. Raden du behåller är 0,06, med W namngiven som den svagare jämförelsen.

En borttagen term, och ett val läst ur testmängden

En ablation tar bort en term och mäter tappet. Tappet är den fulla poängen minus poängen utan den termen. Paketets regel, satt innan du tittar på körningarna, ger en term märket spelar roll bara när tappet är minst 0,05. Bilagan skriver tre valideringsräkningar av 100: hel modell 80, utan term C 71, utan term D 78. Tappet för C är 80 - 71 = 9, alltså 0,09, och det klarar 0,05. Tappet för D är 80 - 78 = 2, alltså 0,02, och det stannar under 0,05. Meningen att båda tillagda termerna spelar roll klarar regeln för C och faller för D. En artikel som bara skriver hel modell mot ingenting har lämnat den här tabellen ute, så meningen saknar ett tapp per term.

Test-set tuning betyder att en inställning valdes genom att läsa testresultatet. Paketet listar fyra learning rate, inlärningstakter, med validering och test som antal rätt av 100. Takten 0,1 har validering 70 och test 66. Takten 0,01 har validering 76 och test 80. Takten 0,001 har validering 78 och test 77. Takten 0,0001 har validering 73 och test 71. Det största testantalet är 80, vid takten 0,01. Det största valideringsantalet är 78, vid takten 0,001, och den radens testantal är 77. Att välja 0,01 för att testantalet är 80 använder testmängden som en sökmängd. Valideringsregeln låser 0,001 innan testkolumnen läses, och andelen rätt att rapportera är 77/100 = 0,77. Protokollgapet är 0,80 - 0,77 = 0,03.

Fyra rader för en uppdatering

Paketet skriver uppdateringen som theta vänsterpil theta + eta gånger (y - theta). Att översätta den betyder fyra rader som använder de symbolerna i den ordningen, utan extra term. Rad 1 lagrar eta = 0,5. Rad 2 lagrar theta = 0,20. Rad 3 lagrar residualen r = y - theta med y = 0,80, så r = 0,80 - 0,20 = 0,60. Rad 4 ersätter theta med theta + eta gånger r, alltså 0,20 + 0,5 gånger 0,60 = 0,20 + 0,30 = 0,50. Ett andra steg med samma y använder residualen 0,80 - 0,50 = 0,30 och landar på 0,50 + 0,5 gånger 0,30 = 0,65. Samma räkning är (1 - eta) gånger theta + eta gånger y, och 0,5 gånger 0,20 + 0,5 gånger 0,80 = 0,50, vilket stämmer med rad 4.

Ett tecken som vänder uppdateringen till theta vänsterpil theta - eta gånger (y - theta) är en annan ekvation. Med samma tre tal blir ett steg 0,20 - 0,30 = -0,10. Granskningen jämför kodens operator med den utskrivna pilen innan någon andel rätt diskuteras. När du klistrar in ekvationen och de fyra raderna i chattrutan behåller du svaret bara när det skriver theta = 0,50 efter ett steg och theta = 0,65 efter två. Ett svar som skriver -0,10 har vänt tecknet.

Ett seed och ett låst prefix

Ett seed är startvärdet för paketets generator. Paketet namnger rekurrensen så att en handräkning blir exakt: x börjar på seedet, och varje nästa värde är (5x + 3) mod 16. Samma seed ger samma lista. Sätt seedet före första dragningen, och skriv det i rapporten. Artikeln listar prefixet med fyra tillstånd, seedet inräknat: 1, 8, 11, 10. Räkna från vänster. Börja på 1. (5 gånger 1 + 3) mod 16 = 8. (5 gånger 8 + 3) = 43, och 43 mod 16 = 11, eftersom 2 gånger 16 = 32 och 43 - 32 = 11. (5 gånger 11 + 3) = 58, och 58 mod 16 = 10, eftersom 3 gånger 16 = 48 och 58 - 48 = 10. Prefixet stämmer med seed 1.

Seed 2 ger ett annat prefix. (5 gånger 2 + 3) mod 16 = 13. (5 gånger 13 + 3) = 68, och 68 mod 16 = 4, eftersom 4 gånger 16 = 64 och 68 - 64 = 4. (5 gånger 4 + 3) = 23, och 23 mod 16 = 7. De fyra tillstånden är 2, 13, 4, 7. En logg som börjar med det prefixet körde en annan ström. Anteckna seedavvikelsen innan du jämför andelar rätt. En träff på 1, 8, 11, 10 säger att strömmen följde paketet. Testantalet ska ändå kollas på en egen rad.

Gapet och enveloppen

En avvikelserapport har fyra fält: den utskrivna andelen rätt, omkörningens andel rätt, det absoluta gapet och toleransenveloppen. Det absoluta gapet är den positiva skillnaden mellan de två andelarna. Toleransenveloppen i det här paketet är 0,02, det största avståndet som är godkänt i förväg, så utfallet är innanför när gapet är högst 0,02, och utanför när gapet är större. Paketet skriver 80 rätt av 100, andel 0,80. Omkörningen följer valideringsregeln, seed 1 och de fyra uppdateringsraderna, och får 77 rätt av 100, andel 0,77. Gapet är absolutbeloppet av 0,77 - 0,80, alltså 0,03. Eftersom 0,03 är större än 0,02 är utfallet utanför.

Samma 0,03 är protokollgapet i tabellen över learning rate, 0,80 vid den testvalda takten minus 0,77 vid den valideringsvalda. Rapporten namnger den orsaken bredvid utfallet. Ett andra mått kan hamna innanför medan det här hamnar utanför. En omkörning av tappet för C som skriver 0,08 mot paketets 0,09 har gapet 0,01, och 0,01 ligger innanför samma toleransenvelopp 0,02. Varje mått får en egen rad. Du låter 0,77 stå kvar som 0,77.

Ett exempel

Ett paket, från rubriken till utfallet

Läs testtabellen först: Ours 80/100, W 62/100, S 74/100. Rubrikvinsten är 80 - 62 = 18 punkter, den rättvisa vinsten är 80 - 74 = 6 punkter, och överdriften är 12 punkter. Sedan ablationens räkningar på validering: hel modell 80, utan C 71, utan D 78. Tappen är 9 och 2 punkter. Med regeln 5 punkter får C märket och D får det inte. Sedan de fyra learning rate. Valideringsantalen 70, 76, 78, 73 väljer takten 0,001, och den radens testantal är 77, så den ärliga testandelen är 0,77. Testantalen 66, 80, 77, 71 väljer takten 0,01 och det utskrivna 80. Protokollgapet är 80 - 77 = 3 rätt, alltså 0,03 i andel rätt.

Uppdateringen theta vänsterpil theta + eta gånger (y - theta), med eta = 0,5, theta = 0,20 och y = 0,80, ger residualen 0,60 och theta = 0,50 efter ett steg, sedan residualen 0,30 och theta = 0,65 efter två. Det vända tecknet ger -0,10 efter ett steg. Generatorn (5x + 3) mod 16 från seed 1 listar 1, 8, 11, 10. Från seed 2 listar den 2, 13, 4, 7. Avvikelseraden använder utskrivet 80/100 och omkörning 77/100. Det absoluta gapet är 0,03, toleransenveloppen är 0,02, och utfallet är utanför, med orsaken namngiven som den testvalda learning rate. En omkörning av tappet för C på 0,08 mot 0,09 har gapet 0,01 och utfallet innanför.

Ordningen på papper ligger fast: rättvis vinst, tapp per term, valideringsval, fyra kodrader, seedprefix, sedan en utfallsrad per mått. Klistra in den ordningen i chattrutan tillsammans med paketets tabeller. Behåll svaret när den rättvisa vinsten är 0,06, den ärliga testandelen är 0,77, theta efter ett steg är 0,50, prefixet är 1, 8, 11, 10, och utfallet för andelen rätt är utanför.

Övning

Ett andra paket på papper

Det andra paketet skriver Ours 90/100, W 70/100, S 85/100, och en rubrikvinst på 20 punkter. Skriv den rättvisa vinsten och överdriften. Ablationens räkningar på validering: hel modell 90, utan C 86, utan D 81. Skriv båda tappen och säg vilken term som klarar märkesgränsen 5 punkter. Learning rate, antal rätt av 100: takten 0,1 har validering 60 och test 64, takten 0,01 har validering 81 och test 79, takten 0,001 har validering 75 och test 83. Skriv den valideringsvalda takten, dess testandel, den testvalda takten och protokollgapet. Kör theta vänsterpil theta + eta gånger (y - theta) med eta = 0,25, theta = 0,40 och y = 0,80, och skriv theta efter ett steg. Från seed 4 i samma generator, (5x + 3) mod 16, skriv prefixet med fyra tillstånd. Den utskrivna andelen är 79/100 och omkörningen är 78/100, med samma toleransenvelopp 0,02. Skriv det absoluta gapet och utfallet.

Den rättvisa vinsten är 90 - 85 = 5 punkter, och överdriften är 20 - 5 = 15 punkter. Tappet för C är 90 - 86 = 4, vilket stannar under 5, så C missar märket. Tappet för D är 90 - 81 = 9, och det klarar gränsen. Valideringsantalen 60, 81, 75 väljer takten 0,01, och den radens testandel är 79/100 = 0,79. Testantalen 64, 79, 83 väljer takten 0,001, och protokollgapet är 0,83 - 0,79 = 0,04. Residualen är 0,80 - 0,40 = 0,40, och theta blir 0,40 + 0,25 gånger 0,40 = 0,50. Seed 4 ger (5 gånger 4 + 3) mod 16 = 7, sedan (5 gånger 7 + 3) = 38 och 38 mod 16 = 6, sedan (5 gånger 6 + 3) = 33 och 33 mod 16 = 1, så prefixet är 4, 7, 6, 1. Det absoluta gapet är absolutbeloppet av 0,78 - 0,79, alltså 0,01, och utfallet ligger innanför toleransenveloppen.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

I det första paketet använder rubriken W. Vilken är rubrikvinsten, och vilken är den rättvisa vinsten mot S?

Rubrikvinsten är 0,18, från 80/100 minus 62/100. Den rättvisa vinsten mot S är 0,06, från 80/100 minus 74/100.

Vilken learning rate väljer valideringsregeln i det första paketet, och vilken testandel hör till den raden?

Takten 0,001, med testandelen 0,77 från 77/100. Valideringsantalen är 70, 76, 78 och 73, och 78 är störst.

Med eta = 0,5, theta = 0,20 och y = 0,80, vad blir theta efter ett steg av den utskrivna uppdateringen, och vad blir theta efter samma steg om plus skrivs som minus?

0,50 med det utskrivna pluset, eftersom residualen är 0,60 och 0,20 + 0,30 = 0,50. Minuset ger 0,20 - 0,30 = -0,10.

Vilket prefix med fyra tillstånd har seed 1 för x vänsterpil (5x + 3) mod 16, och ligger omkörningen 77/100 mot utskrivet 80/100 innanför toleransenveloppen 0,02?

Prefixet är 1, 8, 11, 10. Det absoluta gapet är 0,03, så utfallet ligger utanför toleransenveloppen.

Ta med dig

Granskningen skriver den rättvisa vinsten mot den starkaste baslinjen i tabellen, ett tapp per term mot regeln 0,05, testandelen på den valideringsvalda raden, fyra rader som följer den utskrivna uppdateringen, seedprefixet, och det absoluta gapet bredvid toleransenveloppen. I det här paketet är de talen 0,06, tappen 0,09 och 0,02, testandelen 0,77, theta = 0,50, prefixet 1, 8, 11, 10, och gapet 0,03 markerat utanför 0,02.

Slutuppgift

Slutför en nycklad metodgranskning med 20 poster av ett tillhandahållet artikelpaket och lämna in ett reproduktionsskript (reproduce.py) som körs på ett fryst dataset i testcontainern och reproducerar de nycklade måtten för baseline och ablation inom deklarerade toleranser. (Valfritt portföljobjekt: fullständig replikationsrapport).

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan