Hoppa till innehållet
POLARISAI ACADEMY
R07-401 · Navigatör

Sandlådor, agentmätning och kostnad per uppgift

Efteråt kan du normalisera en sökväg mot uppgiftens rot, märka varje webbläsar- och skrivbordsåtgärd mot väggreglerna, räkna andel lyckade och kostnad per slutförd uppgift på en fixture med åtta uppgifter, och kontrollera att rotspanets kostnad är summan av stegens span.

Nivå
Navigatör
Tid
28 h (uppskattning)
Förkunskap
R07-301, R04-301
Kurs 4 av 4
Hoppa till

Efter kursen kan du

Eleven kan köra en sandboxad agent mot en benchmark-fixture med 50 uppgifter, emittera fullständiga step traces och mått för kostnad per uppgift samt klara alla tester av sandbox-inneslutning och budgetefterlevnad.

Uppgiftens rot och sökvägskollen

En kodagent i den här lektionen kör i en sandlåda (sandbox), en container per uppgift. Containern har en egen användare, en systemavbildning som bara går att läsa, och en enda skrivbar katalog, /work/task-<id>. Hemkatalogen på värddatorn ligger utanför sandlådan. Filer med inloggningsuppgifter ligger utanför. Kontrollsocketen för containrar ligger utanför. En process som kan öppna den socketen kan starta en container bredvid uppgiften, därför syns socketen aldrig inuti uppgiftens rot. Klocktaket är 10 sekunder sandlådetid. När klockan når 10 stoppar köraren containern och antecknar sekunderna som 10. Samma tre ytterkanter kan du bocka av på papper i dag: hem, inloggningsuppgifter, kontrollsocket. Nämner monteringslistan någon av dem faller sandlåderaden innan du räknar uppgiftens resultat.

Varje filanrop kontrolleras efter normalisering, innan anropet får köra. Dela sökvägen vid snedstreck. Släpp tomma bitar och biten .. En bit .. tar bort den föregående riktiga biten. När .. saknar något att ta bort stannar sökvägen på /. Anropet släpps igenom bara när den normaliserade sökvägen är exakt /work/task-<id> eller börjar med /work/task-<id>/. Råsträngen sparas på spanet så att du kan göra om stegen på papper. Text från modellen är bara ett förslag till sökväg. Märket kommer från den normaliserade formen. Nätanrop följer en värdlista. I den här fixturen släpps bara files.example.test på port 443 igenom. Varje annan värd nekas och antecknas. Varje annan port på files.example.test nekas och antecknas. Adressen 169.254.169.254 nekas på alla portar. Det är den vanliga länk-lokala adressen där en gäst ber värden om inloggningsuppgifter, så facit märker den nekad även när prompten ber om en metadata-tjänst. Inneslutningen för uppgiften håller när körarens märke, släpp eller nek, stämmer med facit på varje sökvägsrad och varje nätrad. En enda rad där facit säger nek och köraren släppte igenom anropet räcker för att inneslutningen ska falla.

Webbläsarprofilen och skrivbordets vägg

Webbläsaråtgärder och skrivbordsåtgärder har två olika väggar, och båda väggarna ger rader du kan rätta samma dag. Webbläsarverktyget öppnar en färsk profil. Hämtningskatalogen är /work/task-<id>/downloads. Kakburken startar tom. De åtgärdsnamn som får förekomma är snapshot, click, type och scroll. De fyra släpps bara så länge sidans värd står på uppgiftens värdlista. En navigering till en annan värd är en egress-rad (ett försök att lämna den tillåtna ytan) och följer samma matchregel som ett nätanrop från kod. En hämtning vars målkatalog skiljer sig från den hämtningskatalogen nekas. En fil-URL nekas. Skriv tre kolumner per webbläsarrad: åtgärdsnamn, värd eller målsökväg, och ditt märke. Körarens logg fyller en fjärde kolumn. Väggen håller när ditt märke och loggen säger samma sak på varje rad.

Computer use styr en pekare, ett tangentbord och en skärm. När skärmen är värdens skrivbord kan en tangentföljd öppna ett filfönster eller en terminal på värden, och kodcontainerns monteringar rör inte de pixlarna. I den här lektionen körs skrivbordsåtgärder bara på ett virtuellt skrivbord vars filer är samma uppgiftsrot. Rader som släpps är pekarrörelser, klick och text in i det fönster som har fokus på det skrivbordet, plus en skärmbild av det skrivbordet. Rader som nekas är ett kortkommando eller ett klick mot ett fönster utanför det virtuella skrivbordet, en inklistring som läser eller skriver värdens urklipp, och en filruta som kan bläddra ovanför uppgiftens rot. Varje åtgärd blir ett span. tool.name är browser eller desktop. Spanet lagrar också värden eller fönstertiteln som åtgärden rörde. Du rättar väggen genom att skriva släpp eller nek för varje rad utifrån de här reglerna och sedan jämföra din kolumn med körarens logg. Kolumnerna stämmer på varje rad, annars föll väggen. En enda avvikelse är ett inneslutningsfel, och loopklassen längre fram i lektionen läser den avvikelsen som egress.

Andel lyckade och kostnad per slutförd uppgift

En end-to-end-fixture är en frusen lista uppgifter med ett skrivet förväntat resultat. Räkningen är densamma för 8 uppgifter och för 50. Varje uppgift startar i en ny sandlåda. Du antecknar lyckad eller fallen, in-token, ut-token, sandlådesekunder, webbläsar- eller skrivbordsåtgärder, och inneslutningsmärkena. En lyckad uppgift kräver både det förväntade resultatet och en ren inneslutningskolumn. En korrekt fil som nåddes via en sökväg som smet ut räknas fortfarande som fallen. Priskortet hör till fixturen, så enheterna ligger stilla mellan körningar. Varje in-token kostar 2 enheter. Varje ut-token kostar 10 enheter. Varje sandlådesekund kostar 100 enheter. Varje webbläsar- eller skrivbordsåtgärd kostar 50 enheter. Uppgiftens kostnad är in×2 + ut×10 + sekunder×100 + åtgärder×50. Behåll de fyra produkterna i en kolumn så att någon senare kan addera om dem utan att gissa ett leverantörspris.

Andel lyckade är antalet lyckade delat med antalet uppgifter. Kostnad per slutförd uppgift är summan av uppgiftskostnader över hela fixturen, lyckade och fallna tillsammans, delat med antalet lyckade. Fallna körningar stannar i täljaren eftersom den kostnaden uppstod på vägen till de lyckade du behåller. Medelkostnaden bland bara de lyckade delar de lyckades kostnader med antalet lyckade. Det andra talet svarar på hur billiga lyckade körningar var för sig. En rapport som skriver det medeltalet under rubriken kostnad per slutförd uppgift tappar kostnaden för det som föll. Budgeten per uppgift i den här fixturen är 2500 enheter. En körare som stannar vid budgeten antecknar enheterna som gick åt fram till stoppet, uppgiften faller, och de enheterna går ändå in i täljaren. På en svit med 50 uppgifter använder du samma fyra rader: räkna de lyckade, addera varje uppgiftskostnad, dela den summan med antalet lyckade, och lista varje uppgift vars kostnad ligger över 2500.

Span i spåret och ordningen bland loopfelen

Köraren skriver spår i OpenTelemetry-form. Ett spår (trace) har ett trace-id. Uppgiften är rotspanet. Varje modellanrop och varje verktygsanrop är ett barnspan med eget span-id, förälderns span-id, ett namn, en start, ett slut och attribut. Attributnamnen i den här fixturen är task.id, step.index, tool.name, tokens.in, tokens.out, sandbox.seconds, actions, cost.units, containment och arg.digest. Ett spår är fullständigt när tre kontroller håller. Barnens stegindex är exakt heltalen 1 till och med N, utan lucka och utan dubblett. Varje barn bär samma task.id som roten. Rotens cost.units är lika med summan av barnens cost.units. En lucka, ett dubblerat index, ett felaktigt task.id, eller en summa som missar roten, gör att fullständigheten faller. Svarsfilen kan ändå se rätt ut. Fullständighet är ett eget prov, vid sidan av uppgiftsresultatet.

En fallen uppgift får en loopklass. Gå i den här ordningen och stanna vid första träffen. Egress: en sökväg, en värd eller en skrivbordsåtgärd släpptes där facit säger nek. Timeout: sandlådesekunderna är 10 eller fler. Repeat: två steg delar samma tool.name och samma arg.digest. Budget: cost.units är större än 2500. Tool error: ett verktygsspan slutar med status ERROR och inget senare barn slutar med status OK. En lyckad uppgift har klassen none. Ordningen är hela regeln när två rader båda kunde stämma. Du skriver den första träffen och lämnar de senare raderna oanvända. De fem raderna kan du lägga på en logg från en chatt samma dag: en rad per steg, en facitkolumn, och en klass i marginalen. På en svit med 50 uppgifter fyller samma ordning en klasscell per fallen rad, och antalen i de fem klasserna är sammanställningen av loopfel.

Ett exempel

Åtta uppgifter, fem sökvägar, ett spår

Prissätt varje uppgift med in×2 + ut×10 + sekunder×100 + åtgärder×50. T1 lyckas: in 200, ut 40, sekunder 2, åtgärder 0, alltså 400 + 400 + 200 = 1000. T2 lyckas: in 250, ut 50, sekunder 3, åtgärder 1, alltså 500 + 500 + 300 + 50 = 1350. T3 faller: in 800, ut 100, sekunder 6, åtgärder 0, alltså 1600 + 1000 + 600 = 3200. Steg 3 och 4 i T3 har båda tool.name code och arg.digest d4. T3 har inget nek som köraren släppte. T4 lyckas: in 180, ut 30, sekunder 1, åtgärder 0, alltså 360 + 300 + 100 = 760. T5 faller: in 400, ut 60, sekunder 2, åtgärder 3, alltså 800 + 600 + 200 + 150 = 1750. Köraren släppte sökvägen /work/task-5/../task-1/note.txt. Normaliserad blir den /work/task-1/note.txt, och facit säger nek eftersom roten är /work/task-5. T6 lyckas: in 220, ut 40, sekunder 2, åtgärder 0, alltså 440 + 400 + 200 = 1040. T7 faller: in 100, ut 10, sekunder 10, åtgärder 0, alltså 200 + 100 + 1000 = 1300. T7 har ingen egress-avvikelse och ingen upprepad digest. T8 faller: in 300, ut 80, sekunder 4, åtgärder 1, alltså 600 + 800 + 400 + 50 = 1850. T8:s enda verktygsspan slutar med status ERROR, och körningen har inget senare barn med status OK. T8 har ingen egress-avvikelse och ingen upprepad digest.

Addera de åtta kostnaderna från vänster. 1000 + 1350 = 2350. 2350 + 3200 = 5550. 5550 + 760 = 6310. 6310 + 1750 = 8060. 8060 + 1040 = 9100. 9100 + 1300 = 10400. 10400 + 1850 = 12250. De lyckade är T1, T2, T4 och T6, det vill säga 4 lyckade av 8 uppgifter. Andel lyckade är 4/8 = 0,50. Kostnad per slutförd uppgift är 12250/4 = 3062,5 enheter. De fyra lyckade kostnaderna är 1000, 1350, 760 och 1040. Deras summa är 4150, och 4150/4 = 1037,5 enheter, medelkostnaden bland bara de lyckade. Budgetlinjen är 2500. T3 på 3200 är den enda uppgiften över linjen. T5 på 1750, T7 på 1300 och T8 på 1850 ligger under. Ett ark med 50 uppgifter använder samma löpande summa. Du delar fortfarande hela summan med antalet lyckade.

Klasserna följer ordningen egress, timeout, repeat, budget, tool error. T5 träffar egress först, eftersom den normaliserade sökvägen lämnade /work/task-5 och köraren släppte den. T7 har 10 sekunder och träffar därför timeout före varje senare rad. T3 träffar repeat, eftersom steg 3 och 4 delar tool.name code och arg.digest d4, och budgetraden kommer senare, så klassen stannar på repeat. Om de två stegen slutade dela digest d4 skulle T3 passera repeat-raden och träffa budget, eftersom 3200 är större än 2500 och sekunderna är 6, under timeout-linjen 10. T8 träffar tool error. De fyra lyckade har klassen none. Tallyn på den här fixturen är en egress, en timeout, en repeat, noll budget och en tool error, även om T3 också ligger över 2500.

Normalisera de fem filanropen för uppgift 2, vars rot är /work/task-2. Anrop 1, /work/task-2/out.txt, är redan normalt och släpps. Anrop 2, /work/task-2/../task-5/secret.txt, blir /work/task-5/secret.txt och nekas. Anrop 3, /work/task-2/./notes/a.txt, blir /work/task-2/notes/a.txt och släpps. Anrop 4, /etc/passwd, förblir /etc/passwd och nekas. Anrop 5, /work/task-2/../../etc/hostname, klättrar till /etc/hostname och nekas. Det är 2 släpp och 3 nek. En körare som släpper anrop 2 faller inneslutningen på den enda raden, och klassen för den uppgiften blir egress. T2:s fyra barnkostnader är 400, 200, 600 och 150. Summan är 400 + 200 + 600 + 150 = 1350, och rotens cost.units ska vara 1350. Stegindexen är 1, 2, 3 och 4. En rot som står som 1300 faller fullständigheten och saknar 50 enheter. Delningen bakom de fyra kostnaderna är ett modellsteg med 100 in-token och 20 ut-token (400), ett kodsteg med 2 sandlådesekunder (200), ett modellsteg med 150 in-token och 30 ut-token (600), och ett webbläsarsteg med 1 sekund plus 1 åtgärd (150). Token-summorna är 250 in och 50 ut, med 3 sekunder och 1 åtgärd, vilket är T2-raden ovan.

Övning

Fyra uppgifter på papper

Använd samma priskort, samma budget 2500, samma timeout vid 10 sekunder och samma klassordning. E1 lyckas: in 100, ut 20, sekunder 1, åtgärder 0. E2 faller: in 150, ut 10, sekunder 2, åtgärder 2, och köraren släppte en navigering till other.example.test fast facit säger nek. E3 lyckas: in 80, ut 10, sekunder 2, åtgärder 0. E4 faller: in 50, ut 10, sekunder 10, åtgärder 0, utan egress-avvikelse och utan upprepad digest. Skriv varje kostnad, andel lyckade, kostnad per slutförd uppgift, medelkostnaden bland bara de lyckade, och klassen för E2 och för E4. Normalisera sedan /work/task-e1/../task-e2/x.txt och /work/task-e1/a/../b.txt mot roten /work/task-e1, och märk släpp eller nek. Ett spår för E1 skriver barnkostnaderna 200, 150 och 150 med en rotkostnad på 480. Säg om spåret är fullständigt, och hur många enheter roten missar barnsumman med. Namnge den klass T3 skulle få om digest d4 uteblev.

E1 kostar 200 + 200 + 100 = 500. E2 kostar 300 + 100 + 200 + 100 = 700. E3 kostar 160 + 100 + 200 = 460. E4 kostar 100 + 100 + 1000 = 1200. De fyra kostnaderna adderas 500 + 700 = 1200, sedan 1200 + 460 = 1660, sedan 1660 + 1200 = 2860. Lyckade är E1 och E3, alltså 2 av 4, och andel lyckade är 0,50. Kostnad per slutförd uppgift är 2860/2 = 1430 enheter. De lyckade kostnaderna summerar till 500 + 460 = 960, och medelkostnaden bland bara de lyckade är 960/2 = 480 enheter. Ingen övningsuppgift ligger över 2500. E2 är egress. E4 är timeout. Första sökvägen normaliseras till /work/task-e2/x.txt och nekas. Andra normaliseras till /work/task-e1/b.txt och släpps. Barnsumman är 200 + 150 + 150 = 500. Roten säger 480, så spåret faller fullständigheten och roten saknar 20 enheter. Utan den upprepade digesten är T3:s klass budget.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Vad blir anrop 2 för uppgift 2 efter normalisering, och släpps den sökvägen för roten /work/task-2?

/work/task-5/secret.txt, och den nekas. Råanropet var /work/task-2/../task-5/secret.txt, och den normaliserade sökvägen lämnar uppgiftens rot.

På fixturen med åtta uppgifter: hur många lyckas, vilken är andelen lyckade, vad är kostnaden per slutförd uppgift, och vad är medelkostnaden bland bara de lyckade?

4 lyckade, andel 0,50, kostnad per slutförd uppgift 3062,5 enheter, och medelkostnaden bland bara de lyckade är 1037,5 enheter.

Vilka tre kontroller ska hålla för att ett uppgiftsspår ska vara fullständigt?

Barnens stegindex är exakt 1 till och med N utan lucka och utan dubblett, varje barn har rotens task.id, och rotens cost.units är lika med summan av barnens cost.units.

Vilken loopklass får T3, och vilken klass skulle den få om steg 3 och 4 slutade dela arg.digest d4?

T3 får repeat. Utan den delade digesten blir klassen budget, eftersom 3200 är större än 2500 och sandlådesekunderna är 6, under timeout-linjen 10.

Ta med dig

Sandlådan rättar varje sökväg, värd och skrivbordsåtgärd mot en uppgiftsrot och en släpplista. Andel lyckade är lyckade delat med uppgifter. Kostnad per slutförd uppgift lägger varje körning, även de fallna, i täljaren. Ett spår går att rätta när barnens kostnader summerar till roten och loopklassen är den första regeln som träffar.

Slutuppgift

Lämna in en sandboxad agent-runner och en trace-utvärderare som kör mot en fryst svit med 50 uppgifter i testcontainern, klarar alla inneslutningskontroller, håller sig inom tokenbudgeten per uppgift och producerar exakta nycklade trace-mått.

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan