Hoppa till innehållet
POLARISAI ACADEMY
R07-301 · Navigatör

Agentloopar, tillståndsmaskiner och mänskliga godkännanden

Efteråt kan du spara en checkpoint-rad för en agentkörning, ta upp raden utan att köra om ett test som redan är sparat, och hålla kvar en push tills godkännandetoken stämmer med digesten.

Nivå
Navigatör
Tid
26 h (uppskattning)
Förkunskap
R07-201
Kurs 3 av 4
Hoppa till

Efter kursen kan du

Eleven kan implementera en tillståndsbevarande tillståndsmaskin för agenter med SQLite/D1-checkpointing som återupptas rent efter avbrott, stannar vid tak för steg/kostnad och pausar för explicit mänskligt godkännande före varje extern skrivåtgärd.

Tillstånd, övergångar och worker-överlämningen

En agentkörning i den här lektionen går på en tillståndsmaskin, en fast lista med tillstånd och övergångarna mellan dem. Tillstånden är INTAKE, PLAN, EDIT, TEST, AWAIT_APPROVAL, WRITE, DONE och HALTED. Varje övergång namnger det enda verktyg som får köras i tillståndet och vilket tillstånd som följer. INTAKE kör read_ticket och går till PLAN. PLAN kör write_plan och går till EDIT. EDIT kör edit_file och går till TEST. TEST kör run_tests. Slutkod 0 lämnar fail_count orörd och går till AWAIT_APPROVAL. En annan slutkod ökar fail_count med 1. Är räkningen då 1 eller 2 blir nästa tillstånd EDIT. Är räkningen då 3 blir nästa tillstånd HALTED och koden tests_exhausted. Värdprogrammet kör ett verktyg bara när det aktuella tillståndet har den övergången. Ett namngivet verktyg utan övergång ger state_denied: kroppen körs 0 gånger, tillståndet stannar, steget ökar med 1 och körningen lägger till åtgärdens angivna token.

En obegränsad loop visar modellen alla verktyg i varje varv och kör det namn som kommer tillbaka, så push_branch kan dyka upp redan i första varvet. I den här grafen är push_branch tillåten bara från AWAIT_APPROVAL, och regeln för godkännande ska fortfarande passera där. Supervisor är körningen som äger grafen. Den får lämna över ett enda objekt till en worker: förälderns run_id, workerns id, verktygen edit_file och run_tests, och ett tak på 4 worker-steg. Det fjärde worker-steget körs fortfarande. Ett femte worker-steg startar aldrig, kroppen körs 0 gånger, körningens steg står kvar och koden är worker_cap. Workern saknar övergång ut ur AWAIT_APPROVAL och saknar övergång till WRITE. En push_branch från workern ger state_denied och push-kroppen körs 0 gånger. När workern återvänder tar supervisor tillbaka körningen. Workern går in i AWAIT_APPROVAL när dess run_tests får slutkod 0. Bara supervisor kan lämna AWAIT_APPROVAL, och bara supervisor kan gå in i WRITE.

En checkpoint-rad, sedan återupptagning

Checkpointen är en rad i SQLite, med samma kolumner på D1. Skapa tre tabeller i en lokal fil agent.db, så kan du spara en körning i dag. agent_checkpoint har run_id som primärnyckel, sedan state, step, tokens_used, fail_count, last_committed, approval_token och code. Kolumnen code sparar stoppkoden och är tom tills värdprogrammet skriver en. episodic_action har primärnyckeln run_id plus action_id, sedan status, tool och detail. semantic_fact har fact_key som primärnyckel och fact_value bredvid. Efter varje sparad åtgärd gör värdprogrammet en upsert av checkpointen: lägg in run_id, och vid konflikt uppdatera de sju övriga fälten. Återupptagning är en select på run_id. Värdprogrammet fortsätter från det sparade tillståndet och det sparade steget. Samma run_id öppnas en gång till från INTAKE först när raden saknas.

Lokala verktyg är edit_file och run_tests. Deras episodrad skrivs först när kroppen har svarat, i samma commit som checkpointen. Om den commiten aldrig landade saknas åtgärds-id, och återupptagningen får köra den lokala kroppen en gång. Den externa skrivningen i lektionen är push_branch. Värdprogrammet lägger in åtgärden med status intent och committar den raden före nätverksanropet. Vid återupptagning betyder status intent att grenen redan kan ha flyttats, så push-kroppen körs 0 gånger och tillståndet blir HALTED med koden push_uncertain. Status committed betyder att kroppen redan är klar: återupptagningen kör den kroppen 0 gånger och behåller den sparade detail-texten. En andra process som läser tillstånd DONE och last_committed act-8 gör alltså 0 ytterligare push. Upserten du kan köra för kraschen i exemplet är INSERT INTO agent_checkpoint (run_id, state, step, tokens_used, fail_count, last_committed, approval_token, code) VALUES ('fix-9', 'EDIT', 4, 2200, 1, 'act-4', NULL, NULL) ON CONFLICT(run_id) DO UPDATE SET state = excluded.state, step = excluded.step, tokens_used = excluded.tokens_used, fail_count = excluded.fail_count, last_committed = excluded.last_committed, approval_token = excluded.approval_token, code = excluded.code. En select på fix-9 läser sedan tillbaka samma värden.

Episodrader, semantiska rader och testloopen

Episodiskt minne är raderna i episodic_action för ett run_id: plantexten, testutskriften, ett avvisande. Ett nytt run_id läser 0 rader från varje annat run_id. Semantiskt minne är semantic_fact, och senare körningar får läsa den. Lektionen använder ett faktum, sparat av en tidigare körning efter att en person bekräftat kommandot: fact_key test_command, fact_value python3 -m pytest -q tests/test_cents.py. Supervisor läser den enda raden under INTAKE och ger kommandot till workern. Modellen får ingen chans att hitta på ett annat kommando. Körning fix-10, med ett nytt run_id, läser också den enda semantiska raden, och den läser 0 episodrader från fix-9, så raden expected 900 got 452 stannar inuti fix-9.

Testloopen är övergången ut ur TEST, räknad på checkpointen. Ett fallerande run_tests som tar fail_count från 2 till 3 sparar HALTED med tests_exhausted, och ytterligare en edit_file startar 0 gånger. Medan räkningen är 1 eller 2 är nästa tillstånd EDIT, och nästa prompt tar med detail-texten från den episodraden. Ett godkänt test lämnar räkningen oförändrad. Tre misslyckanden betyder alltså tre sparade körningar av run_tests och tre sparade redigeringar, och den fjärde redigeringen startar aldrig. Utskriftsraden är underlag för nästa redigering. Den är en episod-detail för det här run_id, och den semantiska tabellen får ingen ny rad av den.

Kretsbrytare och pausen för godkännande

Två kretsbrytare kontrolleras innan en kropp startar. Stegtaket är 10. Steg 1 till och med 10 får starta. Åtgärden som skulle bli steg 11 startar aldrig, kroppen körs 0 gånger och värdprogrammet sparar HALTED med step_breaker. Tokentaket är 4000. Värdprogrammet adderar åtgärdens angivna tokenuppskattning till tokens_used. När summan är större än 4000 startar kroppen aldrig och värdprogrammet sparar HALTED med token_breaker. Körning cap-2 står på steg 9 med tokens_used 3700, och nästa uppskattning är 500. 3700 + 500 = 4200, vilket är större än 4000, så den kroppen körs 0 gånger, koden är token_breaker och steget stannar på 9. Ett avvisande kostar sina angivna token och ökar steget, så en körning som fortsätter att erbjuda en felaktig push når ändå stegtaket.

AWAIT_APPROVAL är pausen där en människa ska säga ja före push_branch. Värdprogrammet bygger en digest av tre delar med enkla mellanslag: sorten push, målet och antalet byte. För en patch på 860 byte mot main är digesten push main 860. Räkna tecknen: push är 4, ett mellanslag, main är 4, ett mellanslag, och 860 är 3, så digesten har 13 tecken. Godkännandetoken, personens signatur i den här lektionen, är bokstäverna ok:, sedan digesten, sedan #, sedan det teckentalet. Personen skriver in den i godkännandefältet. En sträng inuti modellens verktygsargument räknas bort. Värdprogrammet räknar om digesten och teckentalet, och det kör skrivningen bara när hela token stämmer. Token som stämmer är ok:push main 860#13. En avvikelse lämnar tillståndet på AWAIT_APPROVAL, kör push-kroppen 0 gånger och lämnar last_committed orörd. En träff är det enda fallet där kroppen körs, och den körs en gång: värdprogrammet sätter WRITE medan kroppen körs, och committar sedan DONE tillsammans med status committed. Raden du läser efter en ren avslutning säger DONE.

Ett exempel

Körning fix-9, räknad för hand

Ärendet säger att add_cents(2, 450) ska ge 900. Filen ger 2 + 450 = 452. Produkten 2 × 450 är 900, och det är det returvärde den andra redigeringen skriver. Den semantiska raden ger python3 -m pytest -q tests/test_cents.py. Angivna kostnader: read_ticket 300, write_plan 700, första edit_file 800, första run_tests 400, andra edit_file 500, andra run_tests 400, en avvisad push 20, en slutförd push 200. Worker-objektet är parent fix-9, worker w1, verktyg edit_file och run_tests, max_steps 4.

Steg 1, act-1, read_ticket, tokens_used 300, tillstånd PLAN. Steg 2, act-2, write_plan, tokens_used 1000, tillstånd EDIT. Planen säger att funktionen ska returnera produkten. Steg 3, act-3, edit_file, tokens_used 1800, tillstånd TEST. Det är worker-åtgärd 1. Steg 4, act-4, run_tests, slutkod 1, detail expected 900 got 452, fail_count 1, tokens_used 2200, tillstånd EDIT. Det är worker-åtgärd 2. Committen landar, sedan dör processen. Checkpointen är run_id fix-9, state EDIT, step 4, tokens_used 2200, fail_count 1, last_committed act-4, approval_token tom, code tom. En select på den raden är kraschen, på papper.

Återupptagningen läser raden. act-1 till och med act-4 har status committed, så var och en av de kropparna körs 0 gånger till. Kroppen för act-4 har körts 1 gång. Steg 5, act-5, edit_file sätter returvärdet till produkten, tokens_used 2700, tillstånd TEST. Worker-åtgärd 3. Steg 6, act-6, run_tests, slutkod 0, detail 1 passed, fail_count stannar på 1, tokens_used 3100, tillstånd AWAIT_APPROVAL. Worker-åtgärd 4. Worker-taket är nu fullt, så en femte worker-åtgärd startar aldrig. Supervisor fortsätter. Patchen är 860 byte och målet är main, så token som kan gå igenom är ok:push main 860#13.

Steg 7, act-7, modellen namnger push_branch och godkännandefältet är tomt. Token träffar fel. Push-kroppen körs 0 gånger, grenen stannar på den gamla committen, last_committed stannar på act-6, tokens_used blir 3120, tillståndet stannar på AWAIT_APPROVAL och episodraden sparar status denied. Steg 8, act-8, personen har lagrat ok:push main 860#13. Hela strängen stämmer. Push-kroppen körs en gång, grenen flyttas en gång, tokens_used blir 3320, episodraden sparar status committed och checkpointen sparar DONE med den token i approval_token. En senare återupptagning ser den committade raden och kör push-kroppen 0 gånger. Åtta episodrader ligger under run_id fix-9. Körning fix-10 läser 0 av dem och läser den enda semantiska raden test_command. Om act-8 hade lämnats på status intent skulle den återupptagningen också köra push-kroppen 0 gånger och spara HALTED med push_uncertain. Ytterligare en åtgärd uppskattad till 800 token skulle bli 3320 + 800 = 4120, vilket är större än 4000, så den kroppen skulle köras 0 gånger och koden skulle bli token_breaker.

Övning

Körning fix-12 på papper

Använd samma övergångar, samma tak och samma tokenregel. fix-12 ska ge 3 × 250 = 750 cent. Filen ger 3 + 250 = 253. Kostnader: read_ticket 200, write_plan 300, edit_file 600, run_tests 250 med slutkod 1 och detail expected 750 got 253. Processen dör efter den commiten. Vid återupptagning kostar nästa edit_file 400 och sätter returvärdet till produkten. Nästa run_tests kostar 250, får slutkod 0 och sparar detail 1 passed. Ett avvisande kostar 30 token. Patchen är 640 byte mot main, och den första erbjudna token är ok:push main 100#13. Den slutförda pushen kostar 100 token. Skriv checkpointen vid kraschen, token som stämmer, tokens_used vid DONE, hur många gånger den första testkroppen har körts, hur många gånger grenen flyttas, och vad körning fix-13 läser in. Tillämpa sedan cap-2 och regeln för ett fallerande test när fail_count redan är 2.

Kraschen är state EDIT, step 4, tokens_used 1350, fail_count 1, last_committed act-4. Summan är 200 + 300 + 600 + 250 = 1350. Digesten push main 640 har 13 tecken, så token som stämmer är ok:push main 640#13. Den erbjudna token anger 100 byte, så push-kroppen körs 0 gånger och tillståndet stannar på AWAIT_APPROVAL. tokens_used går från 1350 med 400 + 250 + 30 till 2030 vid avvisandet, sedan med 100 till 2130 vid DONE, steg 8. Den första testkroppen har körts 1 gång. Grenen flyttas en gång. fix-13 läser 0 episodrader från fix-12 och läser 1 semantisk rad, test_command. cap-2 startar den åtgärd som kostar 500 token aldrig, eftersom 3700 + 500 = 4200 är större än 4000, och koden är token_breaker. Ett fallerande test som tar fail_count från 2 till 3 sparar HALTED med tests_exhausted, och ytterligare en edit_file startar 0 gånger.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Vid kraschen i fix-9, vad är tokens_used, och hur många gånger har kroppen för act-4 körts efter en korrekt återupptagning?

2200. Kroppen för act-4 har körts 1 gång. Återupptagningen kör den sparade kroppen 0 gånger till.

Vilken är godkännandetoken för en push på 860 byte mot main, och hur många gånger flyttas grenen i fix-9?

ok:push main 860#13. Grenen flyttas en gång, på den token som stämmer i steg 8. Det tomma fältet i steg 7 flyttar den 0 gånger.

run_tests fallerar när fail_count redan är 2. Vad blir fail_count, vilken kod sparas, och hur många ytterligare edit_file startar?

fail_count blir 3. Värdprogrammet sparar HALTED med tests_exhausted. Ytterligare edit_file startar 0 gånger.

Återupptagningen hittar pushen med status intent. Hur många gånger kör den här återupptagningen push-kroppen, vilken kod sparas, och hur många episodrader från fix-9 läser körning fix-10?

Push-kroppen körs 0 gånger, och värdprogrammet sparar HALTED med push_uncertain. fix-10 läser 0 episodrader från fix-9.

Ta med dig

En körning fortsätter från checkpoint-raden, ett sparat åtgärds-id kör sin kropp en gång, och en push körs bara från AWAIT_APPROVAL när personens token stämmer med digesten. Stegtaket, tokentaket och ett tredje testfel stoppar var för sig körningen med en kod du kan läsa på raden.

Slutuppgift

Lämna in ett tillståndsbevarande agentarbetsflöde som klarar 35 automatiserade tillståndsmaskinstester som verifierar återupptagning från checkpoint utan duplicerade åtgärder, hård kretsbrytaravslutning vid gränsen för token/steg och 100 % blockering av irreversibla verktygsanrop tills en signerad godkännandetoken tillhandahålls.

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan