Hoppa till innehållet
POLARISAI ACADEMY
R01-101 · Navigatör

Resonemangsmönster och schemastyrning

Efteråt kan du köra sex steg på en kort butiksanteckning, sätta en etikett från en fast taxonomi och underkänna ett JSON-objekt som bryter mot ett schema du kontrollerar för hand.

Nivå
Navigatör
Tid
18 h (uppskattning)
Förkunskap
F01–F07
Kurs 1 av 4
Hoppa till

Efter kursen kan du

Eleven kan bygga en flerstegspipeline för extraktion och klassificering som producerar JSON som är till 100 % schemagiltig, med exakta källradscitat, över 50 frysta multimodala dokument.

Sex steg, skrivna före objektet

Chain-of-thought, en kedja av mellansteg som ska stå på sidan, är här sex steg i fast ordning före JSON-objektet. Steg 1 numrerar varje icke-tom källrad från 1, i läsordning. Steg 2 räknar net, nettobeloppet. Steg 3 räknar tax, skatten, och gross, summan med skatt. Steg 4 väljer en etikett. Steg 5 bygger listan med citerade radnummer. Steg 6 skriver objektet och en stopprad. Varje steg visar sina indata och sitt enda resultat. När gross i objektet skiljer sig från gross i steg 3 underkänner du svaret i det steget. En naken summa, med räkningen oskriven, ger ingen rad att kontrollera.

Pengarregeln är densamma på varje anteckning. Läs raderna uppifrån och ta den första rad som innehåller Qty, sedan ett heltal Q, sedan at, sedan ett tal U, sedan each. I anteckningarna här skrivs U med två decimaler. Den raden är nQ, och net = Q gånger U. Om ingen rad har den formen är net null och nQ saknas. Om net är ett tal tar du det första stycket som innehåller tax, sedan ett heltal R, sedan percent. Då blir tax = net gånger R / 100 och gross = net + tax, och nT är raden där stycket stod. Om net är ett tal och stycket saknas är tax null och gross null. Om net är null är tax null och gross null, och du lämnar skattestället oläst. Bindningarna heter K1, K2 och K3. K1: null i net tvingar null i tax och null i gross. K2: ett saknat skatteställe tvingar null i tax och null i gross. K3: ett funnet stycke sätter tax och gross med de två formlerna. K4, i steg 6: lines ska vara listan från steg 5, i den ordningen.

Öva räkningen på en rad. Källraden har tecknen Qty 4 at 12.50 each, tax 25 percent, med punkt i talet eftersom källan är skriven så. Värdet av U är 12,50. Skriv C1 som kopian 4, 12,50 och 25. Skriv C2 som net = 4 gånger 12,50 = 50,00. Skriv C3 som tax = 50,00 gånger 25 / 100 = 12,50. Den långa vägen är 50,00 gånger 25 = 1250,00 och sedan 1250,00 / 100 = 12,50. Skriv C4 som gross = 50,00 + 12,50 = 62,50. En kedja som skriver 4 gånger 12,50 = 48,00 har fallerat på C2. Senare rader som korrekt tar 25 procent av 48,00 underkänns ändå, eftersom de ärvde den felaktiga produkten. En siffra som C1 aldrig kopierade stannar utanför C2, C3 och C4.

Vad varje steg får läsa

Nedbrytning, decomposition, betyder att varje steg har namngiven indata och namngiven utdata, och att steget stannar inom den överlämningen. Steg 2 får läsa den numrerade avskriften och får skriva net och nQ. Det väljer ingen etikett. Steg 3 får läsa avskriften, net och nQ, och får skriva tax, gross och nT. Det lämnar net orörd. Steg 4 får läsa avskriften och får läsa om net är null. Det skriver bara etiketten och kör ingen ny multiplikation. Steg 5 får läsa nQ, nT och etiketten, och skriver bara listan lines. På papper täcker du över avskriften när du gör steg 5. Behöver du ändå en mening du glömde att citera är steg 4 eller steg 2 ofullständigt, och du går tillbaka och vidgar det steget.

När källan är ett foto eller en skannad sida är steg 1 en avskrift. Du skriver en numrerad rad för varje synlig rad som senare steg får använda, och du kör steg 2 till 6 enbart på den avskriften. En stämpel, en logotyp eller en handskriven summa som aldrig blev en numrerad rad saknar hänvisning. Den stannar utanför net, tax, gross och lines. Objektet lagrar radnummer, inte pixelpositioner. Märker du senare en missad stämpel lägger du till en rad i avskriften och räknar om från steg 2. Du lämnar det gamla gross orört tills den nya kedjan ger samma tal.

Steg 5 bygger lines med en procedur. Börja med en tom lista. Finns nQ lägger du till den. Finns nT och skiljer den sig från nQ lägger du till nT. Är etiketten REFUND lägger du till varje radnummer vars text innehåller hela ordet refund eller hela ordet return. Är etiketten QUESTION lägger du till 1. Är etiketten OTHER lägger du till 1. Sortera stigande och ta bort dubbletter. Varje anteckning här har minst en källrad, och proceduren ger då minst ett heltal. K4 säger att objektet ska använda den listan oförändrad. En ORDER-anteckning citerar bara pengaraderna. En REFUND-anteckning citerar pengaraderna och varje rad som bar det vinnande ordet. Högst en qty-rad och ett skatteställe finns i de här anteckningarna. Har en senare anteckning två tar du den första av varje och lämnar resten.

Fyra etiketter, första träff vinner

Taxonomin har fyra etiketter, och testen körs i en ordning. Första testet som träffar vinner. Senare test hoppas över, även test som också skulle ha träffat. Gör raden till gemener före ett ordtest. Ett helt ord har ett icke-bokstavstecken på varje sida, och radens början och slut räknas som en sida. Ordet returned missar return, eftersom en bokstav följer. Ordet prefund missar refund, eftersom en bokstav står före. Test 1, REFUND: någon rad innehåller hela ordet refund eller hela ordet return. Test 2, ORDER: net är ett tal. Test 3, QUESTION: sista tecknet på rad 1 är ?. Test 4, OTHER: de tre testen ovan missade. Ordningen ingår i definitionen. Lämnar du ordningen osagd kan samma anteckning få två etiketter vid två körningar.

Fem enradiga anteckningar fäster de lätta fallen. Anteckning R är Refund 40.00 for order 18. Hela ordet refund träffar på rad 1. Qty-formen saknas, så net, tax och gross är null. Etiketten är REFUND och lines är [1]. Anteckning O är Qty 2 at 10.00 each. net = 2 gånger 10,00 = 20,00. Skattestället saknas, så tax och gross är null. REFUND-testet missar. net är ett tal, så etiketten är ORDER och lines är [1]. Anteckning Q är Where is order 18? Siffrorna 18 är ett ordernummer. Qty-formen saknas, så de tre penningfälten är null. REFUND missar. ORDER missar. Rad 1 slutar med ?, så etiketten är QUESTION och lines är [1]. Anteckning T är Thanks for the help. De tre penningfälten är null, REFUND missar, ORDER missar, och rad 1 slutar med punkt, så etiketten är OTHER och lines är [1]. Anteckning M är Can I return this and get 40.00 back? Hela ordet return träffar. Qty-formen saknas, så penningfälten är null. Etiketten är REFUND och lines är [1]. QUESTION-testet hoppas över på anteckning M, trots att rad 1 slutar med ?.

Anteckning W har två rader, så du kan se ORDER slå ett frågetecken. Rad 1 är Where is order 7? Rad 2 är Qty 2 at 10.00 each. net = 2 gånger 10,00 = 20,00. Skattestället saknas, så tax och gross är null. REFUND missar. ORDER träffar eftersom net är ett tal, och QUESTION-testet hoppas över. nQ är 2, så lines är [2]. För R, O, Q, T, M och W blir etiketterna REFUND, ORDER, QUESTION, OTHER, REFUND och ORDER. Två anteckningar är REFUND. Ingen anteckning får två etiketter. Ett frågetecken avgör etiketten bara när REFUND missade och net är null.

Schemaregler, stoppsträng, straff

JSON Schema, ett schema för vilket JSON som får godkännas, är här fem kontroller med pennan på ett objekt. Nycklarna heter label, net, tax, gross och lines, och de namnen står kvar på engelska eftersom kontraktet använder de identifierarna. R1 faller när någon av de fem nycklarna saknas. R2 faller om label inte är exakt REFUND, ORDER, QUESTION eller OTHER. R3 faller om inte net, tax och gross var för sig är ett JSON-tal eller JSON-null. Strängen 20 faller på R3. Strängen null faller på R3. Tecknen 20, 20.0 och 20.00 är samma JSON-tal, och vart och ett klarar R3. I löptexten skriver jag decimalkomma, som 20,00. I JSON-objektet står punkt, eftersom formatet kräver punkt. R4 faller om lines inte är en lista av JSON-heltal med längd minst 1. En tom lista faller på R4. Talet 2,5 i listan faller på R4. R5 faller när någon extra nyckel finns. I schemaspråk är additionalProperties false samma krav som R5, enum samma krav som R2, och minItems 1 samma krav som R4.

Kontrollera fem objekt mot de reglerna. V är {"label":"ORDER","net":20,"tax":null,"gross":null,"lines":[1]}. V klarar R1 till R5, och det klarar K1 till K3. B är {"label":"ORDER","net":"20","tax":null,"gross":null,"lines":[1]}. B faller på R3 eftersom net är en sträng. X är {"label":"ORDER","net":20,"tax":null,"gross":null,"lines":[1],"note":"ok"}. X faller på R5 eftersom note är en extra nyckel. G är {"label":"ORDER","net":null,"tax":null,"gross":20,"lines":[1]}. G klarar R1 till R5 och faller på K1, eftersom gross är 20 medan net är null. L är {"label":"OTHER","net":null,"tax":null,"gross":null,"lines":[]}. L faller på R4. Pydantic är ett Python-bibliotek som kontrollerar fält mot typer. Rikta det mot samma fem fält, avvisa extra nycklar och avvisa en sträng där ett tal krävs, så avvisar det B och X av samma skäl som R3 och R5. R3 godtar både 20 och 20.0. När biblioteket och pennreglerna är oense behåller du pennreglerna.

En stoppsekvens, stop sequence, är en sträng som avslutar genereringen när urvalet skriver ut den. Stoppsträngen här är skiftlägeskänslig, och den är en rad vars tecken är exakt END. Du skriver de sex stegen och objektet utan följden av de tre versalerna E, N och D, och sedan skriver du den raden. En stopp på strängen END klipper svaret vid första förekomsten, så de versalerna stannar borta från kedjan. Stoppsträngen kontrollerar inga typer. Du kör fortfarande R1 till R5 på den färdiga texten. Temperatur, frequency penalty F och presence penalty P ändrar poängen före dragningen. F växer med antalet tidigare träffar. P dras en gång så snart kandidaten har förekommit. De lämnar schemat orört. Lektionens formel är justerad = poäng - F gånger antal - P gånger förekomst. antal är hur många gånger kandidaten redan skrivits ut. förekomst är 1 när antal är minst 1, och 0 när antal är 0. Temperatur 0 behåller den vinnande justerade poängen. Vid lika justerad poäng vinner den kandidat som står tidigare i listan. Du räknar de justerade poängen, inte en hel softmax.

Poängsätt kandidaterna i ordningen brace, quote, zebra, med råpoäng 2, 2 och 1. Svaret har redan använt brace en gång och quote fyra gånger, och har aldrig använt zebra, så antalen är 1, 4 och 0. Vid F=1 och P=0 blir de justerade poängen 2 - 1 gånger 1 - 0 = 1, 2 - 1 gånger 4 - 0 = -2, och 1 - 0 - 0 = 1. Brace och zebra är lika, och brace vinner eftersom den står tidigare. Vid F=0 och P=1 blir poängen 2 - 0 - 1 = 1, 2 - 0 - 1 = 1, och 1 - 0 - 0 = 1. Alla tre är lika, och brace vinner. Vid F=1 och P=1 blir poängen 2 - 1 - 1 = 0, 2 - 4 - 1 = -3, och 1 - 0 - 0 = 1. Zebra vinner. För ett schemaobjekt sätter lektionen temperatur 0, F=0 och P=0, så formeln drar inte av något. Vid de inställningarna stannar poängen på 2, 2 och 1, brace och quote är lika, och brace vinner på den tidigare platsen. Raden F=1 och P=0 är varningen: ett frekvensstraff på 1 drar ner citattecknet, som JSON fortfarande behöver, till -2.

Ett exempel

Lampanteckningen, från början till slut

Avskriften har tre rader. Rad 1 är Please refund the lamp. Rad 2 är Qty 3 at 15.00 each, tax 10 percent. Rad 3 är Ship to the desk. Steg 1 skriver de tre numren och inga andra. Steg 2 hittar qty-formen på rad 2, med Q = 3 och U = 15,00. C2 skriver net = 3 gånger 15,00 = 45,00, och nQ = 2. Rad 1 och rad 3 saknar qty-formen. Steg 3 hittar tax 10 percent på rad 2, så R = 10 och nT = 2. C3 skriver tax = 45,00 gånger 10 / 100 = 4,50. C4 skriver gross = 45,00 + 4,50 = 49,50. Eftersom nT är lika med nQ lägger steg 5 till den raden en gång.

Steg 4 gör avskriften till gemener. Rad 1 innehåller hela ordet refund, med mellanslag runt om. REFUND träffar direkt. ORDER hoppas över trots att net är 45,00. QUESTION hoppas över. Testet som träffade är ordtestet för refund, och etiketten är REFUND. Steg 5 börjar tomt, lägger till nQ = 2, hoppar över en andra kopia av nT eftersom den är lika med nQ, och lägger till rad 1 eftersom etiketten är REFUND och rad 1 bär refund. Rad 3 bär varken ordet eller pengarna. Sorterade unika rader är [1, 2]. Steg 6 skriver {"label":"REFUND","net":45.00,"tax":4.50,"gross":49.50,"lines":[1,2]} och sedan en rad vars tecken är exakt END. R1 till R5 klaras. K1 till K4 klaras. I JSON står punkt: 45.00, 4.50 och 49.50. I löptexten är samma värden 45,00, 4,50 och 49,50.

Två närliggande fel visar varför kedjan ska ligga kvar på sidan. Om C4 hade skrivit 45,00 + 4,50 = 49,05 skulle du underkänna vid C4, och du skulle vägra ett JSON-gross på 49.05 eller på 49.50 tills C4 och objektet visar samma summa. 45,00 + 4,50 är 49,50, så 49,05 faller på additionen. Om avskriften tappar rad 1 saknas ordet refund, REFUND missar, och ORDER träffar på net 45,00. lines blir då [2]. Objektet är {"label":"ORDER","net":45.00,"tax":4.50,"gross":49.50,"lines":[2]}. Det objektet är den riktiga läsningen av den kortare avskriften och den felaktiga läsningen av de ursprungliga tre raderna. Kedjan visar vilken avskrift du använde.

Övning

Kör en ny anteckning på papper

Använd reglerna ovan på den här avskriften. Rad 1 är Where is the lamp? Rad 2 är Qty 5 at 8.00 each. Rad 3 är No tax on this note. Skriv net, tax, gross, etiketten, vilket test som hoppades över, och lines. Skriv sedan objektet och stoppraden. Markera därefter V, B, X, G och L som godkända eller underkända enligt schemat, och säg om G klarar K1. Räkna till sist, från råpoängen 2, 2 och 1 och antalen 1, 4 och 0, de justerade poängen vid F=1 och P=0, namnge vinnaren, och skriv den temperatur, det F och det P som lektionen sätter för ett schemaobjekt.

Rad 2 träffar Qty 5 at 8.00 each, så net = 5 gånger 8,00 = 40,00 och nQ = 2. Orden No tax on this note saknar formen tax, sedan ett heltal, sedan percent, så skattestället saknas. tax är null och gross är null. Ingen rad innehåller hela ordet refund eller return. net är ett tal, så etiketten är ORDER, och QUESTION-testet hoppas över trots att rad 1 slutar med ?. lines är [2]. Objektet är {"label":"ORDER","net":40.00,"tax":null,"gross":null,"lines":[2]} följt av en rad END. V klarar schemat. B faller på R3. X faller på R5. G klarar schemat och faller på K1. L faller på R4. De justerade poängen är 1, -2 och 1, och brace vinner vid lika poäng. Lektionen sätter temperatur 0, F=0 och P=0 för schemaobjektet.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

På raden Qty 4 at 12.50 each, tax 25 percent, vad blir net, tax och gross?

50,00, 12,50 och 62,50. Vägen är 4 gånger 12,50 = 50,00, sedan 50,00 gånger 25 / 100 = 12,50, sedan 50,00 + 12,50 = 62,50.

I lampexemplet med tre rader, vilken är etiketten, vad är gross, och hur ser lines ut?

REFUND, 49,50 och [1, 2]. Rad 1 citeras eftersom den innehåller hela ordet refund. Rad 2 är qty-raden, och skattestället står på samma rad.

Vilka av V och G klarar reglerna R1 till R5, och vilken kedjeregel faller G på?

Både V och G klarar R1 till R5. G faller på K1, eftersom gross är 20 medan net är null.

Med råpoäng 2, 2 och 1 för brace, quote och zebra, och antalen 1, 4 och 0, vad blir de justerade poängen vid F=1 och P=0, vilken kandidat vinner, och vilken temperatur, vilket F och vilket P sätter lektionen för ett schemaobjekt?

De justerade poängen är 1, -2 och 1. Brace vinner vid lika poäng eftersom den står tidigare i listan. Lektionen sätter temperatur 0, F=0 och P=0.

Ta med dig

En extraktion du kan kontrollera skriver de sex stegen, använder en taxonomi i fast ordning och håller objektet innanför R1 till R5 och K1 till K4. Temperatur 0 med F och P på 0 håller dragningen på den ledande token, och stoppraden END avslutar bara texten. Räkningen i kedjan och talen i objektet ska fortfarande stämma.

Slutuppgift

Lämna in ett extraktionsskript och en schemavaliderare som klarar automatiska kontroller på 50 frysta fixture-dokument och matchar de nycklade klassificeringsetiketterna och radcitaten på ≥45/50 poster.

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan