Hoppa till innehållet
POLARISAI ACADEMY
R01-201 · Navigatör

Kontextteknik och komprimering

Efteråt kan du packa fyra korta stycken, 16 token, i en prompt på 40 token. Hela korpusen är sju korta stycken, 29 token, och tre av de styckena lämnas utanför. Du behåller alla tre nyckelmeningar, lägger varje nyckeltoken utanför mittenbandet och får prefixträff 5/5 och prefixåteranvändning 0,80 på en trace med fem frågor.

Nivå
Navigatör
Tid
20 h (uppskattning)
Förkunskap
R01-101
Kurs 2 av 4
Hoppa till

Efter kursen kan du

Eleven kan packa och beskära en dokumentsamling på 200 sidor så att den ryms inom en fast tokenbudget, samtidigt som ≥80 % återanvändning av cache-prefix uppnås och 100 % av de nycklade svarsfakta bevaras.

Nycklar först, sedan sidordning

I den här lektionen är en token en bit du får när du delar texten vid mellanslag. Budgeten B är 40 token. Trettiotvå av dem är prefixet, den ledande raden som ska vara identisk från token 1 i varje fråga i trace:n. En trace är fem frågor i rad mot samma frysta stycken. De andra 8 token är svansen, och svansen får bytas när frågan byts. 32 plus 8 är 40, så marginalen är 0. Prefixet rymmer reglerna, två kopior av nyckelindexet och de stycken du behöll. Svansen rymmer ett few-shot-exempel och frågan. Few-shot betyder här ett exempel på 4 token som visar svarsformen, valt för den fråga du svarar på nu.

Regelraden lyder Follow these rules. Cite spans. Keep keys verbatim. Dela den i Follow, these, rules., Cite, spans., Keep, keys, verbatim. Det är 8 token, och de 8 inleder varje packad prompt. Nyckelindexet lyder Keys fee=40 hours=20 city=Lund. Dela det i Keys, fee=40, hours=20, city=Lund. Det är 4 token. Du skriver indexet två gånger, en gång efter reglerna och en gång efter styckena, så indexen kostar 8. Utrymmet för stycken inne i prefixet är 32 minus 8 minus 8, alltså 16. Två genomgångar som reserverar samma block och sedan fyller de 16 med samma sortering skriver samma 32 prefixtoken.

Sju stycken är hela korpusen för handräkningen. Sida 1, nyckel, k1: The fee is 40, 4 token, nyckeltoken fee=40. Sida 2, nyckel, k2: The hours are 20, 4 token, nyckeltoken hours=20. Sida 3, utfyllnad, f4: Lobby has green plants, 4 token. Sida 4, utfyllnad, f5: Staff meet every Monday, 4 token. Sida 5, utfyllnad, f6: Stairs sit by the door, 5 token. Sida 6, utfyllnad, f7: Coffee is free today, 4 token. Sida 8, nyckel, k3: The city is Lund, 4 token, nyckeltoken city=Lund. Ett nyckelstycke är en av de tre hela meningarna. Ett utfyllnadsstycke får lämna packningen. Sex stycken har längden 4 och ett har längden 5, så korpusen är 24 plus 5, alltså 29 token. 29 är större än 16, så några stycken stannar utanför.

Sortera nyckelstycken före utfyllnad, och bryt övriga likheter med stigande sidnummer. Ordningen du prövar är k1, k2, k3, f4, f5, f6, f7. Ta nästa stycke när längden fortfarande ryms i de 16. k1 tar 4 och lämnar 12. k2 tar 4 och lämnar 8. k3 tar 4 och lämnar 4. f4 tar 4 och lämnar 0. f5 behöver 4 när 0 är kvar, så f5 stannar ute. f6 behöver 5 och stannar ute. f7 behöver 4 och stannar ute. Kvar är k1, k2, k3 och f4, och 4 plus 4 plus 4 plus 4 är 16. Stycketäckning är hur många av de tre hela meningarna som finns med. Här är täckningen 3 av 3. Sidordning hoppar över nyckel-först och går sida 1, 2, 3, 4, 5, 6 och sedan 8. k1 lämnar 12, k2 lämnar 8, f4 lämnar 4, f5 lämnar 0, och f6, f7 och k3 stannar ute. Den packningen behåller k1, k2, f4 och f5. Hela meningen The city is Lund saknas, så stycketäckningen är 2 av 3.

Mittenbandet och de två indexen

Numrera den färdiga prompten från token 1 till token 40. Mittenbandet är token 13 till och med 28, hela styckeblocket. Token 1 till och med 12 och token 29 till och med 40 ligger utanför bandet. Skälet till bandet är lost in the middle: uppmätt användning av en lång prompt kan vara svagare för token i mitten än för token nära början och nära slutet. Du uppskattar inte den effekten här. Du lägger varje nyckeltoken utanför bandet och läser sedan av indexet. Blocken ligger fast i en godtagen packning. Token 1 till och med 8 är reglerna. Token 9 till och med 12 är första nyckelindexet. Token 13 till och med 28 är de fyra behållna styckena i sidordning. Token 29 till och med 32 är andra nyckelindexet. Token 33 till och med 36 är few-shot-exemplet. Token 37 till och med 40 är frågan.

Sidordning bland de behållna styckena ger k1, sedan k2, sedan f4, sedan k3. Token 13 till och med 16 är The fee is 40. Token 17 till och med 20 är The hours are 20. Token 21 till och med 24 är Lobby has green plants. Token 25 till och med 28 är The city is Lund. Meningen om timmar börjar på token 17, inne i bandet. Meningen om staden börjar på token 25, inne i bandet. Meningen om avgiften börjar på token 13, som också ligger i 13 till och med 28. Första indexet är fyra token: 9 Keys, 10 fee=40, 11 hours=20, 12 city=Lund. Andra indexet upprepar dem: 29 Keys, 30 fee=40, 31 hours=20, 32 city=Lund. En Keep-token är täckt när just den token finns minst en gång utanför bandet. fee=40 är täckt på 10 och på 30. hours=20 är täckt på 11 och på 31. city=Lund är täckt på 12 och på 32. Täckta nycklar är 3 av 3.

Den hela meningen och Keep-token är olika bitar. The city is Lund delas i The, city, is, Lund. Keep-token city=Lund är en enda bit, och den står på 12 och på 32. Att hitta meningen är stycketäckningen. Att hitta den enstaka token utanför bandet är kantkontrollen. En packning godkänns när stycketäckningen är 3 av 3, varje Keep-token står minst en gång utanför token 13 till och med 28, och längden är 40. Tar du bort båda indexraderna finns de tre Keep-token ingenstans, så den täckta räkningen är 0 av 3, även om de tre meningarna fortfarande fyller styckeblocket. Meningarna ligger i bandet och ger alltså ingen kantkopia. Sidordning kan behålla indexet, eftersom indexet kopieras från Keep-raden, och ändå falla på godkännandet: kantantalet stannar på 3 av 3 medan stycketäckningen sjunker till 2 av 3, eftersom The city is Lund aldrig kommer in bland token 13 till och med 28.

Cache-prefixet och few-shot-svansen

Det kanoniska prefixet är token 1 till och med 32 i den godkända avgiftspackningen, och svansen ligger utanför det prefixet. Prompt caching, att tjänsten sparar arbetet som redan är gjort för en ledande rad, gäller när nästa anrop upprepar den raden från token 1. En annan token 1 gör att det sparade arbetet inte fäster vid den nya prompten. En annan token 33 lämnar de första 32 kvar att återanvända. Prefixträff är antalet promptar i trace:n som börjar med alla 32 kanoniska token, delat med antalet promptar. Prefixåteranvändning är summan av de delade ledande raderna, delad med summan av promptlängderna. Fem promptar på 40 token ger nämnaren 5 gånger 40, alltså 200. Samma två tal räknar du när en fryst korpus är hundratals sidor. Du packar fortfarande en gång in i prefixet, lämnar fortfarande frågan i svansen och delar fortfarande de två summorna. De sju styckena är varianten du kan numrera för hand.

De fem frågorna är What is the fee, What are the hours, What is the city, What is the fee och What is the fee. Varje fråga är 4 token, och varje valt exempel är 4 token på plats 33 till och med 36. Alla fem promptar börjar med samma 32 token. Prefixträffen är 5/5, alltså 1. Summan av delade rader är 5 gånger 32, alltså 160. Prefixåteranvändningen är 160/200. Eftersom 200 gånger 0,80 är 160 blir återanvändningen 0,80. Ribban i den här lektionen är prefixträff minst 0,80 och prefixåteranvändning minst 0,80. Trace:n med fem promptar klarar båda. Flytta frågan What is the fee till token 1 till och med 4 i en prompt, och lämna de andra fyra promptarna som de var. Token 1 i den flyttade prompten är What, medan kanonisk token 1 är Follow, så den delade raden är 0. Prefixträffen är 4/5, alltså 0,80. Summan av delade rader är 4 gånger 32, alltså 128. Prefixåteranvändningen är 128/200, och 200 gånger 0,64 är 128, så återanvändningen är 0,64. Träffen klarar fortfarande 0,80. Återanvändningen når inte ribban förrän frågan ligger på token 37 till och med 40 igen.

Välj exemplet med en överlappning du kan räkna. Gör om till gemener, ta bort skiljetecken och stryk de här stopporden: the, is, a, are, on, of, for, what. Överlappningen är storleken på den gemensamma mängden av de ord som blir kvar. Banken har fyra rader, var och en 4 token. E1, id 1: Fee answer 40 cites. E2, id 2: Hours answer 20 cites. E3, id 3: Fee guest asks twice. E4, id 4: City answer Lund cites. För What is the fee är innehållsmängden fee. E1 delar fee och får 1. E3 delar fee och får 1. E2 får 0. E4 får 0. Vid lika tal vinner det mindre id:t, så k=1 väljer E1, och token 33 till och med 36 är Fee answer 40 cites. För What are the hours är innehållsmängden hours, E2 får 1, och valet är E2. För What is the city är innehållsmängden city, E4 får 1, och valet är E4. Exemplet står efter prefixet, så ett annat exempel byter token 33 och lämnar token 1 till och med 32 orörda. k=2 på avgiftsfrågan tar också E3. Två exempel är 8 token. Lagda på en packning på 40 token blir de 44, alltså 4 över budgeten.

Beskärning och delegeringsmallen

När prompten är över 40 tar du bort hela stycken och hela exempel. Låt varje Keep-token vara stavad som på Keep-raden. Ordningen för borttagning ligger fast. Ta först bort utfyllnadsstycken från den högsta sidan till den lägsta. Ta sedan bort dynamiska exempel från den lägsta överlappningen till den högsta, och vid lika överlappning tar du bort det större id:t först. Reglerna, båda nyckelindexen, varje nyckelstycke och frågan står kvar. Om längden fortfarande är över 40 skriver du ordet overflow och skickar ingenting. En packning som förlorat meningen The city is Lund, eller token fee=40, eller token hours=20, väntar på en ny budget. Den går inte ut med en kortare stavning av de nycklarna.

Utgå från den godkända avgiftspackningen på 40 token och lägg till E3, som är 4 token, så att summan blir 44. Överskottet är 4. Den enda utfyllnaden i den packningen är f4 på sida 3, och f4 är 4 token. Ta bort f4 så är överskottet 0. Styckeblocket är nu k1, k2 och k3, alltså 12 token. Stycketäckningen stannar på 3 av 3. Den nya layouten fram till och med andra indexet är regler 8, index 4, k1 4, k2 4, k3 4, index 4, alltså 28 token, och svansen är E1, E3 och frågan, 12 token. 28 plus 12 är 40. Mot det kanoniska 32-prefixet stannar den delade ledande raden vid 20. Token 1 till och med 20 är fortfarande reglerna, första indexet, k1 och k2. Token 21 i den beskurna packningen är The, första biten i The city is Lund. Token 21 i det kanoniska prefixet är Lobby, första biten i Lobby has green plants. Den beskurna prompten bidrar med 20, inte 32, till en återanvändningssumma, och den räknas inte som prefixträff mot de 32.

Skriv en delegeringsmall före packningen, och lämna de sex raderna till nästa genomgång. En delegeringsmall är ett fast överlämnande, så att nästa genomgång packar från raderna i stället för från minnet. Raderna och deras tokenantal är Goal pack under 40 tokens (5), Inputs pages 1 to 8 (5), Keep fee=40 hours=20 city=Lund (4), Drop filler before any key (5), Order rules index spans index example question (7) och Budget 40 (2). Addera 5 plus 5 och få 10, plus 4 och få 14, plus 5 och få 19, plus 7 och få 26, plus 2 och få 28. Mallen är 28 token. Keep-raden är listan över nyckeltoken, och den är också källan till båda indexkopiorna. Saknas den raden kan nästa genomgång gå i sidordning med styckebudget 16, behålla k1, k2, f4 och f5, och utelämna The city is Lund. Stycketäckningen blir då 2 av 3. Med Keep-raden på plats sorterar samma genomgång nyckelstycken först, och stycketäckningen stannar på 3 av 3.

Ett exempel

Avgiftsprompten, token för token

Skriv den godkända avgiftsprompten som nio grupper. Grupp A, token 1 till och med 8: Follow these rules. Cite spans. Keep keys verbatim. Grupp B, token 9 till och med 12: Keys fee=40 hours=20 city=Lund. Grupp C, token 13 till och med 16: The fee is 40. Grupp D, token 17 till och med 20: The hours are 20. Grupp E, token 21 till och med 24: Lobby has green plants. Grupp F, token 25 till och med 28: The city is Lund. Grupp G, token 29 till och med 32: Keys fee=40 hours=20 city=Lund. Grupp H, token 33 till och med 36: Fee answer 40 cites. Grupp I, token 37 till och med 40: What is the fee. Grupp A är 8 token och de andra åtta grupperna är 4 var. Åtta gånger 4 är 32, och 32 plus 8 är 40.

Läs de tre godkännandekontrollerna ur grupperna. De hela meningarna i C, D och F är The fee is 40, The hours are 20 och The city is Lund, så stycketäckningen är 3 av 3. I B är Keep-token fee=40 på 10, hours=20 på 11 och city=Lund på 12. I G är de fee=40 på 30, hours=20 på 31 och city=Lund på 32. Ingen av 10, 11, 12, 30, 31 eller 32 ligger i 13 till och med 28, så de täckta nycklarna är 3 av 3. Längden är 40. I trace:n med fem frågor bidrar den här prompten med en delad rad på 32. Fem sådana rader summerar till 160, och 160/200 är 0,80.

Två närliggande packningar faller på olika kontroller. Flytta grupp I längst fram, så blir den här promptens delade rad mot det kanoniska prefixet 0. Fyra orörda promptar bidrar fortfarande med 32 var, summan är 128, och 128/200 är 0,64, med prefixträff 4/5. Bygg grupp C till och med F i sidordning i stället, så blir grupperna The fee is 40, The hours are 20, Lobby has green plants och Staff meet every Monday. The city is Lund saknas, så stycketäckningen är 2 av 3. Grupp B och G kan fortfarande lista city=Lund, eftersom de kopieras från Keep-raden, och packningen faller ändå på stycketäckningen.

Övning

Räkna en timfråga och en bruten trace

Använd reglerna ovan. För frågan What are the hours, med k=1, ange exempel-id och skriv de fyra token på plats 33 till och med 36. Ta sedan styckebudget 16 och sidordning, ange de fyra stycke-id du behåller, och skriv stycketäckningen. Ta därefter fem promptar på 40 token där fyra delar 32-tokenprefixet och en har frågan på token 1. Skriv prefixträff och prefixåteranvändning. Utgå sedan från avgiftspackningen på 40 token, lägg till E3, ta bort f4, och skriv den delade ledande raden mot det kanoniska 32 samt ordet på token 21. Skriv till sist mallens längd och raden som listar fee=40, hours=20 och city=Lund.

Timfrågan har innehållsmängden hours, så k=1 väljer E2. Token 33 till och med 36 är Hours answer 20 cites. Sidordning med styckebudget 16 behåller k1, k2, f4 och f5, och stycketäckningen är 2 av 3 eftersom The city is Lund saknas. Den brutna trace:n har prefixträff 4/5, alltså 0,80, och prefixåteranvändning 128/200, alltså 0,64. När du lagt till E3 och tagit bort f4 är den delade ledande raden 20, och token 21 är The. Mallen är 28 token, och Keep-raden listar de tre nyckeltoken.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Med styckebudget 16 och nyckel-först, vilka fyra stycke-id behåller du, och vad blir stycketäckningen?

k1, k2, k3 och f4. Stycketäckningen är 3 av 3, eftersom The fee is 40, The hours are 20 och The city is Lund alla ligger i styckeblocket.

På fem promptar om 40 token som var och en börjar med samma prefix på 32 token, vad blir prefixträffen och prefixåteranvändningen?

Prefixträffen är 5/5, alltså 1. Prefixåteranvändningen är 160/200, alltså 0,80, eftersom 5 gånger 32 är 160 och 5 gånger 40 är 200.

I den godkända avgiftspackningen, på vilka tokenplatser står hours=20, och ligger token 17 i mittenbandet?

hours=20 står på token 11 och på token 31. Token 17 ligger i mittenbandet, token 13 till och med 28, och den är första token i The hours are 20.

Med styckebudget 16 och sidordning, vilken hel nyckelmening saknas, och vilken mallrad listar nyckeltoken som den meningen bär?

The city is Lund saknas, så stycketäckningen är 2 av 3. Keep-raden listar city=Lund, tillsammans med fee=40 och hours=20.

Ta med dig

En godkänd packning på 40 token fyller en styckebudget på 16 med nyckelstycken först, upprepar Keys fee=40 hours=20 city=Lund på token 9 till och med 12 och 29 till och med 32, och lämnar exemplet plus frågan i de sista 8 token. Fem promptar som delar de 32 prefixtoken får prefixåteranvändning 0,80. En fråga som flyttas till token 1 sänker den återanvändningen till 0,64, och sidordning sänker stycketäckningen från 3 av 3 till 2 av 3.

Slutuppgift

Lämna in ett deterministiskt program för kontextpackning som bearbetar ett fryst korpus på 200 sidor inom ett strikt tokentak, uppnår ≥80 % prefixträff över en trace med 30 frågor och behåller alla 30 nycklade evidensspann.

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan