Dataset, datatvätt och dekontaminering
Efteråt kan du välja prompt, hämtning eller fine-tune utifrån tre tokenräkningar, och sedan köra sex fasta steg som tar bort fel licens, den exakta kopian, den nära kopian, den trasiga dialogen och varje trärrad som delar ett fyrordsuttryck med det förseglade testet.
- Nivå
- Navigatör
- Tid
- 24 h

Hoppa till
Efter kursen kan du
Eleven kan bygga en deterministisk pipeline för kurering av dataset som deduplicerar rader, rensar bort PII, validerar ChatML-formatering och upprätthåller noll n-gram-kontaminering mellan train- och test-splitar.
Prompt, hämtning eller fine-tune
Ett chatsvar använder token i fönstret och vikter som ligger stilla under just det svaret. När det som saknas är text lägger den här lektionen texten på ett av tre ställen. Fönstret i varje räkning nedan rymmer 8 000 token. Jobb P är en prislista som byts varje vecka: 40 rader gånger 20 token, plus en fråga på 40 token, alltså 800 + 40 = 840 token. Listan ryms, så den ligger i prompten och du byter texten när veckan byter. En fine-tune skulle lagra en vecka inuti vikterna och fortsätta citera den veckan efter att listan har bytts.
Jobb R är en handbok på 200 sidor gånger 400 token, alltså 80 000 token. Delat med fönstret blir det 80 000 / 8 000 = 10, så boken fyller tio fönster och går inte att klistra in i en prompt. Hämtning av stycken in i prompten, retrieval-augmented generation, kallat RAG, lämnar boken på disk och kopierar de fyra stycken som matchar frågan. Fyra stycken gånger 400 token plus frågan på 40 blir 1 600 + 40 = 1 640 token. Resten av handboken, 80 000 - 1 600 = 78 400 token, stannar på disk. Jobb F är en etikett som ska ligga fast i ett år, med 2 000 granskade dialoger gånger 200 token. Ett varv läser 2 000 gånger 200 = 400 000 token, och 400 000 / 8 000 = 50, så filen fyller 50 fönster. Den filen är en fine-tune, vidare träning på dina rader. Samma dag, medan du bara har en handfull rader, räcker 12 dialoger i prompten på 80 token var, alltså 12 gånger 80 = 960 token. Lektionens regel är den du kan använda i dag: text som ändras och som ryms i fönstret läggs i prompten, text som svämmar över fönstret hämtas som stycken, och ett stabilt beteende med minst 2 000 granskade rader är en fine-tune.
Licenser och det exakta fingeravtrycket
Varje rad bär en licensetikett, och etiketten avgör om raden får följa med i en fil du släpper under CC BY och säljer. CC0 får följa med, och CC0 begär ingen källrad. CC BY får följa med, och varje CC BY-rad som klarar det här steget lägger till en källrad som namnger källan. CC BY-NC stannar utanför varje fil du släpper under CC BY, såld eller osåld, eftersom CC BY ger nästa användare rätt till kommersiell användning och NC-villkoret förbjuder det. Ska CC BY-NC-raderna följa med släpps den filen under en icke-kommersiell licens, till exempel CC BY-NC. CC BY-SA stannar utanför en utgåva som bara är CC BY: share-alike betyder att en bearbetning som innehåller de raderna släpps under CC BY-SA eller en annan licens som share-alike-villkoret namnger. Att lämna raderna utanför är så den här filen förblir CC BY. En hög med 100 rader håller 40 CC0, 30 CC BY, 20 CC BY-NC och 10 CC BY-SA. Den kommersiella filen behåller 40 + 30 = 70 rader, tar bort 20 + 10 = 30 rader och skriver 30 källrader. Anteckningsboken du inte säljer, så länge den är CC BY, tar också bort de 20 CC BY-NC-raderna, så antalet stannar på 40 + 30 = 70, och de 10 CC BY-SA-raderna stannar utanför. En anteckningsbok som behåller de 20 CC BY-NC-raderna släpps under CC BY-NC, och den utgåvan håller 70 + 20 = 90 rader, med de 10 CC BY-SA-raderna fortfarande utanför.
Exakta kopior tas bort med en kontrollsumma du kan göra om för hand. En riktig pipeline hashar den normaliserade raden med ett kryptografiskt hash. Här räcker handsumman, och en träff i kontrollsumman kräver ändå en träff i strängen. Gör användarraden till gemener. Ta bort varje tecken som inte är en bokstav, en siffra eller ett mellanslag. Slå ihop upprepade mellanslag och klipp ändarna. Bokstavssumman använder a=1 till z=26, mellanslag som 0 och en siffra som sitt siffervärde. Fingeravtrycket är (bokstavssumman modulo 97) gånger 1 000, plus längden. The cat sat on the mat summeras som the 33, cat 24, sat 40, on 29, the 33, mat 34. Sedan 33 + 24 + 40 = 97, 97 + 29 = 126, 126 + 33 = 159 och 159 + 34 = 193. Längden är 22. Sedan 193 - 97 = 96, så fingeravtrycket är 96022. Samma normaliserade sträng senare i filen tas bort. The cat sat on a mat byter det andra the (33) mot a (1), så summan är 193 - 33 + 1 = 161 och längden är 20. Sedan 161 - 97 = 64, och fingeravtrycket är 64020. The cat sat on the mat today lägger till today, som är 20 + 15 + 4 + 1 + 25 = 65, så summan är 193 + 65 = 258 och längden är 28. Sedan 258 - 2 gånger 97 = 258 - 194 = 64, och fingeravtrycket är 64028. De två raderna delar rest och skiljer sig i längd, så båda klarar det exakta steget. Lika fingeravtryck med olika strängar är en kollision: behåll båda.
Nära kopior och de två PII-markörerna
En nära kopia ändrar några ord, och det exakta steget behåller den när strängarna skiljer sig. Lektionen skär den normaliserade användarraden i shingles, fönster på tre ord, och slår upp varje shingle i en tabell: 1 the cat sat, 2 cat sat on, 3 sat on the, 4 on the mat, 5 sat on a, 6 on a mat, 7 the mat today. Fyra hashfunktioner använder modulo 11: h1(x) = (x + 1) mod 11, h2(x) = (3x + 2) mod 11, h3(x) = (5x + 4) mod 11 och h4(x) = (7x + 3) mod 11. Signaturen är de fyra kolumnminimumen. Skattningen är andelen positioner som träffar en tidigare behållen rad. Ta bort den senare raden när skattningen är minst 1/2, alltså minst 2 av 4 positioner. De fyra hasharna är till för handräkning. En MinHash i drift hashar varje shingle, utan uppslagstabell, och den använder många fler än fyra funktioner så att andelen ligger närmare den sanna överlappningen.
Rad A, the cat sat on the mat, använder koderna 1, 2, 3, 4. Hashraderna är (2, 5, 9, 10), (3, 8, 3, 6), (4, 0, 8, 2) och (5, 3, 2, 9). Minimumen är 2, 0, 2, 2. Rad B, the cat sat on the mat today, använder 1, 2, 3, 4, 7. Kod 7 hashar till (8, 1, 6, 8). Jämför varje tal med det aktuella minimumet: 8 mot 2, 1 mot 0, 6 mot 2 och 8 mot 2. Inget är mindre, så B behåller signaturen 2, 0, 2, 2. Alla 4 positioner träffar, skattningen är 4/4, och B tas bort. Det sanna Jaccard-förhållandet är delade koder genom unionen: 4 delade och 5 i unionen, alltså 4/5. Skattningen 4/4 ligger över 4/5, och båda är minst 1/2, så borttaget stämmer med förhållandet. Rad C, the cat sat on a mat, använder 1, 2, 5, 6. Hashraderna är (2, 5, 9, 10), (3, 8, 3, 6), (6, 6, 7, 5) och (7, 9, 1, 1). Minimumen är 2, 5, 1, 1. Mot A:s 2, 0, 2, 2 träffar bara den första positionen, så skattningen är 1/4 och C blir kvar. Det sanna förhållandet är 2 delade över en union på 6, alltså 2/6. En rad vars shingles alla saknas i tabellen hoppar över det här borttaget. PII, personuppgifter som kan peka ut en person, tvättas på de rader som är kvar, på plats. En e-postadress är ett token mellan mellanslag som innehåller @ och en punkt efter @, och det token blir [EMAIL]. Ett telefonnummer är en följd av siffror, mellanslag och bindestreck vars siffror ihop blir längd 10. Följden 555-010-1234 delas i 555, 010 och 1234, som ihop blir 5550101234, längd 10, och följden blir [PHONE]. Talet 42 har längd 2 och ligger kvar. Email ada@workshop.example about order 42 blir Email [EMAIL] about order 42 och lägger till en [EMAIL]. Call 555-010-1234 before noon blir Call [PHONE] before noon och lägger till en [PHONE].
ChatML, syntetiska rader och det förseglade testet
En dialog i lektionen är tre turer i ordningen system, user, assistant, lagrad som ChatML, ett fast sätt att märka rollerna. Varje tur börjar med markören <|im_start|>, sedan rollordet, sedan texten, och den slutar med <|im_end|>. Tre kontroller tar bort en rad. Antalet startmarkörer skiljer sig från antalet slutmarkörer. Rollerna kommer i någon annan ordning än system, sedan user, sedan assistant. Assistenttexten är tom, som i en tur vars text mellan rollen och <|im_end|> saknar ord. Tokenräkningen tar varje markör som en token och varje annat ord avskilt med mellanslag som en token, med kommatecken och punkter kvar på ordet. Dialogen som räknas är <|im_start|>system, sedan You label a ticket as billing, access, or other., sedan <|im_end|>, sedan <|im_start|>user, sedan I was charged twice., sedan <|im_end|>, sedan <|im_start|>assistant, sedan billing, sedan <|im_end|>. De sex markörerna plus de 17 orden system, You, label, a, ticket, as, billing, access, or, other., user, I, was, charged, twice., assistant, billing ger 6 + 17 = 23 token. De tillåtna assistentsvaren i den syntetiska filen är billing, access och other.
En syntetisk rad är en dialog som en modell skrivit och som sedan poängsätts med fyra kontroller, var och en 0 eller 1: ChatML-kontrollerna går igenom, assistentsvaret ligger i den mängden på tre, användarraden har minst fyra ord, och assistenttexten träffar handnyckeln för den raden. Två hårda borttag körs först: den normaliserade användarraden finns redan i den mänskliga filen, eller något fyrordsuttryck i raden finns också i det förseglade testet. Bland raderna som är kvar behålls en summa på minst 3. På de sex raderna är bitarna och de hårda fakta de här. S1 är 1 1 1 1, ny, inget delat uttryck, summa 4, behåll. S2 är 1 1 1 0, ny, inget delat uttryck, summa 3, behåll. S3 är 1 1 0 0, ny, inget delat uttryck, summa 2, ta bort. S4 är 1 1 1 1, samma normaliserade sträng som en mänsklig rad, summa 4, ta bort på den hårda regeln. S5 är 1 1 1 1, ny, inget delat uttryck, summa 4, behåll. S6 är 0 1 0 0, ny, inget delat uttryck, summa 1, ta bort. De hårda borttagen tar S4. Av de fem som är kvar faller S3 och S6 på summan. Tre rader blir kvar: S1, S2 och S5. Det förseglade testet skrivs före uppdelningen och lämnas sedan orört. En trärrad tas bort när något fyrordsuttryck i en testrad finns i den trärradens normaliserade råa användarrad, raden som sparades före tvätten, så en [PHONE]-markör inte kan dölja ett uttryck. Testraden the cat sat on the mat har tre uttryck: the cat sat on, cat sat on the och sat on the mat. En trärrad med samma ord innehåller alla tre, så den trärraden tas bort och testraden ligger kvar. Efter det borttaget är antalet delade uttryck 0.
Åtta rader genom de sex stegen
Filen nedan släpps under CC BY för en produkt du säljer. Raderna läses i id-ordning, och det lägre id:t är det som blir kvar. R1 är CC0, användarrad The cat sat on the mat., fingeravtryck 96022, shingles 1 2 3 4, giltig ChatML. R2 är CC BY, användarrad the cat sat on the mat, samma normaliserade sträng som R1. R3 är CC BY, användarrad The cat sat on the mat today., fingeravtryck 64028, shingles 1 2 3 4 7. R4 är CC BY-NC, användarrad Pay the invoice today. R5 är CC0, användarrad Call 555-010-1234 before noon. R6 är CC BY-SA, användarrad Share alike notes from the workshop. R7 är CC BY, användarrad Email ada@workshop.example about order 42., och dialogen följer exemplaret ovan med den användarraden i stället för I was charged twice., så 18 ord plus 6 markörer ger 24 token, med assistenttexten billing. R8 är CC0, användarrad Reset the router and wait., med 3 startmarkörer och 2 slutmarkörer. Det förseglade testet har två rader och redigeras aldrig: T1 är the cat sat on the mat, och T2 är a quiet closet holds spare cable.
Steg 1, licens: R4 och R6 tas bort. Sex rader är kvar: R1, R2, R3, R5, R7, R8. Källraderna är de CC BY-rader som klarade sig, R2, R3 och R7, alltså 3 rader. Steg 2, exakt sträng: R2 träffar R1:s normaliserade rad och tas bort. Fem är kvar. R3:s fingeravtryck 64028 skiljer sig från R1:s 96022, så R3 blir kvar. Steg 3, nära kopia: R3 är rad B mot R1 som rad A, skattningen är 4/4, och R3 tas bort. R5, R7 och R8 har ingen shingle i tabellen, så de blir kvar. Fyra är kvar. Steg 4, tvätt: R5:s lagrade rad blir Call [PHONE] before noon, och R7:s lagrade rad blir Email [EMAIL] about order 42. Filen har nu en [PHONE] och en [EMAIL]. Råraderna ligger kvar vid sidan för läcksteget. Ingen rad tas bort. Steg 5, ChatML: R8 har 3 starter och 2 slut, så R8 tas bort. R1, R5 och R7 har var och en 3 starter, 3 slut, rollordningen system sedan user sedan assistant, och en assistenttext som har ord. Tre är kvar. Steg 6, läcka: T1:s tre uttryck ligger alla i R1:s rårad, så R1 tas bort. T2:s uttryck är a quiet closet holds, quiet closet holds spare och closet holds spare cable. Inget av dem ligger i R5 eller R7. Träningsfilen du lämnar vidare har 2 rader, R5 och R7, och den delar 0 fyrordsuttryck med det förseglade testet. Antalen kvar efter de sex stegen är 6, 5, 4, 4, 3 och 2.
Kolla på papper
En returpolicy är 6 sidor gånger 400 token och byts varje månad. Frågan är 40 token. Säg vilket jobb den följer, hur många token som hamnar i fönstret och hur många token av de 8 000 som blir lediga. På högen med 100 rader, skriv hur många den kommersiella CC BY-utgåvan behåller och hur många källrader den skriver. Räkna om fingeravtrycket för Call 555-010-1234 before noon från bokstavsgrupperna call 28, siffrorna 26, before 51 och noon 58. Skriv signaturen för rad A, skattningen och det sanna Jaccard för A mot B, och skattningen och det sanna Jaccard för A mot C. På filen med åtta rader, skriv hur många rader som är kvar efter vart och ett av de sex stegen, vilka två id som lämnas vidare, hur många källrader steg 1 skriver, och hur många fyrordsuttryck den färdiga filen delar med testet. Skriv hur många av de sex syntetiska raderna som blir kvar.
Policyn följer jobb P. Sidsumman är 6 gånger 400 = 2 400, plus 40 blir 2 440 token i fönstret, och 8 000 - 2 440 = 5 560 token blir lediga. Den kommersiella högen behåller 70 rader och skriver 30 källrader. Telefonsumman är 28 + 26 + 51 + 58 = 163. Längden är call 4, plus ett mellanslag, plus 10 siffror, plus ett mellanslag, plus before 6, plus ett mellanslag, plus noon 4, alltså 27. Sedan 163 - 97 = 66, och fingeravtrycket är 66027. Rad A:s signatur är 2, 0, 2, 2. A mot B skattas till 4/4, och det sanna Jaccard är 4/5. A mot C skattas till 1/4, och det sanna Jaccard är 2/6. Efter de sex stegen är antalen 6, 5, 4, 4, 3 och 2. Id som lämnas vidare är R5 och R7. Steg 1 skriver 3 källrader. Den färdiga filen delar 0 fyrordsuttryck med testet. Tre syntetiska rader blir kvar: S1, S2 och S5.
Kontrollfrågor
För jobb R, hur många token hamnar i fönstret, och hur många token av handboken stannar på disk? Hur många fönster fyller de 2 000 dialogerna i jobb F?
Jobb R lägger 1 640 token i fönstret och lämnar 78 400 token på disk. Jobb F fyller 50 fönster.
Vilket fingeravtryck har The cat sat on the mat, och vilket rad-id tas bort för att de normaliserade strängarna är lika?
Fingeravtrycket är 96022. R2 tas bort.
Vilken fyrsiffrig signatur har rad A, vilken skattning får rad B mot den, och vad är det sanna Jaccard för A och B?
Signaturen är 2, 0, 2, 2. Skattningen är 4/4. Det sanna Jaccard är 4/5.
Vilka två rad-id lämnas vidare i träningsfilen, hur många källrader skriver licenssteget, och hur många fyrordsuttryck delar den färdiga filen med det förseglade testet?
R5 och R7 lämnas vidare. Licenssteget skriver 3 källrader. Den färdiga filen delar 0 fyrordsuttryck med det förseglade testet.
Lägg text som ändras och som ryms i prompten, hämta stycken när källan svämmar över fönstret, och kör en fine-tune på en stabil etikett när du har minst 2 000 granskade rader. Filen du lämnar vidare är det som återstår efter licensen, den exakta strängen, den nära kopian, tvätten, ChatML-kontrollerna och ett borttag av trärrader som lämnar det förseglade testet med noll delade fyrordsuttryck.
Slutuppgift
Lämna in en pipeline för datakurering (curate.py) som testas mot en seedad rörig JSONL-fixture med 5 000 rader som innehåller dubbletter, trasiga scheman, PII och läckta testposter; automatiserade tester verifierar 100 % rena utdatasplitar och noll läckage mellan train/test.
Begrepp i kursen
Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.
Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan