Hoppa till innehållet
POLARISAI ACADEMY
R08-401 · Navigatör

Benchmarks, deras brister och isolerad lokal drift

Efteråt kan du märka en offentlig uppgift när minst två av dess fyrordsfönster ligger i träningstexten, skicka den prompt som har högst privat exakt träff, stryka ett domarpar som byter vinnare när ordningen kastas om, och räkna cacheblock, utkasttoken och droppade paket på en stängd värd.

Nivå
Navigatör
Tid
26 h (uppskattning)
Förkunskap
R08-301, R03-201
Kurs 4 av 4
Hoppa till

Efter kursen kan du

Eleven kan upptäcka benchmark-kontaminering i ett tillhandahållet utvärderingsset och paketera en komplett luftgapad lokal tjänst för inferens och retrieval som klarar alla funktionella tester under strikta firewall-drop-regler.

Två fönster och uppgiften har läckt

En offentlig topplista kan stiga för att testuppgifterna redan låg i träningstexten. Läckaget kallas contamination, på svenska kontaminering. Lektionen normaliserar en rad genom att göra den till gemener, ta bort varje tecken som inte är en bokstav eller ett mellanslag, slå ihop upprepade mellanslag och kapa ändarna. Sedan delar du raden i fönster om fyra ord, ett ord i taget. En uppgift är kontaminerad när minst två av fönstren förekommer som fönster i träningstexten, eller när hela den normaliserade uppgiften förekommer som en obruten följd i den texten. En full granskning använder längre fönster och hela träningssamlingen. De här två reglerna går att göra om på papper, och en träff på någon av dem räcker för att hålla uppgiften utanför en träffgrad du redovisar.

Träningstexten i lektionen är den enda raden many books name the capital of france in a list and the lazy dog sleeps after lunch. Offentlig uppgift P1 är name the capital of france in one word. De fem fönstren är name the capital of, the capital of france, capital of france in, of france in one och france in one word. De tre första förekommer i träningstexten. Träningstexten har of france in a, så of france in one missar, och france in one word missar. Tre träffar uppfyller regeln om två, så P1 är kontaminerad. Hela P1-raden saknas som följd, eftersom träningstexten fortsätter med a list. P2 är sort the three bills by due day. De fyra fönstren är sort the three bills, the three bills by, three bills by due och bills by due day. Ordet sort förekommer aldrig i träningstexten, så alla fyra missar. P3 är a red fox jumps the lazy dog. De fyra fönstren är a red fox jumps, red fox jumps the, fox jumps the lazy och jumps the lazy dog. Träningsfönstret the lazy dog sleeps delar tre ord med det sista av dem och skiljer sig på det fjärde, så det missar. P2 och P3 är rena. En uppgift av de tre är kontaminerad, alltså 1/3.

De fem offentliga och de fem privata

När en offentlig exakt träffgrad blir talet ett lag jagar, väljs senare ändringar för att flytta det talet. Det är Goodharts lag i den form som används på poäng: när måttet blir målet slutar det mäta jobbet. Den offentliga tavlan har fem uppgifter. Den privata mängden har fem andra uppgifter, skrivna efter träningen och aldrig publicerade. Exakt träff på en uppgift är 1 när svarsträngen är lika med nyckeln, och 0 annars. Träffgraden är summan delad med 5. I lektionen styr du inte efter en offentlig träffgrad som leder den privata med 0,10 eller mer. Du redovisar den privata träffgraden bredvid den offentliga, och du behåller prompten med den högre privata träffgraden.

Prompt A har 4 exakta träffar på de fem offentliga och 2 på de fem privata. Träffgraderna är 4/5 = 0,80 och 2/5 = 0,40. Gapet är 0,80 − 0,40 = 0,40, vilket klarar 0,10. Prompt B har 3 och 3, så båda träffgraderna är 3/5 = 0,60, och gapet är 0. Den offentliga jämförelsen väljer A, eftersom 0,80 ligger över 0,60. Den privata jämförelsen väljer B, eftersom 0,60 ligger över 0,40. Du skickar B. Domänuppgifterna är fakturaordningar, så nyckeln är en sortering du kan göra om. Förfallodag avgör, och vid lika dag vinner det lägre id:t. Den genomräknade uppgiften har id 1 på dag 5, id 2 på dag 2 och id 3 på dag 2. Guldordningen är 2, 3, 1. De tre par som ska hålla är 2 före 3, 2 före 1 och 3 före 1. Svaret 2, 1, 3 behåller de två första paren och lägger 1 före 3, så det tredje paret faller. Parpoängen är 2/3 och den exakta poängen är 0. Svaret 2, 3, 1 behåller alla tre paren, så parpoängen är 3/3 och den exakta poängen är 1. Tavlan redovisar fortfarande den exakta träffgraden. Parpoängen visar att svaret låg ett byte från nyckeln. Bladet du kan fylla i samma dag är fem fakturor du sorterar för hand, poängsatta på båda sätten, med fem andra som stannar utanför den offentliga tavlan.

Kasta om ordningen, räkna sedan fakta

En domarmodell kan dra åt svaret som visas först. Lektionen visar varje par två gånger. H är svaret en människa föredrar, och W är det andra svaret. Om båda ordningarna namnger samma vinnare stannar paret, och den vinnaren är domarens utslag. Om vinnaren byts stryks paret och lägger inget till sammanräkningen. På uppgift 1 väljer båda ordningarna H. På uppgift 2 väljer domaren H när H står först och W när W står först. På uppgift 3 väljer båda ordningarna W. På uppgift 4 väljer båda ordningarna H. Uppgift 1, 3 och 4 stannar. Uppgift 2 stryks. Tre av de fyra stannar. Bland de tre håller domaren med människan på uppgift 1 och 4 och går emot på uppgift 3, så samstämmigheten på de behållna paren är 2/3. En sammanräkning som bara använde den först visade ordningen skulle ha räknat uppgift 2 som en vinst för H. Omkastningen tar bort den räkningen.

Längd drar samma domare längs ett andra spår. Fyra svar innehåller samma tre krävda fakta, så varje faktapoäng är 3 av 3. Längderna är 30, 60, 120 och 240 token. Domaren ger 2, 3, 4 och 5. Varje gång längden fördubblas lägger domaren till 1 poäng, medan faktapoängen stannar på 3. Lektionen behåller faktapoängen och lägger domarpoängen åt sidan när faktapoängen är lika. Svaret du visar är det kortaste vid lika poäng, och det har 30 token.

Block, ett utkast och en stängd värd

PagedAttention, sidindelning av KV-cachen, delar cachen i block med ett fast antal token. Lektionen använder 16 token i ett block. En förfrågan håller det minsta hela antal block som räcker för topplängden delad med 16, och de tomma platserna i sista blocket är spillet inuti den förfrågan. R1 toppar på 40 token. 40/16 = 2,5, så R1 håller 3 block, 48 platser, och 48 − 40 = 8 tomma platser. R2 toppar på 17. 17/16 = 1,0625, så R2 håller 2 block, 32 platser, och 32 − 17 = 15 tomma platser. R3 toppar på 16. 16/16 = 1, så R3 håller 1 block och 0 tomma platser. Tillsammans håller de 3 + 2 + 1 = 6 block, vilket är 96 platser. Att reservera en kontext på 128 token för varje förfrågan skulle hålla 3 × 128 = 384 platser. Den sidindelade layouten håller 384 − 96 = 288 färre platser. Continuous batching, löpande påfyllnad, fyller den körande mängden vid varje varv: en förfrågan som har skickat sin sista nya token lämnar tillbaka sina block, och en väntande förfrågan som ryms kan gå in före nästa varv. Poolen har 8 block. R1 ska skicka 3 nya token och R2 ska skicka 1. De startar tillsammans på 5 block och lämnar 3 fria. Efter varv 1 är R2 klar och frigör sina 2 block. R1 håller fortfarande 3, så 5 är fria. R3 behöver 1 block och ska skicka 2 nya token, så den går in före varv 2. Varv 2 kör R1 och R3. Varv 3 avslutar båda. Kön är tom efter 3 varv. Ett statiskt schema som gör klart R1 och R2 innan R3 startar lägger max(3, 1) = 3 varv på första omgången och 2 på R3, vilket är 5. Den löpande körningen är kortare med 5 − 3 = 2 varv.

Speculative decoding, att ett litet utkast föreslår token som en större målmodell kontrollerar, körs här vid temperatur 0 med 3 föreslagna token. Godkänn från vänster så länge utkastets token är lika med målmodellens giriga token. Varvet skickar alltid en token från målmodellen där det stannar: målmodellens token vid första skillnaden, eller en extra token från målmodellen när alla 3 stämmer. Varv 1, utkast red fox jumps mot mål red fox runs, skickar red fox runs, 3 token. Varv 2, utkast over the dog stämmer med målet, och den extra token är sleeps, 4 token. Varv 3, utkast in a barn mot mål under a tree, skickar under, 1 token. Varv 4, utkast at noon sharp mot mål at dusk sharp, skickar at dusk, 2 token. De fyra varven skickar 3 + 4 + 1 + 2 = 10 token över 4 målpass, vilket är 10/4 = 2,5 token per målpass. Lektionens priser, valda så att kvoten går att räkna på papper: ett utkast på 3 token kostar 1 enhet, och ett målpass kostar 4. Fyra varv kostar 4 × (1 + 4) = 20. Tio vanliga målpass skulle kosta 10 × 4 = 40. Lektionens uppsnabbning är 40/20 = 2. Ett utkast i drift betalar ett litet framåtpass för varje föreslagen token, så priset 1 står för de tre små passen tillsammans.

På en stängd värd, en luftgapad maskin, släpper lektionens IPv4-logg igenom ett paket bara när mottagaren är 127.0.0.1. Varje annan adress droppas, även en offentlig adress, en adress på det lokala nätet och en DNS-resolver. Vikterna och vektorindexet ligger redan som filer på disk. Loggen har 10 försök. Sex stannar på 127.0.0.1: hälsokoll på port 8080, en vektorlista på port 6333, två genereringar vid temperatur 0 på port 8080, en vektorfråga på port 6333 och en grundad generering på port 8080. Fyra lämnar värden: 1.1.1.1 port 53, 93.184.216.34 port 443, 192.168.1.50 port 11434 och 10.0.0.8 port 443. Portarna är de som står i den här loggen. Regeln för den stängda värden klaras när dropräknaren är 4 och fem kontroller klaras. F1, hälsokroppen är strängen ok. F2, de två svaren vid temperatur 0 är båda strängen due day 2. F3, vektorfrågan lämnar en rad, id 17, med texten invoice 17 due day 2. F4, det grundade svaret innehåller både 17 och day 2. F5, dropräknaren är 4. Om frågan lämnar ingen rad för att ett anrop för inbäddning försökte nå 93.184.216.34 och droppades, kan räknaren visa 4 medan F3 faller. Peka inbäddningssteget på modellfilen på disk och kör samma logg igen. De fyra mottagarna förblir droppade, och F3 lämnar då id 17.

Ett exempel

En tavla, en kö, en stängd logg

Utgå från träningsraden many books name the capital of france in a list and the lazy dog sleeps after lunch. P1 bidrar med fönstren name the capital of, the capital of france och capital of france in, tre träffar, och fönstren of france in one och france in one word missar. P2 bidrar med fyra fönster och noll träffar, eftersom sort saknas i träningsraden. P3 bidrar med fyra fönster och noll träffar, eftersom jumps the lazy dog skiljer sig från the lazy dog sleeps. Antalet kontaminerade är 1 av 3, alltså 1/3. Prompt A är 4/5 = 0,80 på de fem offentliga och 2/5 = 0,40 på de fem privata, gap 0,40. Prompt B är 3/5 = 0,60 på båda. Skicka B.

Fakturanyckeln är 2, 3, 1. Svaret 2, 1, 3 behåller 2 före 3 och 2 före 1, och det tappar 3 före 1, så parpoängen är 2/3 och den exakta poängen är 0. Svaret 2, 3, 1 får 3/3 och exakt 1. Domaruppgift 1, 3 och 4 stannar, uppgift 2 stryks, och 2/3 av de behållna paren håller med människan. De fyra svaren med lika fakta får 3, 3, 3 och 3, och det du visar har 30 token. R1, R2 och R3 håller 3, 2 och 1 block, tillsammans 6, med 8, 15 och 0 tomma platser. Den löpande kön är tom efter 3 varv. Det statiska schemat tar 5. De fyra utkastvarven skickar 3, 4, 1 och 2 token, tillsammans 10, till en lektionskostnad på 20 mot 40 för tio vanliga målpass. Loggen släpper igenom de sex anropen till 127.0.0.1 och droppar de andra fyra. När inbäddningarna läses från disk klaras F1 till F5, och dropräknaren visar 4.

Övning

Kolla på papper

Uppgift P4 är the capital of france in june. Skriv dess tre fönster, hur många av dem som förekommer i träningsraden, och om P4 är kontaminerad. Prompt C har 5 exakta träffar på de fem offentliga och 2 på de fem privata. Skriv båda träffgraderna, gapet, och vilken av B och C du skickar. Poängsätt svaret 3, 2, 1 mot guld 2, 3, 1 som parpoäng och exakt poäng. Uppgift 5 väljer H när H står först och W när W står först. Skriv om den stannar. R4 toppar på 33 token. Skriv dess blockantal och dess tomma platser. Ett femte utkastvarv stämmer på alla 3 föreslagna token. Skriv hur många token det varvet skickar. Ett extra försök går till 172.16.0.4 port 443. Skriv det nya dropantalet.

P4:s fönster är the capital of france, capital of france in och of france in june. De två första förekommer i träningsraden och det tredje missar, så träffantalet är 2 och P4 är kontaminerad. Hela P4-raden saknas som följd, eftersom träningsraden har in a där P4 har in june. Prompt C är 5/5 = 1,00 och 2/5 = 0,40, och gapet är 0,60. Skicka B, vars privata träffgrad 0,60 ligger över C:s 0,40. Svaret 3, 2, 1 tappar 2 före 3 och behåller 2 före 1 och 3 före 1, så parpoängen är 2/3 och den exakta poängen är 0. Uppgift 5 stryks. R4 håller 3 block, eftersom 33/16 = 2,0625, och de tomma platserna är 48 − 33 = 15. Det femte varvet skickar 4 token. Det nya dropantalet är 4 + 1 = 5.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Hur många fyrordsfönster från P1 förekommer i träningsraden, och hur stor andel av de tre offentliga uppgifterna är kontaminerad?

Tre fönster förekommer. Andelen är 1/3.

Vilken prompt skickar du, vilken privat exakt träffgrad har den, och vilken parpoäng får svaret 2, 1, 3 mot guld 2, 3, 1?

Skicka B. Den privata träffgraden är 0,60. Parpoängen är 2/3.

Vilken av de fyra domaruppgifterna stryks, hur många stannar, och hur många token har svaret du visar när alla fyra faktapoäng är 3?

Uppgift 2 stryks. Tre stannar. Svaret som visas har 30 token.

Hur många block håller R1, R2 och R3 tillsammans, efter hur många varv är den löpande kön tom, hur många token skickar de fyra utkastvarven, och hur många av de tio loggförsöken droppas?

De håller 6 block. Kön är tom efter 3 varv. Varven skickar 10 token. 4 försök droppas.

Ta med dig

Redovisa en offentlig exakt träffgrad bredvid en privat mängd du kan räkna om, efter att läckta uppgifter är märkta och domarpar som byter vinnare med ordningen är strukna. På den stängda värden är cacheblock, utkasttoken och droppade paket tre räkningar du kan köra om från samma skrivna regler.

Slutuppgift

Slutför en nycklad kontamineringsgranskning av ett seedat benchmark-dataset och lämna in en containeriserad lokal stack för AI + retrieval som klarar 30 funktionella end-to-end-tester med utgående nätverk helt avstängt.

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan