Hoppa till innehållet
POLARISAI ACADEMY
R07-201 · Navigatör

RAG på riktigt: vektordatabaser, hybrid-sök och källkrav

Efteråt kan du skära fyra meningar i en handbok vid cosinus 0,80, rangordna fyra lagrade chunkar med cosinus och med en vikt för ovanliga ord, slå ihop placeringarna, och lämna en tom källhänvisning när frågan nämner något som inget chunk innehåller.

Nivå
Navigatör
Tid
26 h (uppskattning)
Förkunskap
R07-101
Kurs 2 av 4
Hoppa till

Efter kursen kan du

Eleven kan bygga en hybrid retrieval-pipeline med BM25 + vektor + RRF över en fryst korpus på 1 000 dokument som uppnår ≥90 % Recall@5 på nycklade frågor och avstår på 100 % av obesvarbara frågor.

Grannmeningar och snittet

En chunk är ett lagrat stycke ur en handbok: de ord en senare sökning får lämna tillbaka, och inga andra. Semantisk chunking väljer snitten utifrån meningarna. I lektionen lagras varje mening som tre tal, alltid i samma ordning på dimensionerna. En embedding är den korta tallistan. Du tar cosinus mellan mening n och mening n+1. Cosinus är skalärprodukten delad med produkten av de två längderna. Vid lektionens gräns 0,80 stannar nästa mening i samma chunk när cosinus är 0,80 eller högre, och den öppnar en ny chunk när cosinus är lägre. Jämförelsen görs bara mellan grannar, så en mening slås aldrig ihop med en chunk som tog slut två snitt tidigare.

De fyra meningarna är de här. S1: A phone repair takes 30 days. Vektorn är [3, 4, 0]. S2: The phone must arrive with its charger. Vektorn är [3, 4, 0]. S3: A tablet repair takes 14 days. Vektorn är [0, 4, 3]. S4: The counter closes on Sunday. Vektorn är [0, 0, 5]. Varje vektor har längden 5, eftersom 3²+4²+0² = 25, 0²+4²+3² = 25 och 0²+0²+5² = 25, och roten ur 25 är 5. Cosinus mellan S1 och S2 är 25/25 = 1, så S2 stannar med S1. Skalärprodukten av S2 och S3 är 16, så cosinus är 16/25 = 0,64, och S3 öppnar en ny chunk. Skalärprodukten av S3 och S4 är 15, så cosinus är 15/25 = 0,60, och S4 öppnar en ny chunk. Ett fast fönster på 9 ord, räknat från första ordet i S1, slutar på ordet must. Orden arrive, with, its och charger hamnar utanför fönstret. Cosinussnittet behåller de fyra orden i första chunken.

Den lagrade raden och den täta listan

Efter snitten har söktabellen fyra rader. C1 lagrar texten i S1 och S2 och vektorn [3, 4, 0]. C2 lagrar S3 och [0, 4, 3]. C3 lagrar en mening till, A phone battery ships in 5 days, och vektorn [3, 0, 4]. C4 lagrar S4 och [0, 0, 5]. Även C3 har längden 5, eftersom 3²+0²+4² = 25. Ett vektorlager håller rader av den formen och lämnar tillbaka dem som ligger närmast frågevektorn. SQLite-vec, pgvector och Qdrant är tre lager som kan hålla raderna. Originalorden ligger kvar i en textkolumn bredvid vektorn, eftersom en källhänvisning ska namnge ett chunk-id och en mening ur den raden. Lagret jämför vektorer. Det räknar inte hur ofta ett ord förekommer. Ordningen det lämnar är den täta rangordningen, den dense rank som bara ser riktning.

Frågeorden phone sunday använder vektorn [3, 4, 0]. Längden är 5. Skalärprodukten med C1 är 25, så cosinus är 1. Skalärprodukten med C2 är 16, så cosinus är 0,64. Skalärprodukten med C3 är 9, så cosinus är 0,36. Skalärprodukten med C4 är 0, så cosinus är 0. Den täta rangordningen, högst cosinus först, är C1, C2, C3, C4. C4 är raden som säger att disken stänger på söndag, och den ligger ändå sist, eftersom [0, 0, 5] inte delar riktning med [3, 4, 0]. Ordlistan i nästa avsnitt är det som kan lyfta C4. Klistra in de fyra raderna i en chattruta och be bara om den här täta ordningen. Behåll en ordning när den stämmer med de fyra cosinusvärdena, och räkna om skalärprodukterna när den inte gör det.

Ovanliga ord och sammanslagen rang

Den lexikala poängen är en pappersregel med samma uppgift som BM25: ett ovanligt frågeord väger mer än ett vanligt. Gör chunk och fråga till gemener och dela vid mellanslag. Ta bort de här stopporden om de dyker upp: a, an, the, on, which, does, do, is, of, for, how, many, what, when, where. Räkna ett frågeord en gång i en chunk, även när texten upprepar det. Låt df vara hur många av de fyra chunkarna som innehåller ordet. När df är 1, 2 eller 3 är vikten 3 minus df, alltså 2, 1 eller 0. När df är 0 finns ordet i ingen rad, vikten används inte, och en senare grind avstår från frågan. Summera vikterna för de frågeord chunken faktiskt innehåller. Lika poäng bryts mot det mindre chunk-id:t. I Lucene-formen av BM25 är vanliga startvärden k1 = 1,2 och b = 0,75. Den formen höjer också ovanliga ord, och sedan mättar den upprepningar, så en andra kopia av ett ord lägger till mindre än den första, och den väger en rad efter dess längd. Pappersregeln räknar varje frågeord en gång, så summan stannar ett heltal.

Reciprocal rank fusion, RRF, är en sammanslagning som bara läser placeringar och struntar i råpoängen. Med en placering som börjar på 1 är en chunks sammanslagna poäng summan av 1/(k + placering) över de listor du har. Den vanliga konstanten är k = 60, så en förstaplats på den ena listan kan inte sudda ut en sistaplats på den andra. Sortera efter den summan, högst först, och bryt lika summa mot det mindre chunk-id:t. Att lägga cosinus 1 ovanpå en lexikal poäng 2 skulle blanda en kvot med en poängsumma. RRF låter listorna mötas först när båda är sorterade. För phone sunday finns phone i C1 och C3, så df = 2 och vikten är 1. sunday finns bara i C4, så df = 1 och vikten är 2. En person har märkt C1 och C4 som relevanta rader, C1 för att den innehåller phone och C4 för att den innehåller sunday. Recall@2 är hur många av de märkta raderna som ligger i topp 2, delat med 2. Recall@5 är samma kvot med en topp 5. Med fyra rader är topp 2 det snitt du kan kontrollera för hand. Den täta topp 2 är C1 och C2, och den rymmer 1 av 2 märkta rader, så tät Recall@2 är 1/2.

Parpoängen och den tomma källan

En bi-encoder bygger en vektor per text, alltså den väg du redan använde för cosinus. En cross-encoder läser frågan och en chunk i samma pass och ger en enda relevanspoäng för paret, medan orden från båda sidor fortfarande ligger på sidan. Kostnaden växer med antalet par, så lektionen skickar bara den sammanslagna topp 2. En chunk utanför de två får ingen parpoäng och kan inte klättra. En 9:a bredvid en rad utanför kortlistan förblir oanvänd. Lektionens parpoäng för kortlistan phone sunday, som står i stället för det passet, är 3 för C1 och 8 för C4. Sorterar du de två hamnar C4 först. Poänggrinden citerar en chunk när parpoängen är 5 eller högre. C4 går igenom och C1 lämnas ociterad. Den utskrivna källhänvisningen är [C4]. Meningen den källan kan bära är att disken stänger på söndag. Reparationen på 30 dagar ligger kvar i C1, och du hakar den inte på [C4].

Abstention betyder att du skriver en tom källhänvisning och inte fyller i en siffra från en grannrad. Ordgrinden: om något innehållsord i frågan saknas i alla chunkar citerar du ingen. Innehållsord är det som blir kvar efter stopplistan. Frågan What is the watch repair price? lämnar watch, repair och price. watch finns i noll chunkar, och price finns i noll chunkar, så grinden löser ut. En frågevektor lika med [3, 4, 0] har fortfarande cosinus 1 mot C1, och källhänvisningen är ändå tom. Siffran 30 i C1 handlar om en telefon. Varje fråga du bygger genom att lägga till ett ord som inget av de fyra chunkarna innehåller får samma tomma lista. Tio sådana frågor ger tio tomma listor. När sökningen sitter bakom ett verktyg lämnar verktyget de citerade chunk-id:na, eller den tomma listan när ordgrinden löser ut. Den som anropar har då ingen rad att citera.

Ett exempel

Telefon och söndag, båda listorna

Använd de fyra lagrade raderna och frågeorden phone och sunday, med frågevektorn [3, 4, 0]. Alla sidor har längden 5. Skalärprodukter: C1 är 3·3 + 4·4 + 0·0 = 25, C2 är 0·3 + 4·4 + 3·0 = 16, C3 är 3·3 + 0·4 + 4·0 = 9, och C4 är 0. Cosinus: 25/25 = 1, 16/25 = 0,64, 9/25 = 0,36 och 0/25 = 0. Tät ordning: C1, C2, C3, C4. Täta placeringar: C1 är 1, C2 är 2, C3 är 3, C4 är 4.

Lexikala vikter: phone har df 2, så vikten är 3−2 = 1. sunday har df 1, så vikten är 3−1 = 2. C1 innehåller phone och får 1. C2 innehåller inget av orden och får 0. C3 innehåller phone och får 1. C4 innehåller sunday och får 2. Lika poäng 1 bryts mot det mindre id:t, så den lexikala ordningen är C4, C1, C3, C2. Lexikala placeringar: C4 är 1, C1 är 2, C3 är 3, C2 är 4.

RRF använder k = 60. C1 står på tät placering 1 och lexikal placering 2, så termerna är 1/61 + 1/62. 1/61 är 0,0163934426 och 1/62 är 0,0161290323. Summan är 0,0325224749, som avrundas till 0,0325. C4 står på tät placering 4 och lexikal placering 1, så 1/64 + 1/61 = 0,015625 + 0,0163934426 = 0,0320184426, som avrundas till 0,0320. C2 står på tät placering 2 och lexikal placering 4, så 1/62 + 1/64 = 0,0161290323 + 0,015625 = 0,0317540323, som avrundas till 0,0318. C3 står på tät placering 3 och lexikal placering 3, så 1/63 + 1/63 = 0,0317460317, som avrundas till 0,0317. Sammanslagen ordning: C1, C4, C2, C3. Båda märkta rader, C1 och C4, ligger i topp 2, så sammanslagen Recall@2 är 1. Den täta topp 2 höll bara C1, så tät Recall@2 stannade på 1/2.

Cross-encodern tar bara emot den sammanslagna topp 2, C1 och C4. Lektionens parpoäng är 3 och 8. Poänggrinden är 5, så källhänvisningen som skrivs ut för frågan är [C4], och meningen den bär är att disken stänger på söndag. C2 och C3 låg utanför topp 2, så ingen parpoäng togs fram för dem. En 9:a bredvid C3 skulle ligga oanvänd så länge kortlistan är C1 och C4.

Övning

Surfplatta och söndag på papper

Använd samma fyra rader. Frågeorden är tablet och sunday, och frågevektorn är [0, 4, 3]. Skriv de fyra cosinusvärdena i ordningen C1, C2, C3, C4, och sedan den täta rangordningen. Skriv de fyra lexikala poängen i samma ordning, och sedan den lexikala rangordningen. Slå ihop med k = 1, så varje term är 1/(1 + placering), och bryt lika poäng mot det mindre chunk-id:t. De märkta relevanta raderna är C2 och C4. Skriv den sammanslagna ordningen och Recall@2 för den sammanslagna topp 2. Parpoäng som ligger på bordet är C1 = 4, C2 = 8, C3 = 1 och C4 = 9. Skicka bara den sammanslagna topp 2 genom cross-encodern, och använd sedan poänggrinden 5. Skriv till sist källhänvisningen för What is the watch repair price?

Cosinusvärdena är 0,64, 1, 0,48 och 0,60, så den täta rangordningen är C2, C1, C4, C3. De lexikala poängen är 0, 2, 0 och 2, så den lexikala rangordningen är C2, C4, C1, C3. RRF-poängen är 1 för C2, 7/12 för C1, 7/12 för C4 och 2/5 för C3. Lika poäng 7/12 sätter C1 före C4. Den sammanslagna ordningen är C2, C1, C4, C3. Den sammanslagna topp 2 innehåller C2 och missar C4, så Recall@2 är 1/2. Cross-encodern poängsätter bara C2 och C1. Nian på C4 används inte. Poänggrinden citerar [C2], eftersom 8 är minst 5, och lämnar C1 ociterad eftersom 4 ligger under 5. Klockfrågan skriver en tom källhänvisning, eftersom watch finns i noll chunkar.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Ett fönster på 9 ord börjar vid första ordet i S1. På vilket ord slutar det, och vilket cosinus har S2 mot S3?

Det slutar på must. Cosinus mellan S2 och S3 är 0,64, från skalärprodukten 16 delad med 25.

För frågevektorn [3, 4, 0], vilket cosinus har C1, och vilket cosinus har C4?

C1 har cosinus 1, från 25/25. C4 har cosinus 0, från skalärprodukten 0.

Med k = 60 på phone sunday, vad avrundas RRF-poängen för C1 och C4 till, och vad är tät Recall@2 på den märkta mängden C1 och C4?

C1 avrundas till 0,0325 och C4 till 0,0320. Tät Recall@2 är 1/2, eftersom den täta topp 2 är C1 och C2.

Vilken källhänvisning skriver den genomräknade frågan phone sunday ut, och vilken skriver What is the watch repair price? ut?

Den genomräknade frågan skriver [C4], eftersom parpoängen 8 klarar grinden 5. Klockfrågan skriver en tom källhänvisning, eftersom watch finns i noll chunkar.

Ta med dig

Semantisk chunking behåller en grannmening när dess cosinus klarar 0,80. Den täta listan rangordnar raderna efter cosinus, den lexikala listan rangordnar dem efter 3 minus df, och RRF adderar 1/(60 + placering) från varje lista. Cross-encodern poängsätter bara den korta toppen, och ett innehållsord som finns i noll chunkar lämnar källhänvisningen tom.

Slutuppgift

Lämna in en tjänst för hybrid retrieval som utvärderas av den automatiserade runnern mot 100 frysta testfrågor (80 besvarbara med nycklade chunk-ID:n, 20 obesvarbara); måste uppnå ≥ 90 % Recall@5, exakt citeringsformatering och 100 % abstention på obesvarbara poster.

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan