Tokens och subord

När en text ska in i en språkmodell delas den först i bitar. Varje bit kallas en token, och det är de bitarna som modellen sedan läser.

Vad en token är

Delningen görs av en tokeniserare. Den har ett fast ordförråd, en lista med bitar som den får använda. Ett vanligt ord är ofta en enda token. Ett ovanligt eller långt ord delas i flera kortare bitar. De bitarna kallas subord.

Varje modellfamilj, alltså varje grupp av besläktade modeller, har sin egen tokeniserare, så samma text kan bli olika många tokens i olika modeller.

För engelsk text brukar en token i snitt motsvara ungefär fyra tecken, ungefär tre fjärdedelar av ett ord. Svenska blir oftast fler tokens per ord än engelska, eftersom ordförråden är byggda mest på engelsk text.

Varför ord delas

Ord delas för att ordförrådet är fast och bara innehåller vissa bitar. Ett vanligt ord har ofta en egen bit. När ordet är ovanligt eller långt delas det i flera subord som redan finns i ordförrådet.

Övningarna använder ett litet påhittat ordförråd, så att delningen blir entydig. En tokeniserare tar då alltid den längsta biten från vänster som finns i ordförrådet och fortsätter sedan med resten av ordet. Bitarna står i rutan bredvid.

Varför det kostar och tar plats

Tokens spelar roll för två saker. Den första är priset. API:er, alltså gränssnitt som program använder för att skicka text till en modell, tar betalt per miljon tokens. Ju fler tokens texten blir, desto högre blir priset. Svenska blir oftast fler tokens per ord än engelska, så en svensk text kostar ofta mer än en engelsk text med lika många ord.

Den andra är modellens kontextfönster. Det är hur mycket text modellen kan se på en gång, och det mäts i tokens. All text som ska med i samma omgång måste rymmas i det antalet. Räknar du orden kan du tro att mer text får plats än fönstret rymmer, eftersom fönstret räknas i tokens.

Det här ska du kunna efter lektionen

• Förklara att en tokeniserare med ett fast ordförråd delar text i tokens, att ett vanligt ord ofta är en enda token, och att ett ovanligt eller långt ord blir flera subord.
• Förklara att samma text kan bli olika många tokens i olika modellfamiljer, och att svenska oftast ger fler tokens per ord än engelska.
• Förklara att priset hos ett API räknas per miljon tokens och att kontextfönster mäts i tokens.