Specialiserad AI
Specialiserad AI tar hand om de avgränsade uppgifterna vid sidan av de stora chattmodellerna: läsa av ett kvitto, översätta ett stycke text, få text uppläst, köra en liten modell direkt i mobilen eller på en liten dator, och kontrollera om en kodassistent faktiskt fixar en bugg. Stegen nedan är enkla kontroller du kan göra själv, plus öppna prestandatester som redan har en färdig metod.
Nybörjare
Läs av ett kvitto, översätt en anteckning, hör texten uppläst
På ett foto av ett kvitto är texten bara pixlar. Optisk teckenläsning (OCR) är steget som gör om den tryckta texten till bokstäver och siffror. Sedan kan en chattmodell fylla i fälten du faktiskt vill ha: säljare, datum, totalsumma och moms. Även om den läser varje ord rätt kan momsen råka hamna i fel ruta.
Använd ett kvitto som du får dela. På ett riktigt kvitto kan det synas namn, delar av ett kortnummer eller ett telefonnummer. Täck över sådant innan du laddar upp fotot i en chatt i mobilens webbläsare. Be om en kort tabell med säljare, datum, valuta, totalsumma och moms, och be modellen skriva "oläsligt" om texten är suddig. Jämför sedan totalsumman mot papperet. Svenska kvitton använder ofta komma för decimaler och ordet kronor eller förkortningen kr. Om 149,00 kommer tillbaka som 14900 räknar du det som en miss.
Två andra uppgifter finns i samma webbläsare. Uppläsning använder Web Speech API: sidan skickar en mening till enhetens taltjänst, och högtalarna spelar upp den. Du kan välja röst, även en svensk om telefonen har en sådan. Översättning kan vara att bara klistra in text i samma chatt. Håll dig till en enkel regel: namn, siffror, datum och enheter ska stå kvar precis som i originalet. Chrome på datorn kan också översätta med det inbyggda Translator API. Det API:et laddar ner ett språkpaket till datorn, och svenska finns med på listan. Chromes egen guide säger att det här API:et körs i Chrome på datorn, så i mobilen håller du dig till chattsidan.
Läs av ett kvitto utan att gissa
Du tittar på ett foto av ett kvitto eller en faktura som jag har rätt att dela. Hämta bara ut det som faktiskt står tryckt. Svara med en markdown-tabell med kolumnerna: fält, värde, ord du ser i bilden. Fält: säljare, datum, valuta, totalsumma, moms, betalsätt. Om ett fält saknas, är suddigt eller avklippt, skriv oläsligt. Räkna inte ut moms som saknas. Hitta inte på en säljare utifrån en logotyp om namnet inte står utskrivet. Behåll det ursprungliga decimaltecknet (komma eller punkt). Lista efter tabellen eventuella personnamn, kortnummerrester, telefonnummer eller personnummer så att jag kan täcka över dem innan jag delar bilden igen.
Medel
Betygsätt ett nischat verktyg mot ett fast underlag
Bedöm ett nischat verktyg genom att upprepa samma underlag och skriva ner varje miss. Tio exempel räcker för att se ett mönster. Ha ett facit bredvid filerna: det verkliga datumet, totalsumman och momsen, eller de ord som personen faktiskt sa.
Bedöm ett kvitto eller en faktura på två rader. Den första raden är texten som lästes av från sidan (OCR-läsningen). Den andra är fälten: datum, säljare, totalsumma, moms och valuta. En fullständig text med fel totalsumma räknas som en misslyckad utläsning. För översättning sparar du källtexten och en noggrann mänsklig version, och markerar en miss när ett namn, en siffra, ett datum eller en enhet ändras. För tal jämför du texten med ljudklippet. Open ASR Leaderboard redovisar felaktiga ord i procent (word error rate), alltså andelen ord som skiljer sig från en referenstext, samt inverse real-time factor, ett hastighetsmått där ett högre tal innebär mer transkriberat ljud per sekunds arbete. Deras listor täcker engelska, långa inspelningar och korta flerspråkiga klipp. Ett svenskt klipp som du spelar in själv spelar ändå roll, eftersom ett starkt genomsnitt kan dölja ett svagare språk.
För en kodassistent ger du en verklig bugg, det felaktiga beteendet och vad en färdig lösning innebär. SWE-bench gör detta med riktiga GitHub-ärenden: modellen måste skicka in en patch, och rankingen mäter andelen lösta problem i procent. Webbplatsen listar 2 294 fall i hela datamängden och 500 i den manuellt granskade delmängden Verified. Ditt eget test kan vara en enda bugg och ett testfall du kör själv. Skriv ner datum, verktyg, enhet och varje miss.
Bedöm två översättningar utifrån fakta
Jämför Översättning A och Översättning B av källtexten nedan. Belöna inte stil. Kontrollera bara dessa fyra punkter: oförändrade namn, oförändrade siffror, oförändrade datum, oförändrade enheter. Lista sedan betydelsemissar i klartext, var och en kopplad till en fras i källtexten. Avsluta med en tabell: kontrollpunkt, A, B, godkänd eller miss. Källspråk: [språk] Målspråk: [språk] Källa: [klistra in källa] Översättning A: [klistra in A] Översättning B: [klistra in B]
Expert
Små modeller, körmiljöer i webbläsaren, strikta fält
En parameter är ett tal som modellen lärde sig under träningen. En modell på ungefär 1 till 3 miljarder parametrar kan testas på en telefon, en bärbar dator eller ett kretskort som Raspberry Pi. Kvantisering sparar varje parameter med färre bitar, ofta 4 eller 8 i stället för 16. Anteckna för varje enhet om programmet höll sig igång, väntetiden till första ordet och tokens per sekund. En token är en del av ett ord. Om operativsystemet stänger ner processen fick modellen inte plats i minnet.
ONNX (Open Neural Network Exchange) är ett filformat för en tränad modell. ONNX Runtime läser in filen på en dator eller i webbläsaren. Webbläsarversionen kan använda WebAssembly på processorn eller WebGPU execution provider på grafikchippet. WebGPU är W3C-standarden för GPU-beräkningar på en webbsida. Standarden anger att API:et kräver en säker kontext, så använd HTTPS eller localhost. Guiden för ONNX Runtime säger att Chrome och Edge har stöd för WebGPU på Windows, macOS, Android och ChromeOS, med mer begränsat stöd i Firefox och Safari. Läs in en modell med båda metoderna och skriv ner laddningstid, en andra körning och minnesanvändning.
En informationsutläsare för juridik eller ekonomi loggas på samma sätt. Be om parter, datum, belopp och rubriker på klausuler, och matcha sedan varje fält mot en rad i källtexten. Att lägga till en avgift som inte står utskriven är en miss. Polaris har inga publicerade testrader för detta ännu. En publicerad rad behöver datum, maskinnamn, modellfil, bitbredd och testunderlag.
Gör om en körning till en resultatrad
Skapa en testrad från anteckningarna jag klistrar in. Hitta inte på tider, minnessiffror eller resultat som inte finns i texten. Svara med en markdown-tabell med: datum, enhet, RAM, modellfil, antal parametrar, bitbredd, körmiljö (wasm, webgpu eller annat), laddningsresultat (kördes eller avbröts), tid till första token om det finns angivet, tokens per sekund om det finns angivet, samt alla siffror i resultatet som skiljer sig från prompten. Lista därefter de tre testunderlag jag bör köra om oförändrade på en större modell så att raderna går att jämföra: en fältuppgift för kvitto eller faktura, ett kort röstklipp och en kodfix med ett test jag kan köra. Anteckningar: [klistra in enhet, modell, prompt och resultat]
Vad du ska anteckna
Använd samma kolumner för varje nischat test. Polaris har inte publicerat några poängsatta resultat ännu, så kolumnerna är till för ditt eget test.
| Uppgift | Spara | En miss |
|---|---|---|
| Kvitto eller faktura | Foto samt verklig säljare, datum, totalsumma, moms, valuta | Fel fält, påhittad rad eller flyttat decimaltecken |
| Översättning | Källtext och en mänsklig version | Ändrat namn, siffra, datum eller enhet |
| Uppläsning | Meningen och röstens namn | Fel språk, överhoppade ord eller tystnad |
| Tal till text | Ljudfil och en mänsklig transkribering | Ord som skiljer sig från transkriberingen |
| Kodassistent | Projekt, ärende och ett test som ska gå igenom | En patch som inte klarar testet |
| Liten modell eller webbläsarmodell | Modellfil, bitbredd, enhet, minne | Krasch eller en tydlig försämring på samma prompter |
Marknadsplatsen och jobbtavlan öppnar senare. Du kan köra de här testerna på din egen enhet redan nu.
Innan du laddar upp ett dokument eller en röst
Innan ett foto eller ett klipp lämnar din dator:
- Täck över personnamn, kortnummer, telefonnummer och eventuella personnummer.
- Spara originalfilen. En beskuren skärmdump kan dölja just den rad som modellen läste fel.
- Skriv upp verktygets namn och datumet på facit samma dag.
- Se en juridisk eller skattemässig sammanfattning som ett utkast. Jämför varje belopp mot originalet innan du litar på det.
- För talinspelningar, ange vem som får höra inspelningen. Ett röstklipp kan identifiera en person.
En gemensam DGX Station skulle köra om de tyngre testerna för tal, kvittoavläsning och kodfixar på en och samma dokumenterade maskin, så att en liten lokal modell och en stor modell kan jämföras med samma underlag, datum och maskinnamn. Om den gemensamma stationen
Källor
- Tesseract User ManualOfficiell manual för OCR-motorn med öppen källkod som läser av tryckt text från bilder. Motorn är licensierad under Apache-2.0. Svenska språkdata finns i filen swe.traineddata på https://github.com/tesseract-ocr/tessdata_fast/blob/main/swe.traineddata.
- Translation with built-in AI (Chrome)Chromes guide till det lokala Translator API, inklusive språklistan (svenska är sv) och informationen om att API:et körs i Chrome på datorn. Dokumentationstexten är licensierad under CC BY 4.0; den här sidan kopierar den inte.
- Web Speech API (MDN)Hur en webbsida kan läsa upp text (SpeechSynthesis) och, där webbläsaren tillåter det, känna igen tal. Texten från MDN är licensierad under CC BY-SA; den här sidan kopierar den inte.
- Open ASR LeaderboardÖppen sammanställning över system för taligenkänning. Använd den för att se hur felaktiga ord och hastighet redovisas, och testa sedan ditt eget svenska klipp på samma sätt.
- Open ASR Leaderboard paperMetodrapporten: felaktiga ord i procent (word error rate) och inverse real-time factor på engelska och flerspråkiga ljudmängder. Läs rapporten för definitioner av måtten; den aktiva topplistan visar den aktuella tabellen.
- ONNX Runtime WebGPU tutorialHur du kör en ONNX-modell i webbläsaren på grafikchippet, samt vilka webbläsare som guiden listar.
- WebGPU specificationW3C Candidate Recommendation för GPU-beräkningar i webbläsaren. API:et exponeras i en säker kontext. W3C-dokumentlicensen gäller för specifikationen; den här sidan kopierar den inte.
- SWE-bench leaderboardÖppna resultat för modeller som ska lösa verkliga GitHub-ärenden. Webbplatsen listar 2 294 fall i hela datamängden och 500 i den manuellt granskade delmängden Verified. Koden finns på https://github.com/SWE-bench/SWE-bench, som anger MIT-licens.