Video och ljud
Verktyg för video och ljud testas på samma sätt som du testar en kamera och en mikrofon: samma uppdrag, två resultat och ett skriftligt betyg på rörelse, ansikten, flimmer, röster och utskrifter. Öppna topplistor rangordnar redan många modeller efter användarröster eller ordfelsfrekvens, och du kan själv göra ett mindre test på svenska med filer du har rätt att använda.
Nybörjare
Samma prompt, två klipp och ett rösttest
En videomodell gör om en skriven beskrivning till ett kort rörligt klipp. En ljudmodell gör om text till en talad röst, eller förvandlar en inspelning tillbaka till text. Du kan jämföra båda på samma sätt: behåll samma beskrivning, byt bara tjänst och skriv ner vad du ser eller hör.
Välj en mening. Till exempel: en person i röd kappa går mot kameran på en blöt gata, tittar in i kameran och stannar. Klistra in meningen i två videotjänster. Be båda om ungefär fem sekunder. Spela upp klippen efter varandra och pausa ofta.
Kolla tre saker. Rörelse: rör sig benen som när någon går, eller glider kroppen fram? Ansikte: sitter ögon, tänder och öron kvar på rätt plats när huvudet vrids? Flimmer: pulserar kappan, gatan eller ljuset mellan bildrutorna? Händer, om de syns, får ofta för många eller för få fingrar. Sätt ett betyg från 1 till 5 på varje punkt, och skriv upp modellens namn, datum, längd och upplösningen som tjänsten visade.
Testa sedan ljudet. Läs en svensk mening högt, eller ta ett kort klipp du spelat in själv, och be ett transkriberingsverktyg om texten. Jämför resultatet med din mening. Både missade och extra ord räknas som fel. Be sedan ett röstverktyg läsa upp samma mening, och lyssna noga på namn, siffror och om rösten låter platt.
Marknaden och jobbtavlan öppnar senare. Den här jämförelsen kan du göra på egen hand redan i dag.
Femsekundersklipp och en svensk mening
Använd exakt den här instruktionen i två videoverktyg och be om cirka 5 sekunder från båda. Använd sedan den svenska meningen i ett röstverktyg och i ett transkriberingsverktyg. Video: En person i röd kappa går mot kameran på en blöt gata, tittar in i kameran och stannar. Samma person, samma kappa, samma gata genom hela klippet. Inga ord i bild. Röst: läs upp den här meningen med en lugn, vuxen svensk röst: Vi ses på stationen klockan åtta. Utskriftskontroll: Jag klistrar in en utskrift nedanför. Jämför den med meningen ovanför. Lista varje felaktigt ord, saknat ord och extra tillagt ord. Rätta inte till stavningen.
Medel
Tre videotester och en ordfelsräkning
Text-till-video utgår från ord. Bild-till-video utgår från en stillbild du skickar in, och modellen hittar på rörelsen. Videoredigering utgår från ett klipp du redan har och ändrar den del du anger, som färgen på en kappa eller en bil bakom personen. Kör dessa som tre olika tester. Ett starkt resultat på ett av testerna kan mycket väl stå bredvid ett svagt resultat på ett annat.
Använd samma prompt i två verktyg för text-till-video, och sedan samma stillbild i två verktyg för bild-till-video. Matcha längd, bildformat och upplösning så nära verktygen tillåter, och skriv ner eventuella inställningar som inte gick att matcha. Arena publicerar topplistor för text-till-video, bild-till-video och videoredigering, baserade på blindtester där användare röstar mellan två klipp. Läs av tabellen samma dag som du öppnar den och jämför med dina egna betyg.
För tal använder du filer som du har rätt att dela: din egen röst, någon som gett skriftligt godkännande, eller svenskt ljud från Mozilla Common Voice som släppts under CC0 (public domain). Försök inte identifiera vem som talar i Common Voice. Transkribera samma filer i två olika verktyg. Räkna felaktiga ord, saknade ord och extra ord. Ordfelsfrekvensen (word error rate) slår ihop dessa tre och delar med antalet ord i den korrekta utskriften. Det är samma mått som används på Open ASR Leaderboard. Ett lägre tal betyder en mer träffsäker utskrift. Ett namn som Bolagsverket, eller en dialektal vokal, påverkar resultatet mer än en mening inspelad i studio.
Dela det visade priset med antalet sekunder färdig video. Det ger dig kostnaden per sekund. Notera om ljud ingick i priset.
Tre uppgifter, en logg
Jag jämför verktyg för video och ljud. Hjälp mig att fylla i en logg. För varje resultat jag klistrar in, märk uppgiften som text-till-video, bild-till-video eller videoredigering. Betygsätt rörelse, ansiktsstabilitet, flimmer och händer från 1 till 5, och ange exakt vid vilken sekund klippet fallerar. Räkna sedan ut kostnaden per sekund utifrån priset och videolängden jag ger dig. Om jag klistrar in en svensk referenstext och modellens utskrift, räkna ut ordfelsfrekvensen som (felaktiga ord + saknade ord + extra ord) / ord i referensen, efter att skiljetecken och stora bokstäver har rensats bort. Fråga mig om du saknar någon siffra. Hitta inte på egna betyg.
Expert
Bildrutor, användarröster, svenska fel och samtalsfördröjning
VBench betygsätter videogeneratorer på flera punkter: att ett motiv förblir samma person, följsamma rörelser och flimmer över tid. Exportera en bildruta varje halvsekund till en kontaktkarta. Betygsätt identitet, flimmer, händer och enkel fysik, som att en kopp står kvar på ett bord. Forskningsartikeln och koden listar prompter och automatiska kontroller.
På Arenas topplistor läser du av spridningen i rankning och antalet röster. Många röster med liten spridning är stabilare än stor spridning på bara några hundra röster. Använd filtret för öppna vikter (open-weights) om du söker en modell du kan köra själv.
Open ASR Leaderboard redovisar ordfelsfrekvens och invers realtidsfaktor, RTFx. RTFx är sekunder ljud delat med sekunder beräkningstid. En RTFx på 1 håller jämna steg med talaren. En RTFx på 2 blir klar på halva taltiden. Fliken för flera språk listar tyska, franska, italienska, spanska, portugisiska, nederländska, armeniska och hindi. För svenska dialekter och fackuttryck märker du upp ett eget testunderlag med region, talstil och ord som måste stämma. Rensa bort skiljetecken och stora bokstäver innan du sätter betyg, precis som den topplistan gör.
ITU-T Rekommendation G.114 råder nätverksplanerare att hålla sig inom 400 millisekunders enkel fördröjning, och påpekar att röstsamtal och videomöten kan påverkas negativt redan vid lägre fördröjningar. Klocka tidsglappet från slutet av din svenska mening till det första ljudet i svaret. Anteckna nätverk, modell och antalet millisekunder.
På samma rad antecknar du valuta, pris, antal sekunder video, upplösning, om ljudet var på eller av, och sekunder från att du tryckte på skicka tills filen kom fram. Dela väntetiden med klippets längd.
Kontaktkarta, ordfelsfrekvens och svarsfördröjning
Agera testprotokollförare. Jag kommer att ge dig bildrutenoteringar från ett videoklipp (en bildruta varje 0,5 sekund), en Arena-rankning med röstetal och spridning, en svensk referenstext, en modellutskrift, ett pris, en väntetid och ett uppmätt tidsglapp från slutet av min mening till svarets första ljud. Skapa en tabellrad med: identitet, flimmer, händer, fysik, om användarbetyget verkar stabilt utifrån röstetal och spridning, ordfelsfrekvens, kostnad per sekund, väntetid per sekund video samt svarstidsglapp i millisekunder. Ange nätverk och modell endast om jag uppgett dem. Använd ITU-T G.114 enbart som bakgrund: en planeringsgräns på 400 ms enkel fördröjning, där interaktiva samtal är känsliga redan vid lägre nivåer. Gör inte om mitt tidsglapp till en godkänd- eller underkänd-stämpel.
Vad du ska skriva på varje rad
Ha en rad per klipp eller ljudfil. Lämna cellen tom om tjänsten döljer uppgiften.
| Fält | Vad du skriver |
|---|---|
| Datum och verktyg | Dag, produktnamn och modellnamn exakt som de visas |
| Typ av test | Text-till-video, bild-till-video, videoredigering, röst eller utskrift |
| Fråga/underlag | Hela prompten, eller filnamnet på stillbilden, videoklippet eller ljudfilen |
| Resultat | Sekunder, upplösning och om klippet har ljud |
| Rörelse, ansikte, flimmer, händer | Betyg från 1 till 5 för varje punkt, med en kort kommentar |
| Pris | Valuta som drogs, därefter priset delat med antalet sekunder färdig video |
| Väntetid | Sekunder från skicka till färdig fil, därefter det talet delat med videons längd |
| Utskrift | Referenstext, ordfelsfrekvens och eventuella ord som blev fel |
| Samtalsfördröjning | Millisekunder från ditt sista ord till svarets första ljud, plus nätverket |
Använd material du filmat själv, eller ett klipp där du har läst licensen. På Pexels är foton och videor gratis att använda och ändra, och du behöver inte ange upphovsperson. Licensen förbjuder att du säljer en oförändrad kopia, antyder att en person eller ett varumärke rekommenderar dig, visar en identifierbar person på ett kränkande sätt eller laddar upp filen på en annan bildbank. För ett offentligt testunderlag är det bäst att använda material som projektet har filmat och godkänt.
En gemensam DGX Station skulle kunna köra samma öppna video- och talmodeller på en och samma maskin, så att en tung text-till-video-körning eller ett svenskt ordfelsfrekvenstest blir en daterad rad som medlemmarna kan jämföra. Om den gemensamma stationen
Källor
- Text-to-Video ArenaTopplista baserad på blindtester av modeller för text-till-video, med poäng, antal röster och ett filter för öppna vikter. Placeringarna ändras över tid, så kontrollera datumet på sidan.
- Image-to-Video ArenaSamma typ av rankning för modeller som utgår från en stillbild.
- Video Edit ArenaBlindtester för modeller som ändrar ett befintligt videoklipp. Färre röster än de andra två listorna, så håll koll på antalet röster.
- Open ASR LeaderboardOrdfelsfrekvens (lägre är bättre) och invers realtidsfaktor (högre är snabbare). Fliken About visar formeln och vilka språk som faktiskt testas. Svenska saknas i listan över språk.
- Forskningsartikeln om VBenchSexton separata mätpunkter för AI-genererad video, bland annat motivets stabilitet, följsamma rörelser och flimmer över tid. Kod och prompter: https://github.com/Vchitect/VBench
- Mozilla Common Voice, svenskaSpela in eller kontrollera svenskt tal. Common Voice släpper donerade ljudklipp under CC0 (public domain). Försök inte identifiera personerna som talar.
- ITU-T G.114, överföringstid i en riktningOfficiella rekommendationer: planera inte ett allmänt nätverk för mer än 400 ms fördröjning i en riktning, och räkna med att röstsamtal och videomöten påverkas redan vid betydligt lägre fördröjning. Kostnadsfri sammanfattning och PDF finns på sidan.
- Pexels licensGratis att använda och ändra. Du behöver inte ange källa. Ingen vidareförsäljning av oförändrade filer, inget antydande om samarbete eller rekommendation, ingen kränkande användning av identifierbara personer och ingen uppladdning till andra bildbanker.