Hoppa till innehållet
POLARISAI ACADEMY
R06-301 · Navigatör

Röst, ljud och generativ video

Efteråt kan du fästa ordtider på ett 25-bilders rutnät och skriva två WebVTT-cues, byta kommatecknet i SRT mot punkten i WebVTT, lägga en förstärkning mot -16 LUFS, och stoppa röstbygget när filen med skriftligt samtycke faller.

Nivå
Navigatör
Tid
24 h (uppskattning)
Förkunskap
R06-101
Kurs 3 av 4
Hoppa till

Efter kursen kan du

Eleven kan bygga en automatiserad pipeline för bearbetning av ljud/video som transkriberar tal till bildruteexakta WebVTT-captions, normaliserar ljudstyrka, verifierar signerade manifest för röstsamtycke och exporterar regelkompatibla videocontainrar.

Fäst ordtiderna på rutor om 40 ms

Videoklockan i den här lektionen går i 25 bilder per sekund, så en bildrutegräns faller var 40:e millisekund. Bildruta k täcker det halvöppna intervallet från 40k ms fram till 40(k+1) ms. Tal-till-text-steget lämnar varje ord med en start och ett slut i hela millisekunder. Fäst starten nedåt och slutet uppåt: den fästa starten är floor(start/40) gånger 40, och det fästa slutet är ceil(slut/40) gånger 40. Ett slut som redan går jämnt ut med 40 ligger kvar. Cuen, undertextposten med start, slut och en textrad, äger sedan bildrutor från fäst-start/40 inklusive upp till fäst-slut/40 uteslutande.

De genomräknade orden kommer i ordning. the ligger på 120–280, kettle på 300–740 och boils på 800–1180. the fästs till 120–280. 120/40 = 3 och 280/40 = 7, så ordet äger bildrutorna 3, 4, 5 och 6, fyra rutor. kettle fästs till 280–760. floor(300/40) = 7, och 7 gånger 40 = 280. 740/40 = 18,5, så slutet klättrar till 19 gånger 40 = 760. Rutorna går från 7 inklusive till 19 uteslutande, tolv rutor. boils fästs till 800–1200. 1180/40 = 29,5, så slutet klättrar till 30 gånger 40 = 1200, och rutorna går från 20 inklusive till 30 uteslutande, tio rutor.

Slå ihop två grannord när glappet, nästa start minus föregående slut, är 0 eller lägre. Den sammanslagna cuen behåller den tidigare starten, det senare slutet och de två orden med ett mellanslag emellan. Ett glapp över 0 förblir delat. the slutar på 280 och kettle börjar på 280, så glappet är 0 och cuen blir 120–760 med texten the kettle. Den cuen äger bildrutorna 3 till och med 18, och 18 - 3 + 1 = 16 rutor. boils börjar på 800. Glappet är 800 - 760 = 40, så boils förblir en egen cue, 800–1200, tio rutor. WebVTT skriver en tid med två siffror för timme, två för minut, två för sekund, en punkt och tre siffror för millisekunder. Tidsraden har ett mellanslag, sedan -->, sedan ett mellanslag, mellan tiderna. De genomräknade tidsraderna är 00:00:00.120 --> 00:00:00.760 och 00:00:00.800 --> 00:00:01.200. Det andra slutet är 1200 ms, alltså 1 sekund och 200 ms. Filen öppnar med raden WEBVTT, en tom rad, cue-id 1, dess tidsrad, dess text, en tom rad, cue-id 2, dess tidsrad och dess text. Millisekundfälten 120, 760, 800 och 200 går alla jämnt ut med 40. Tiden 00:00:00.100 faller på rutnätstestet, eftersom 100/40 = 2,5.

SRT-komma, ordning och överlapp

SRT använder samma klocka och sätter ett kommatecken före de tre millisekundsiffrorna. De genomräknade SRT-raderna är 00:00:00,120 --> 00:00:00,760 och 00:00:00,800 --> 00:00:01,200. Omvandlingen behåller cue-id och text, byter vart och ett av de kommatecknen mot en punkt, och skriver WEBVTT plus en tom rad överst. Antalet cues ligger kvar på 2. En rubrik som redan säger WEBVTT får vara den enda rubriken. Rutnätstestet från bildruteavsnittet gäller fortfarande när kommatecknet blivit en punkt.

Ordningskollen har tre delar, och filen går igenom bara när alla tre går igenom. Varje cues slut ligger strikt över dess egen start. Nästa cues start ligger på eller efter föregående cues slut. Varje millisekundfält går jämnt ut med 40. Cue-slutet är uteslutande på bildrutenätet, så nästa cue får börja i samma ögonblick som den förra slutar. Cue 1 går från 120 till 760. En senare cue som börjar på 760 rör vid det slutet och klarar överlappsdelen. En cue som börjar på 720 krockar: 760 - 720 = 40 ms överlapp, så filen faller. Den genomräknade andra starten är 800, och 800 ligger efter 760, så paret går igenom. En fil vars första rad är en cue, med WEBVTT borta, faller innan tiderna läses.

Förstärkning mot -16 LUFS

Exportmålet är -16,0 LUFS, och passbandet är -17,000 till och med -15,000. Integrerad loudness, ljudstyrka mot full skala, följer ITU-R BS.1770. Ett K-viktande filter kör först. Blocken är 400 ms långa och hoppar 100 ms framåt. För ett monoblock är blockets loudness -0,691 + 10 gånger log10 av medelkvadraten. En absolut grind tappar varje block under -70 LUFS. Den relativa grinden ligger 10 LU under loudness för de block som klarade den absoluta grinden, och den tappar block under den linjen. När de kvarvarande blocken delar en loudness är den integrerade loudness lika med det talet. Fyra block på -19,0 och ett block på -72 behåller de fyra och tappar -72. Den integrerade loudness som fixturen skriver ut är därför -19,0. Du tar det utskrivna talet och väljer förstärkningen, gain.

Deltat i dB är -16,0 minus den uppmätta loudness. Den linjära gainen är 10 upphöjt till (delta/20), avrundat halvt bort från noll till 4 decimaler. Skiftet du bokför är 20 gånger log10 av den avrundade gainen, avrundat halvt bort från noll till 3 decimaler. Lektionens deltatabell är uppslaget. Delta +6,0 ger gain 1,9953 och skift +6,000. Delta +3,0 ger gain 1,4125 och skift +3,000. Delta +2,0 ger gain 1,2589 och skift +2,000. Delta +0,4 ger gain 1,0471 och skift +0,400. Delta -1,8 ger gain 0,8128 och skift -1,800. Två ytterligare gain förekommer bara efter en toppbegränsning: 1,2500 skiftar med +1,938, och 1,1111 skiftar med +0,915.

Sample peak är det största absolutvärdet bland samplingarna i filen. Multiplicera det med tabellens gain. En produkt på högst 1 behåller den gainen. En produkt över 1 byter gain mot 1/peak avklippt efter 4 decimaler, och restens siffror slängs i stället för att avrundas uppåt. Läs sedan skiftet från den matchande begränsade raden och lägg det till den uppmätta loudness. Uppmätt -19,0 och peak 0,50 ger delta +3,0, gain 1,4125 och skift +3,000. Bokförd loudness är -19,0 + 3,000 = -16,000, inne i bandet. Produkten är 0,50 gånger 1,4125 = 0,70625, så gain ligger kvar på 1,4125. Uppmätt -22,0 och peak 0,90 ger delta +6,0 och tabellgain 1,9953. Produkten är 0,90 gånger 1,9953 = 1,79577, över 1. Sedan är 1/0,90 = 1,111111..., avklippt till 1,1111, och 0,90 gånger 1,1111 = 0,99999, som ligger på eller under 1. Skiftet är +0,915. Bokförd loudness är -22,0 + 0,915 = -21,085. Det ligger utanför -17,000 till och med -15,000, så exporten stannar och posten får värdet peak_limited.

Samtycke, planerade rutor och MP4-grinden

En röst får renderas först när ett manifest med skriftligt samtycke går igenom. Filen bär speaker_id, voice_id, consent, signed_date, expires och signature. Fältet consent ska vara strängen written. Jobbets talare och röst ska matcha filen. Signaturen har längden 64, och varje tecken är en siffra 0 till 9 eller en gemen bokstav a till f. Datum jämförs som åttasiffriga heltal YYYYMMDD. Kördatumet ska ligga på signed_date eller senare, och på expires eller tidigare. Expires är sista giltiga dag. Kördatumet i lektionen är 2026-04-15, skrivet 20260415, och jobbet ber om talare s1 och röst v3. Manifestet m1 har consent written, talare s1, röst v3, signed 20251101, expires 20261101 och en signatur på 64 tecken i det hexadecimala alfabetet. 20251101 ligger på eller före 20260415, och 20260415 ligger på eller före 20261101, så m1 går igenom. En saknad fil stannar på samtyckessteget: 1 anrop, 0 anrop till text-till-tal, export blockerad, orsak missing. Manifestet m3 matchar m1 utom att consent är verbal, så m3 stannar på samma steg med orsak consent. Manifestet m4 matchar m1 utom att expires är 20260414. 20260415 ligger efter 20260414, så m4 stannar med orsak date.

Planeraren för text-till-tal, TTS, uppskattar längden innan något ljud finns. Räkna orden, räkna bokstäverna och hoppa över mellanslagen. Millisekunder är 350 gånger orden plus 30 gånger bokstäverna. Antalet bildrutor är det minsta hela antalet rutor om 40 ms som täcker den längden. Skriptet the kettle boils har 3 ord och 14 bokstäver. 350 gånger 3 + 30 gånger 14 = 1050 + 420 = 1470 ms. Trettiosex rutor slutar vid 36 gånger 40 = 1440 ms, och 1470 ligger 30 ms förbi 1440, så planen tar 37 rutor och reserverar 37 gånger 40 = 1480 ms. En begärd tidslinje på 50 rutor är längre. Utfyllnaden är 50 - 37 = 13 rutor tystnad efter det reserverade talet. De uppmätta cues slutar vid 1200 ms, inuti både reserven på 1480 ms och beställningen på 50 rutor. Varje ruta vid 48000 Hz rymmer 1920 samplingar per kanal, eftersom 40 ms gånger 48 samplingar per ms = 1920. Femtio rutor rymmer 50 gånger 1920 = 96000 samplingar per kanal, och exporten använder 2 kanaler.

Läppsynk-offset, lip-sync, är cuens första bildruta minus munnens första bildruta, och bara en cue som bär en munmarkering testas. Grinden går igenom när absolutbeloppet av offset är högst 2. Den genomräknade munnen för the kettle öppnar på ruta 3, cuen börjar på ruta 3, och offset är 0, så grinden går igenom. Muxen skriver MP4, videocodec H.264, profil High, nivå 4.0, pixelformat yuv420p, 1280 gånger 720, 25 bilder per sekund och 50 rutor. Codec är packningsmetoden för bild och ljud. Nivå 4.0 tillåter högst 8192 makroblock i en ruta och högst 245760 makroblock på en sekund. Ett makroblock är 16 gånger 16 pixlar. Den genomräknade rutan rymmer (1280/16) gånger (720/16) = 80 gånger 45 = 3600 makroblock, och 3600 gånger 25 = 90000 per sekund. Båda ligger under nivåns gränser. Ljudet är AAC i 48000 Hz, 2 kanaler, med den PCM-längden 96000 samplingar per kanal. En beställning för text-till-video på 1000 gånger 700 missar 16-pixelrutnätet, eftersom 1000/16 = 62,5 och 700/16 = 43,75. Välj den multipel av 16 som har minst avstånd, och vid lika avstånd den lägre multipeln. 1000 - 992 = 8 och 1008 - 1000 = 8, så bredden är 992. 704 - 700 = 4 och 700 - 688 = 12, så höjden är 704. Stegen för image-to-video, bild till video, går i den här ordningen: samtycke, rutnät, text-till-tal, tal-till-text, loudness, läppsynk, mux. Ett fullt pass är 7 anrop. Text-till-video skjuter in ett anrop som skapar stillbilden efter samtycket, så ett fullt pass är 8 anrop. Det anropet lämnar villkorsbilden, och videosteget ger sedan tidslinjens antal rutor i 25 bilder per sekund. Ett fallerande steg är sista anropet. Muxen kör bara efter att varje steg som står före den har gått igenom.

Ett exempel

Ett bild-till-video-jobb, från samtycke till mux

Stillbilden är 1280 gånger 720. Beställningen är 50 rutor. Skriptet är the kettle boils. De uppmätta orden är the 120–280, kettle 300–740 och boils 800–1180. Uppmätt loudness är -19,0 LUFS och sample peak är 0,50. Munnen för den första cuen öppnar på ruta 3. Manifestet är m1. Kördatumet är 2026-04-15. Vägen är image-to-video, så inget anrop skapar stillbilden.

Samtycket på m1 går igenom, och körningen fortsätter. Rutnätet rymmer 80 gånger 45 makroblock, 3600 i rutan och 90000 per sekund, inuti nivå 4.0. Planeraren reserverar 37 rutor från 1470 ms, utfyllnaden till 50 är 13 rutor, och PCM-längden är 96000 samplingar per kanal. Tal-till-text skriver två cues, 00:00:00.120 --> 00:00:00.760 med texten the kettle, och 00:00:00.800 --> 00:00:01.200 med texten boils. SRT-formen av den första tidsraden är 00:00:00,120 --> 00:00:00,760. Ordningskollen ser 800 efter 760, och varje millisekundfält går jämnt ut med 40. Loudness använder gain 1,4125, produkt 0,70625 och bokförd loudness -16,000. Läppsynk-offset är 0. Muxen skriver MP4-raden från containeravsnittet.

Raden du kan bocka av innan du litar på filen är: consent pass, cues 2, frames 50, pcm 96000, gain 1,4125, loudness -16,000, offset 0, macroblocks 3600, calls 7, export allowed. De 7 anropen är samtycke, rutnät, text-till-tal, tal-till-text, loudness, läppsynk och mux.

Övning

Märk en text-till-video-tidslinje på papper

Skriptet är hot water. Tal-till-text lämnar hot på 200–360 och water på 400–900. Munnen för hot öppnar på ruta 5, och munnen för water öppnar på ruta 14. Jobbet är text-till-video med begärd storlek 1000 gånger 700, hållet i 40 rutor. Uppmätt loudness är -18,0 LUFS och sample peak är 0,80. Manifestet matchar m1, och kördatumet är 2026-04-15. Skriv de fästa cuerna och båda tidsraderna. Skriv planerarens millisekunder, de reserverade rutorna, utfyllnaden och PCM-längden per kanal. Skriv korrigerad bredd och höjd, makroblocken i en ruta och makroblocken per sekund. Skriv gain-vägen och den bokförda loudness. Skriv varje läppsynk-offset. Skriv antalet anrop och säg om muxen kör.

hot fästs till 200–360 och water till 400–920. Glappet är 400 - 360 = 40, så cuerna förblir delade. Tidsraderna är 00:00:00.200 --> 00:00:00.360 och 00:00:00.400 --> 00:00:00.920. hot äger rutorna 5 till och med 8, fyra rutor. water äger rutorna 10 till och med 22, tretton rutor, eftersom 920/40 = 23 och slutet är uteslutande. Planeraren använder 2 ord och 8 bokstäver: 350 gånger 2 + 30 gånger 8 = 700 + 240 = 940 ms. Tjugotre rutor slutar vid 920 ms, och 940 ligger 20 ms förbi det, så reserven är 24 rutor och 960 ms. Utfyllnaden till 40 rutor är 40 - 24 = 16. PCM-längden är 40 gånger 1920 = 76800 samplingar per kanal. Den korrigerade storleken är 992 gånger 704. Makroblocken är 62 gånger 44 = 2728 i rutan, och 2728 gånger 25 = 68200 per sekund. Båda ligger under 8192 och 245760. Delta är -16,0 - (-18,0) = +2,0, så tabellens gain är 1,2589. Produkten är 0,80 gånger 1,2589 = 1,00712, över 1. Taket är 1/0,80 = 1,2500, skiftet är +1,938, och bokförd loudness är -18,0 + 1,938 = -16,062, inne i bandet. Offset för hot är 5 - 5 = 0 och går igenom. Offset för water är 10 - 14 = -4, och absolutbeloppet 4 faller på grinden 2. Körningen stannar på läppsynk. Anropen är samtycke, stillbild, rutnät, text-till-tal, tal-till-text, loudness och läppsynk, alltså 7. Muxen stannar utanför. Export blockerad, orsak lip_sync.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Vilka är de två genomräknade WebVTT-tidsraderna för the kettle boils, och hur många bildrutor täcker den första cuen?

00:00:00.120 --> 00:00:00.760 och 00:00:00.800 --> 00:00:01.200. Den första cuen täcker rutorna 3 till och med 18, alltså 16 rutor.

Uppmätt loudness -19,0 LUFS och sample peak 0,50. Vilken gain multipliceras, vilken bokförd loudness följer, och vad är peak-produkten?

Gain är 1,4125. Bokförd loudness är -16,000. Produkten är 0,70625, så gain förblir utan tak.

Uppmätt loudness -22,0 LUFS och sample peak 0,90. Vilken begränsad gain används, vilken bokförd loudness följer, och exporteras filen?

Den begränsade gainen är 1,1111. Bokförd loudness är -21,085. Exporten stannar, och posten får värdet peak_limited.

På kördatum 2026-04-15, vad gör en saknad samtyckesfil med antalet anrop, och varför faller manifestet m4 när expires är 2026-04-14?

Pipelinen stannar på samtyckessteget: 1 anrop, 0 anrop till text-till-tal, export blockerad, orsak missing. m4 faller eftersom 20260415 ligger efter 20260414.

Ta med dig

Bocka av posten före muxen: skriftligt samtycke gick igenom, cues ligger på 40 ms-rutnätet utan överlapp, bokförd loudness ligger från -17,000 till och med -15,000, läppsynk-offset är högst 2 bildrutor, och H.264-rutan ryms i makroblockgränserna för nivå 4.0.

Slutuppgift

Lämna in ett skript för en mediapipeline som testas mot frysta fixtures för ljud/video; automatiserade ffprobe- och parsertester verifierar ljudstyrka på -16 LUFS (±1 dB), giltiga synktidsstämplar i WebVTT, blockerad körning när ett manifest för röstsamtycke saknas, och exakta utdataspecifikationer för MP4/H.264. (Valfritt portföljobjekt: 60-sekunders explainer-film).

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan