Hoppa till innehållet
POLARISAI ACADEMY
R06-101 · Navigatör

Bildgenerering, styrning och konsekventa motiv

Efteråt kan du räkna latentens rutnät från bildens bredd och höjd, räkna om ett avbrusningssteg och en styrningsmix för hand, prissätta en batch från steg och anrop, och släppa in eller avvisa en referensbild med en licenskoll på tre rader.

Nivå
Navigatör
Tid
20 h (uppskattning)
Förkunskap
F01–F07
Kurs 1 av 4
Hoppa till

Efter kursen kan du

Eleven kan konfigurera deterministiska grafer för diffusions-workflow (ComfyUI JSON), beräkna exakt VRAM och genereringskostnad per bild och mata ut bildbatcher som matchar strikta villkor för upplösning, seed och metadata.

Latentrutnätet och ett avbrusningssteg

Kodaren i den här lektionen krymper varje sida av bilden med 8 och lagrar 4 tal i varje latent cell. Latent space är det rutnätet. Avbrusaren, den modell som tar bort brus steg för steg, halverar rutnätet tre gånger, så varje latent sida måste vara delbar med 8. Tillsammans betyder det att varje pixelsida måste vara delbar med 64, eftersom 8 gånger 8 är 64. En bild på 512 gånger 512 går igenom: 512 / 8 = 64, och 64 gånger 64 gånger 4 = 16384 latenta tal. En bild på 768 gånger 512 går också igenom: 768 / 8 = 96, och 96 gånger 64 gånger 4 = 24576 tal. En bild på 1024 gånger 1024 rymmer 128 gånger 128 gånger 4 = 65536 tal, fyra gånger 512-rutnätet, eftersom varje sida dubblades. En beställning på 500 gånger 500 bryter mot regeln, eftersom 500 / 64 = 7,8125. Närmaste storlekar som går igenom är 448 och 512. Rutnätet för 448 har 56 gånger 56 gånger 4 = 12544 tal.

Ett av de talen uppdateras med en kort formel du kan köra för hand. Denoising, avbrusningen, syns redan på det enda talet. Vid en brusnivå där det lagrade bar-alfa är 0,64 är kvadratroten 0,8 och kvadratroten ur 1 minus 0,64 är 0,6. Ett rent värde 2,0 blandat med brus 1,0 blir 0,8 gånger 2,0 plus 0,6 gånger 1,0, alltså 1,6 + 0,6 = 2,2. De 2,2 är det brusiga värdet. När avbrusaren gissar bruset till 1,0 blir det rekonstruerade rena värdet (2,2 minus 0,6 gånger 1,0) delat med 0,8, alltså 1,6 / 0,8 = 2,0. Lektionens enstegsdrag på ett tal stänger sedan bråkdelen 0,25 av gapet: 2,2 plus 0,25 gånger (2,0 minus 2,2) = 2,2 minus 0,05 = 2,15. En riktig sampler hämtar den bråkdelen ur ett brusschema och kan lägga till ett nytt brusterm. Handkollen är den här rekonstruktionen och det här draget. Kontrollpunkten på minnesbladet har 1,5 miljarder parametrar med 2 byte var. När 1 GB betyder 1 000 000 000 byte tar vikterna 3,00 GB. Bladet tar sedan 50 000 byte aktiveringslagring per latent tal. 512-rutnätet kostar 16384 gånger 50 000 = 819 200 000 byte, eller 0,8192 GB, så arbetsmängden är 3,00 + 0,8192 = 3,8192 GB. Det är lektionens VRAM, arbetsminnet på kortet. Rutnätet 768 gånger 512 kostar 24576 gånger 50 000 = 1 228 800 000 byte, eller 1,2288 GB, och arbetsmängden är 4,2288 GB. 1024-rutnätet kostar fyra gånger 0,8192 GB i aktiveringar, 3,2768 GB, och arbetsmängden är 6,2768 GB.

Styrskalan och antalet anrop

Classifier-free guidance, förkortat CFG, blandar två brusgissningar från samma avbrusare. Den ena gissningen ser prompten. Den andra ser en tom prompt. Med ovillkorad poäng 0,20, villkorad poäng 0,80 och styrka s blir den styrda poängen 0,20 plus s gånger (0,80 minus 0,20). Gapet är 0,60. Vid s = 7 blir den styrda poängen 0,20 + 7 gånger 0,60 = 0,20 + 4,20 = 4,40. Vid s = 5 blir den 0,20 + 5 gånger 0,60 = 3,20. Vid s = 1 blir den 0,20 + 0,60 = 0,80, alltså den villkorade poängen själv, eftersom den ovillkorade poängen multipliceras med noll i den utvecklade formen s gånger villkorad plus (1 minus s) gånger ovillkorad.

Pipelinen i lektionen lägger ett avbrusaranrop på ett steg när s är 1, och två anrop när s är något annat: ett anrop med tom prompt och ett med prompt. Samplern gör ändå ett drag per steg. Tjugo steg vid styrka 7 kostar därför 2 gånger 20 = 40 anrop. Tjugo steg vid styrka 1 kostar 20 anrop. Trettio steg vid styrka 5 kostar 2 gånger 30 = 60 anrop. Prisbladet tar 0,0008 dollar per avbrusaranrop. Aktiveringsminnet ovan ligger stilla oavsett stegräkningen, eftersom vikterna och latentstorleken upptar kortet under hela körningen.

Inpainting och outpainting på rutnätet

Inpainting målar om pixlarna innanför en mask och lämnar de andra pixlarna orörda. Maskens kanter ligger i den här lektionen på multiplar av 64, så varje maskat block täcker hela latenta celler efter divisionen med 8. En mask på 128 gånger 128 på en duk på 512 gånger 512 täcker 16384 pixlar av 262144, och 262144 / 16384 = 16, så den målade andelen är 1/16. Den latenta masken är 16 gånger 16 = 256 celler av 64 gånger 64 = 4096 celler, och 4096 / 256 = 16, samma andel. En maskbredd på 100 bryter mot rutnätet: 100 / 8 = 12,5, så kanten skulle skära genom latenta celler.

Outpainting behåller originalbilden och fyller en ny remsa. Att växa 512 gånger 512 åt höger tills duken är 768 gånger 512 lägger till en remsa på 256 gånger 512 = 131072 pixlar. Den nya duken rymmer 768 gånger 512 = 393216 pixlar, och 131072 gånger 3 = 393216, så den nya remsan är 1/3 av duken. På latentrutnätet är den tillagda remsan 32 gånger 64 = 2048 celler av 96 gånger 64 = 6144, och 2048 gånger 3 = 6144, återigen 1/3. Posten lagrar båda bredderna, 512 och 768, så en senare kontroll kan räkna om andelen. Arbetsmängden följer det nya rutnätet, 4,2288 GB för 768 gånger 512, från bladet i första avsnittet.

Seed, pris, referensvikt och licens

Seed är starttalet för brusfältet. Euler i den här lektionen drar inget extra brus efter ett drag. Euler ancestral drar ett extra brusvärde per steg ur den generator som seed startade. På en deterministisk byggd upprepas båda samplerna när seed, prompt, stegräkning, styrka, bredd, höjd och samplernamn ligger stilla. Att byta seed från 17 till 18 byter brusfältet. Att bara byta stegräkningen byter också bilden, eftersom schemat får en annan längd, och antalet anrop följer med. Ett gemensamt seed upprepar bruset när prompten och de andra inställningarna matchar. Karaktären stannar när samma referensbild och samma referensvikt går in i varje ruta. Mixen är (1 minus r) gånger textvektorn plus r gånger bildvektorn. Med text [0,80, 0,20], bild [0,00, 1,00] och r = 0,25 blir mixen 0,75 gånger [0,80, 0,20] plus 0,25 gånger [0,00, 1,00] = [0,60, 0,15] plus [0,00, 0,25] = [0,60, 0,40].

Tre licensrader måste alla gå igenom innan referensfilen får följa med körningen. Du har upphovsrätten, eller också tillåter licensen bearbetning. Licensen tillåter den här användningen, så en icke-kommersiell licens faller på ett kommersiellt jobb. Posten lagrar källan, licensnamnet och filens hash. En saknad hash faller på den tredje raden. Orden no derivatives faller på den första raden. Ett foto du själv tog kan föras in med licensnamnet own när jobbet är kommersiellt och hashen är lagrad. Tio bildrutor till tjugostegspriset, styrka 7, kostar 10 gånger 0,032 = 0,320 dollar. Varje ruta behåller seed 17, Euler, 512 gånger 512 och r = 0,25 på ett foto du tog, och bara en kort fras längst ut i prompten ändras, så referensen behåller sin andel 0,25 medan textdelen av mixen följer den nya frasen. Fyrtio anrop gånger 0,0008 = 0,032 dollar för en sådan ruta. Trettio steg vid styrka 5 kostar 60 gånger 0,0008 = 0,048 dollar per bild, och en batch på 8 kostar 8 gånger 0,048 = 0,384 dollar.

Ett exempel

En kommersiell batch, från rutnät till proveniens

Jobbet ber om 8 bilder, 768 gånger 512, Euler, 30 steg, styrka 5, seed 42, på kontrollpunkten från minnesbladet. Båda sidorna är delbara med 64. Latent bredd 96, latent höjd 64, och 96 gånger 64 gånger 4 = 24576 tal. Aktiveringarna är 1,2288 GB och arbetsmängden är 3,00 + 1,2288 = 4,2288 GB. Ta ett latent tal vid bar-alfa 0,64. Renvärde 2,0 och brus 1,0 ger det brusiga värdet 2,2. Avbrusaren gissar brus 1,0, rekonstruktionen är 2,0, och enstegsdraget med bråkdelen 0,25 landar på 2,15. Den kollen täcker ett enda tal. De andra 24575 talen följer samma schema inne i programmet.

Ovillkorad poäng 0,20 och villkorad poäng 0,80 vid styrka 5 ger 0,20 + 5 gånger 0,60 = 3,20. Styrkan ligger över 1, så varje steg kostar 2 anrop. Trettio steg kostar 60 anrop. Vid 0,0008 dollar per anrop kostar bilden 0,048 dollar, och batchen på 8 kostar 0,384 dollar. Samplernamnet i posten är euler, så den här körningen lägger inget extra brusdrag efter steget. En andra körning med samma prompt, seed 42, 30 steg, styrka 5 och 768 gånger 512 upprepas på en deterministisk byggd. Seed 43 med alla andra fält oförändrade byter brusfältet.

Den erbjudna referensen har en icke-kommersiell licens, och jobbet är kommersiellt, så rad 2 i licenskollen faller. Filen stannar utanför, referensvikten lagras som 0, och licensfältet får värdet refused. Byt in ett foto du själv tog, med källa, licensnamn own och hash lagrade. Rad 1, rad 2 och rad 3 går igenom. Vid referensvikt 0,25 blir mixen av [0,80, 0,20] och [0,00, 1,00] lika med [0,60, 0,40] på varje bild i batchen. Om den här duken med bredd 768 är en outpaint av ett original med bredd 512, är den tillagda remsan 131072 pixlar av 393216, alltså 1/3.

Proveniensraden du skriver innan start är seed 42, steps 30, cfg 5, sampler euler, width 768, height 512, calls 60, cost 0,048, working_gb 4,2288, reference_license refused, deterministic true. I varianten med eget foto blir reference_license own och reference_weight 0,25. Antalet anrop och batchpriset 0,384 dollar ligger stilla, eftersom referensmixen använder villkorsvektorn inuti anrop du redan räknat.

Övning

Prissätt en 16:9-batch på papper

En kommersiell batch på 4 använder 1024 gånger 576, Euler, 25 steg, styrka 4 och seed 7, på samma kontrollpunkt och samma anropspris 0,0008 dollar. Den ovillkorade poängen är 0,10 och den villkorade är 0,50. En mask på 256 gånger 256 sitter i hörnet på multiplar av 64. Referensen är en public-domain-dedikation, och posten har redan källa, licensnamn och filhash. Referensvikten är 0,50, textvektorn är [0,80, 0,20] och bildvektorn är [0,00, 1,00]. Räkna ut latentantalet, arbetsminnet i GB, den styrda poängen, anropen per bild, batchpriset, den målade andelen och den blandade vektorn. Skriv sedan vad bilden och anropsantalet gör om stegräkningen blir 26 medan seed 7 ligger kvar. Märk till sist en andra fil vars licenstext säger no derivatives.

1024 / 8 = 128 och 576 / 8 = 72, så latentantalet är 128 gånger 72 gånger 4 = 36864. Aktiveringarna är 36864 gånger 50 000 = 1 843 200 000 byte = 1,8432 GB, och arbetsmängden är 4,8432 GB. Poänggapet är 0,40, så den styrda poängen är 0,10 + 4 gånger 0,40 = 1,70. Anrop per bild är 2 gånger 25 = 50, bilden kostar 0,040 dollar och batchen kostar 0,160 dollar. Masken täcker 65536 pixlar av 589824, och 65536 gånger 9 = 589824, så andelen är 1/9. Den latenta masken är 32 gånger 32 = 1024 celler av 128 gånger 72 = 9216, också 1/9. Mixen är 0,50 gånger [0,80, 0,20] plus 0,50 gånger [0,00, 1,00] = [0,40, 0,60]. Alla tre licensrader går igenom för public-domain-filen. Vid 26 steg ändras schemats längd, så bilden ändras, anropen blir 2 gånger 26 = 52, och en bild kostar 0,0416 dollar. Filen märkt no derivatives faller på rad 1 och stannar utanför körningen.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Hur många latenta tal rymmer 768 gånger 512 med lektionens rutnät, och vilken arbetsmängd i GB ger bladet för det rutnätet på kontrollpunkten med 1,5 miljarder parametrar?

24576 latenta tal, och 4,2288 GB. Vikterna är 3,00 GB och aktiveringarna är 1,2288 GB.

Ovillkorad poäng 0,20, villkorad poäng 0,80, styrka 5. Vilken styrd poäng ger mixen, och hur många avbrusaranrop kostar 30 steg?

Den styrda poängen är 3,20. Styrka över 1 kostar två anrop per steg, så 30 steg kostar 60 anrop.

Vilken andel av en duk på 512 gånger 512 är en mask på 128 gånger 128 som ligger på rutnätet, och vilken andel av de latenta cellerna är den matchande masken?

Båda andelarna är 1/16. Masken är 16384 pixlar av 262144, och 256 latenta celler av 4096.

Vid 0,0008 dollar per anrop, vad kostar en batch på 8 vid 30 steg och styrka 5, och vad gör licenskollen med en icke-kommersiell referens på det kommersiella jobbet?

Batchen kostar 0,384 dollar, från 60 anrop och 0,048 dollar styck. Rad 2 avvisar referensen, så filen stannar utanför.

Ta med dig

Fyll posten innan första bilden: pixelsidor delbara med 64, latentantal, arbetsminne i GB, styrd poäng, antal anrop, batchpris och en licensmarkering som antingen släpper in eller avvisar. Seed låser bruset på en deterministisk byggd, och en fast referensvikt är det som håller en karaktär mellan bildrutorna.

Slutuppgift

Klara ett nycklat benchmark med 25 poster om diffusionsparametrar, VRAM-matematik och licensregler, och lämna in en workflow-JSON plus ett skript för batch-efterbearbetning som klarar automatiska kontroller av mått, färgprofiler och proveniensmetadata. (Valfri Portfolio-post: visuell storyboard med 10 bildrutor).

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

Kursen har inga egna begrepp i ordlistan ännu. Begrepp från tidigare kurser används här också.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan