Skapa bilder
Bildverktyg gör om en textbeskrivning till en bild, och vissa av dem kan även ändra i en bild du redan har. Här ser du hur du kör samma prompt i två verktyg, hur du bedömer händer, text och färger, och var öppna topplistor publicerar omröstningar där modeller ställs mot varandra.
Nybörjare
Samma prompt, två verktyg
En prompt är texten du matar in i ett bildverktyg. Modellen är programmet som gör om texten till pixlar. En pixel är en enskild färgad punkt i filen. Två modeller som får samma prompt ger ofta helt olika bilder. Det första testet är därför att klistra in en och samma prompt i två verktyg och spara båda bilderna med prompten intill.
Kontrollera fem saker i samma ordning varje gång. Räkna fingrarna på varje synlig hand, även händer som håller runt en mugg eller är delvis utanför bild. Läs varje ord i bilden, även butiksskyltar, bokryggar och etiketter på kläder, och stäm av stavningen mot prompten. Kontrollera varje färg du angav: bad prompten om en röd mugg ska muggen i filen vara röd. Räkna föremålen: tre koppar betyder tre koppar. Notera allt som verktyget la till på egen hand, som extra personer, vattenstämplar eller logotyper.
Skriv också upp verktygets namn, datumet samt bredd och höjd i pixlar. Många verktyg ger dig som standard en kvadrat, till exempel 1024 gånger 1024. Vill du ha en affisch ber du om formatet 16:9, sexton enheter bred för varje nio på höjden.
Stilord styr utseendet. Fotografi, akvarell, platt ikon och tekniskt diagram är fyra helt olika beställningar. Använd ett stilord per test så ser du vad just det ordet gjorde.
Marknaden och jobbtavlan öppnar senare. Du kan köra det här testet med två verktyg i vilken bildchatt som helst redan idag.
Bildtest med två verktyg
Skapa en bild utifrån beskrivningen nedan. Om du inte kan skapa bilder, returnera beskrivningen oförändrad så att jag kan klistra in den i ett bildverktyg, och lista sedan de fem kontrollerna jag ska bedöma: antal fingrar, stavning av varje ord, angivna färger, antal föremål och allt jag inte bad om. Beskrivning: Ett fotografi av en vänsterhand som håller en röd keramikmugg i örat. Fem fingrar syns. Ånga stiger från muggen. Bakgrunden är enfärgat grå. Ingen text, ingen logotyp, inga andra människor.
Medel
Ett fast testbatteri, sedan en redigering
Ett promptbatteri är en fast lista som du återanvänder för varje modell. Ändrar du orden mellan körningarna testar du meningen lika mycket som modellen. Tio prompter räcker om varje prompt siktar in sig på en vanlig miss: läsbar text, en hand på ett visst föremål, en spegling, ett exakt antal eller två närliggande färger bredvid varandra.
Upplösning är filens bredd och höjd i pixlar. Be varje modell om samma storlek och skriv upp vilken storlek den faktiskt sparade. Jämför skärpa först när de siffrorna matchar. Ett brett 16:9-format och en kvadrat är två helt olika bildutsnitt.
Redigering utgår från en bild du redan har. Skriv vad som måste ändras och vad som måste vara kvar. Sätt två betyg. Ändra: fick skylten de nya orden? Behåll: är ansiktet, bakgrunden och beskärningen kvar? Dyker en ny person upp i bilden blir det underkänt på Behåll.
Öppna topplistor bygger på användarröster. Arenas topplista för text-till-bild visar två bilder från samma prompt och ber en person välja en av dem. De valen blir till poängen. Vyn Text Rendering täcker prompter som kräver ord. Topplistan för bildredigering poängsätter en ändring i en uppladdad bild, och en annan flik bedömer redigeringar med flera bilder. Artificial Analysis driver en separat topplista för text-till-bild baserad på parvisa röster och visar ett poängvärde med ett intervall. Kolla datumet – nya modeller kastar snabbt om ordningen.
Går modellfilen att ladda ner har den öppna vikter. Läs licensen bredvid filen. Apache 2.0 och MIT tillåter bred återanvändning. En icke-kommersiell licens sätter stopp för kunduppdrag.
Bedömningsmall för redigering
Jag ska testa en bildredigering. Om du kan redigera bilder, genomför enbart ändringen nedan när jag laddar upp en bild. Om du inte kan, ge mig ett tomt bedömningsprotokoll som jag kan fylla i för hand. Ändra: butiksskylten ska visa exakt texten FÄRSKT BRÖD VARJE DAG. Behåll: samma byggnad, samma människor, samma kameravinkel och samma tid på dygnet. Sätt betyg på Ändra från 0 till 2: 0 betyder att orden är fel, 1 betyder att de är delvis rätt, 2 betyder att varje tecken stämmer. Sätt betyg på Behåll från 0 till 2: 0 betyder att hela scenen byttes ut, 1 betyder små oönskade ändringar, 2 betyder att scenen är kvar. Lista sedan varje tecken som skiljer sig från FÄRSKT BRÖD VARJE DAG.
Expert
Vision, text, adaptrar, rättigheter
Ett vision-test frågar en modell om en bild som redan finns. Ett genereringstest ber den att skapa bilden.
MMMU är en öppen samling universitetsfrågor med bilder. Projektsajten beskriver 11.5K uppgifter inom sex områden, 30 ämnen och 30 bildtyper, däribland grafer, diagram, noter och kemiska strukturer. Forskningsartikeln från CVPR 2024 beskriver hur studenter samlade in materialet från tentor och läroböcker. Använd MMMU för att mäta hur modellen läser ett diagram. Använd ett promptbatteri för att mäta hur den ritar ett.
För bokstäver skriver du in den önskade textsträngen och räknar hur många tecken som hamnar i rätt ordning. Arenas kategori Text Rendering samlar öppna röster på bilder som var tänkta att innehålla ord.
LoRA betyder Low-Rank Adaptation: en liten uppsättning extra vikter som tränas medan den ursprungliga bildmodellen hålls låst. I biblioteket Diffusers uppdateras enbart dessa nya vikter, och adapterfilen är betydligt mindre än hela modellen. Rank anger bredden på de extra matriserna. Högre rank kan fånga mer av en stil, men drar också mer minne. Träningsguiden är märkt som experimentell.
I USA slog Copyright Office fast i januari 2025 att AI-skapat material bara skyddas om en människa har styrt tillräckligt mycket av det kreativa uttrycket. Mänskligt arbete som fortfarande syns kan kvalificera sig, liksom en människas kreativa arrangemang eller redigering av resultatet. Myndigheten menar att det inte ger något upphovsrättsligt skydd att bara skriva prompter. Andra länder har andra regler. På Wikimedia Commons kan du öppna kategorin Artificial intelligence art och läsa licensen på respektive filsida innan du använder en bild.
Testplan för adapter
Skriv en testplan som jag kan köra före och efter att jag kopplar en LoRA till en bildmodell. En LoRA är en liten uppsättning extra tränade vikter medan basmodellen förblir låst. Planen måste innehålla basmodellens namn, adapterfilens namn, rank om jag vet den, en prompt som ska visa den nya stilen, en prompt som ska förbli vanlig, pixelstorleken jag låser för båda bilderna, samt en femraders bedömning för händer, stavning, färger, antal föremål och oönskade ändringar. Om du kan skapa bilder, generera båda bilderna i samma pixelstorlek och fyll i bedömningen. Om du inte kan, visa enbart den tomma planen.
Tio prompter värda att upprepa
Använd samma tio prompter, samma pixelstorlek och samma stilord på varje modell. Spara prompttexten tillsammans med bildfilen. Prompt 10 är en redigering av bilden du fick från prompt 1, så sätt separata betyg på Ändra och Behåll.
| # | Prompt att klistra in | Vad du ska bedöma |
|---|---|---|
| 1 | Ett fotografi av en vänsterhand som håller en blå keramikmugg. Fem fingrar syns. Ånga stiger. Enfärgat grå bakgrund. Ingen text. | Antal fingrar, muggens färg, extra föremål |
| 2 | Ett butiksfönster. Den enda texten någonstans i bilden är en skylt där det står exakt: FÄRSKT BRÖD VARJE DAG. | Varje tecken, i rätt ordning |
| 3 | Fotografi taget rakt uppifrån av tre röda äpplen och två gröna äpplen på ett träbord. Ingen annan frukt. | Antal och färg på varje äpple |
| 4 | Sidovy av en cyklist i gul jacka. Båda hjulen syns helt. Den blöta gatan visar en spegling av cykeln. | Hjul, jackans färg, spegling |
| 5 | Närbild på en person där båda öronen syns, inga smycken, neutralt ansiktsuttryck, enfärgad bakgrund. | Antal öron, extra tillbehör |
| 6 | En platt ikon av ett hus, ett träd och en sol. Enbart solida färger. Inga toningar. Ingen text. | Stil, antal föremål, oönskade detaljer |
| 7 | Ett tekniskt linjediagram av en cykel mot vit bakgrund. Svarta pilar märkta exakt RAM, HJUL, SADEL och STYRE. | Stavning av de fyra etiketterna |
| 8 | Nattgata med en gatlykta. Skenet från lyktan är varmgult. Himlen är djupt blå. Ingen måne, inga andra lampor, ingen text. | Lyktans och himlens färg, extra ljus |
| 9 | En pocketbok som står upprätt. Omslagstiteln är exakt POLSTJÄRNAN. Författarraden är exakt A. BERG. Inga andra ord. | Båda textsträngarna, tecken för tecken |
| 10 | Redigera bilden från prompt 1. Flytta muggens öra till vänster sida. Behåll samma hand, samma blå mugg, samma grå bakgrund och samma utsnitt. | Ändra (örats placering) och Behåll (allt annat) |
Hur en resultatrad publiceras
Publicerade jämförelserader kan börja visas om Polaris köper en gemensam testmaskin. Varje rad anger modell, promptnummer, pixelstorlek, seed om verktyget visar ett sådant, datum samt maskinens namn. Ett seed är starttalet som gör att samma slumpmässiga generering kan upprepas. Fram tills att de raderna finns kan du köra batteriet ovan i vilket bildverktyg du vill.
Fyll i två rutor vid en redigering innan du börjar tycka till om smaken. Ändra frågar om den önskade skillnaden finns i bilden. Behåll frågar om delarna du angav som fasta fortfarande ser likadana ut. Om hela scenen byttes ut blir betyget noll på Behåll.
En gemensam DGX Station skulle köra detta fasta promptbatteri, samt LoRA-finjusteringar, på öppna bildmodeller som kräver mer grafikminne än vad en bärbar dator har, och publicera varje körning med datum och maskinens namn. Om den gemensamma stationen
Källor
- Arenas topplista för text-till-bildBlinda användarröster på bilder skapade från text, med en separat vy för Text Rendering som testar ord i bilder. Placeringarna ändras över tid, så kontrollera datumet på sidan.
- Arenas topplista för bildredigeringAnvändarröster för redigeringar av en uppladdad bild, plus en flik för redigering med flera bilder. Praktiskt när du bedömer Ändra mot Behåll.
- Artificial Analysis topplista för text-till-bildEn annan öppen topplista som rankar text-till-bild-modeller utifrån parvisa mänskliga röster och visar ett poängvärde med ett intervall.
- MMMU benchmarkFrågor på universitetsnivå med diagram, tabeller och andra bilder, för att testa om en modell kan läsa av en bild. Webbplatsen länkar till datasetet och forskningsartikeln.
- MMMU forskningsartikel (PDF)Forskningsartikeln från CVPR 2024: hur de 11.5K frågorna samlades in och vad testet är tänkt att mäta.
- Diffusers träningsguide för LoRAOfficiell guide till Low-Rank Adaptation för bildmodeller: små extra vikter, rank och varningen om att träningsgränssnittet är experimentellt.
- U.S. Copyright Office: tillkännagivande del 2Uttalande från januari 2025 om amerikansk upphovsrätt: AI-genererat material skyddas bara om en människa har styrt tillräckligt mycket av det kreativa uttrycket, och att enbart skriva prompter räcker inte för att räknas som upphovsman.
- Wikimedia Commons: Artificial intelligence artEn öppen samling med AI-relaterade bildfiler. Varje filsida anger bildens specifika licens. Utgå inte från att en och samma licens gäller för hela kategorin.