Trådar jag har startat
Trådar jag har startat är din egen lista över diskussioner, projekt och frågor som du har öppnat. Under provtiden loggar inbjudna medlemmar in med en länk. Mallen längre ner hjälper dig att skriva en tråd som någon kan svara på.
Trådar jag har startat
Listan är tom än så länge.
Nybörjare
Ett första experiment, en bild eller ett ord du vill få förklarat
I din lista samlas diskussioner som du har öppnat: ett första experiment, en bild du skapat eller en fråga om ett ord. Spara utkastet i en egen fil på datorn.
Beskriv problemet i rubriken, precis som du skulle göra för en upptagen kollega. Ta med verktygets namn. "Vad betyder temperature i det här bildverktyget?" går snabbt att överblicka. "Hjälp tack" berättar ingenting om vad problemet gäller.
Använd fyra etiketter. Vad du försökte göra är klicken du gjorde eller meningen du skrev. Vad du väntade dig är resultatet du tänkte dig. Vad som hände är själva svaret du fick eller det exakta felmeddelandet, kopierat som text. Prompten är hela instruktionen, inklusive eventuell exempeltext. Beskriv även bilden med ord utöver att bifoga den, så att felet går att citera.
Temperature, om verktyget visar det, gör formuleringarna mer eller mindre varierade. Skriv ner den siffran och datumet, eftersom en tjänst kan uppdatera modellen bakom samma prompt.
Lämna ute allt som kan peka ut en levande person. Europeiska kommissionen räknar namn, hemadress och privat e-postadress som personuppgifter. Använd platshållare som "Kund A". Ett organisationsnummer i sig hamnar utanför den listan. Se till att namngivna kunders beställningar inte hamnar i tråden.
En tom lista betyder att du inte har publicerat något än. Fyll i mallen och läs igenom den som om du vore en utomstående. När listan väl finns visar varje rad en tråd du har startat, med visningar, hur många som sparat din prompt och en markering på svaret du godkänt för att det fungerade för dig.
Skriv ett utkast till min första tråd
Hjälp mig att skriva ett foruminlägg om mitt eget AI-experiment. Ställ en fråga i taget till mig om: verktyg och modell, om jag använde en webbplats, en app eller ett program på datorn, vad jag försökte göra, vad jag väntade mig, vad som hände (jag klistrar in det exakta svaret eller felmeddelandet) och hela prompten jag skickade. Skriv sedan ett inlägg med en konkret rubrik och de fyra etiketterna. Byt ut alla namn, hemadresser, privata e-postadresser och kunduppgifter mot Kund A eller en annan tydlig platshållare, och lista vad du bytte ut. Behåll värdet för temperature och datumet om jag nämner dem.
Medel
Ett arbetsflöde, en prompt för en viss arbetsuppgift eller ett hämtningsprojekt som någon annan kan köra
En tråd på medelnivå delar jobb som någon annan kan köra: en automatisering mellan två eller tre verktyg, en prompt för en viss arbetsuppgift eller ett hämtningsprojekt. Retrieval-augmented generation (RAG) innebär att modellen skriver utifrån textavsnitt som hämtas från dokument du själv skickar med, och att den kan peka ut de avsnitten.
Bygg upp inlägget som ett minimalt, reproducerbart exempel. Minimalt: så korta steg som möjligt som ändå visar vad som händer. Komplett: vad som startade körningen, prompt, modellnamn och resultat finns alla med i tråden. Reproducerbart: du körde stegen du klistrade in igen och såg samma typ av resultat.
Versionshantera prompten. Märk den första öppna versionen med v1 och sätt datum på den. När en rad ändras lägger du till v2 och anger vilken rad det gäller. För en arbetsprompt anger du rollen, vad som skickas in, formen på svaret och vilka fakta som modellen måste återge oförändrade. Klistra in påhittade exempeldata bredvid prompten.
För ett RAG-projekt listar du dokumenttyper, chunk size om du delar upp filer, och embedding-modellen om du använder en sådan. En embedding-modell gör om text till siffror så att liknande textavsnitt kan hittas. Ange en fråga, textavsnittet du hoppades få fram och textavsnittet du fick tillbaka. Berätta om filerna stannade kvar på din egen dator eller skickades till en namngiven molntjänst.
Privat e-post, kundnamn och personaluppgifter är personuppgifter. Märk exemplet som påhittat. Markera flera rader för att exportera en gemensam Markdown-fil, med rubriker, listor och kodblock enligt CommonMark, eller för att börja och sluta följa dem samtidigt.
Gör det här arbetsflödet reproducerbart
Gör om anteckningarna nedan till en forumtråd som någon annan kan köra. Använd en rubrik med arbetsuppgiften eller flödet, modellen och datumet. Ta med de kortaste stegen som ändå visar vad som händer, hela prompten märkt med v1, påhittade exempeldata utan riktiga namn eller privat e-post, vad jag väntade mig och vad som hände. Om det här hämtar textavsnitt ur mina dokument, lägg till dokumenttyper, chunk size, embedding-modell, en fråga, stycket jag hoppades få fram och stycket jag fick. Avsluta med en checklista över allt som en utomstående fortfarande måste gissa sig till. Anteckningar: [klistra in anteckningar]
Expert
Ett dataset, en finjustering, en prestandanotering eller ett hårdvarutest
En experttråd sparar en körning som andra kan jämföra med: ett publicerat dataset, finjusterade vikter, en prestandanotering eller ett hårdvarutest. Länka filerna, licensen och kortet högst upp.
Ett modellkort är den README som hör till en modell: tänkt användning, begränsningar, träningsinställningar, dataset och utvärdering. Ett datasetkort är på samma sätt den README som hör till ett dataset: licens, språk, storlek och skevheter som användare bör känna till före träning. Ange den publika basmodellen om du publicerar en adapter.
LoRA, low-rank adaptation, låser de ursprungliga vikterna och tränar små extra matriser inuti nätverket. Hu och kollegor visar att LoRA, jämfört med full finjustering av GPT-3 175B med Adam, minskade antalet träningsbara parametrar med 10 000 gånger och minnesbehovet på grafikkortet med 3 gånger. Redovisa din egen körning: rank, anpassade lager, antal exempel, batch size, sekvenslängd, learning rate och mätvärdet före och efter. En batch är hur många exempel som körs tillsammans. En token är en bit text som modellen läser, och sekvenslängd är hur många som ryms i ett och samma exempel.
Grafikkortet håller vikter, gradienter och optimizer state. PyTorch's caching allocator kan göra att minne som är klart fortfarande ser upptaget ut i nvidia-smi. empty_cache lämnar tillbaka oanvända cachade block till andra program. Aktiva tensorer behåller sitt minne, så en modell som är för stor för kortet kraschar ändå. Klistra in texten från out-of-memory-felet, grafikkortsnamn, minnessiffror, kommando och biblioteksversioner. Notera effekt, temperatur och sekunder per steg med verktyget du använde.
Märk tråden med "behöver maskinen" när modellen inte får plats, och låt kommandot som misslyckades ligga kvar i inlägget.
Skriv rapporten för körningen
Skriv ett utkast till en forumtråd som dokumenterar min tränings- eller hårdvarukörning så att någon annan kan jämföra med den. Be om eventuella uppgifter som saknas innan du skriver: basmodell, licens, länkar till modellkort och datasetkort, LoRA-rank och mållager om jag använde LoRA, antal exempel, batch size, sekvenslängd, learning rate, mätvärde före och efter, grafikkortsnamn, hela out-of-memory-texten om körningen kraschade, kommandorad och biblioteksversioner. Använd enbart mina siffror. Där en siffra saknas skriver du "inte uppmätt". Avsluta med en rad som jag kan sätta till "behöver maskinen" om modellen inte fick plats i grafikkortsminnet. Anteckningar: [klistra in anteckningar]
Frågemall, engelska och svenska
Kopiera den här stommen, fyll i klamrarna och ta bort tipsen. Samma fyra delar passar lika bra för en bild, ett arbetsflöde eller en träningskörning som misslyckats.
Engelska
Title: [tool] — [what went wrong or what you want to show], [model name], [date]
What I tried: [steps, in order]
What I expected: [the result you wanted]
What happened: [the actual output or the full error text]
Prompt:
[paste the full prompt]
Setup: [website, app, or local program]; [model]; [settings, including temperature if you set one]; [GPU name and memory, if the work ran on a graphics card]
Example data: [synthetic, or "no personal data"]
Svenska
Titel: [verktyg] — [vad som gick fel eller vad du vill visa], [modellnamn], [datum]
Vad jag försökte: [stegen, i ordning]
Vad jag väntade mig: [resultatet du ville ha]
Vad som hände: [det verkliga svaret eller hela feltexten]
Prompt:
[klistra in hela prompten]
Upplägg: [webb, app eller program på din dator]; [modell]; [inställningar]; [grafikkort och minne, om körningen använde ett grafikkort]
Exempeldata: [påhittad, eller "inga personuppgifter"]
Vad varje rad registrerar
| Kolumn | Vad den registrerar |
|---|---|
| Visningar | Hur många gånger tråden har öppnats |
| Sparade prompter | Hur många medlemmar som har sparat prompten från den tråden |
| Godkänt svar | Svaret du markerade för att det fungerade i ditt fall |
| Behöver maskinen | Din markering när hindret beror på hårdvaran, till exempel vid ett out-of-memory-stopp |
| Följ | Om du vill ha aviseringar om nya svar |
När listan har rader kan du markera flera och följa, sluta följa eller exportera dem tillsammans. Exporten samlar de valda trådarna i en gemensam Markdown-fil: rubrik, textens fyra delar, upplägg och länkar. Filen följer reglerna för CommonMark, så att en rubrik eller ett kodblock fungerar i andra textredigerare också. Listan innehåller trådar du själv har startat. Trådar som du bara har svarat i visas inte här.
Tills du har ett konto är mallen ovan den del du kan göra klar. Räkneverken börjar när en tråd publiceras.
När en tråd du har startat tar stopp för att modellen inte får plats i grafikkortsminnet på din egen dator, skulle en gemensam DGX Station vara den större dator som tråden kunde ställas i kö till, med kommandot som misslyckades kvar i inlägget. Om den gemensamma stationen
Källor
- Hur ställer jag en bra fråga?Hur du sätter det konkreta problemet i rubriken, ger sammanhang innan eventuell kod eller prompt, och tar med de steg du redan har testat.
- Hur du skapar ett minimalt, reproducerbart exempelVad minimalt, komplett och reproducerbart innebär, och varför det förväntade resultatet och det exakta felmeddelandet ska finnas med som text i inlägget.
- CommonMark Spec 0.31.2Reglerna i ren text för rubriker, listor och kodblock som används när du exporterar en tråd.
- ModellkortVad som ska stå i README-filen intill en modell: användning, begränsningar, träningsinställningar, dataset och utvärdering.
- DatasetkortVad som ska stå i README-filen intill ett dataset: licens, språk, storlek och skevheter som påverkar återanvändning.
- CUDA semantics — Memory managementVarför PyTorch fortfarande kan se upptaget ut i nvidia-smi, vad empty_cache frigör och varför minne som hålls av aktiva tensorer förblir allokerat.
- LoRA: Low-Rank Adaptation of Large Language ModelsArtikeln som definierar LoRA och redovisar jämförelsen med GPT-3 175B gällande träningsbara parametrar och minne på grafikkortet.
- Dataskydd förklaratEuropeiska kommissionens exempel på personuppgifter, inklusive namn, hemadress och privat e-postadress, samt noteringen om att ett organisationsnummer i sig hamnar utanför den kategorin.