Supporterbutik
Supporterbutiken kommer sälja klistermärken, muggar, tröjor och skrivbordsunderlägg tryckta på beställning, och överskottet går till fonden för en DGX Station. Inget finns på lager och kassan öppnar senare.
Produkter
Inget är till salu än. De första sakerna presenteras i nyhetsbrevet.
Nybörjare
Klistermärken, muggar och tröjor som trycks när du beställer
I en supporterbutik köper du fysiska prylar som du kan ha på dig eller ha på skrivbordet, och när butiken öppnar ska överskottet gå till insamlingen för en gemensam dator. Polaris har inget lager. De första grejerna som planeras här är klistermärken, t-shirtar och muggar, och varje sak trycks först när någon har beställt den.
Print-on-demand betyder att tryckeriet tillverkar just den varan när beställningen kommer in, och sedan packar och skickar den. Printful, ett företag som sköter sådant, beskriver det som att varan trycks först vid order, säljaren har inget lager och paketen skickas till fler än 190 länder. Polaris skulle sätta försäljningspriset. Tryckeriets avgift, frakt och moms dras först. Pengarna som blir över är överskottet till hårdvarufonden. En räknare visar överskottet för varje vara när prislistan är publicerad.
Tre motiv har redan fått namn. Kompassmärket är samma symbol som används på polaris.merthen.ai. ”Talk to me in plain English” ber modellen använda helt vanliga ord. ”Zero Hallucination Guaranteed” är ett skämt för en mugg. En hallucination är en felaktig uppgift som modellen skriver med fullt självförtroende: ett källcitat, en lagparagraf eller en siffra som ingen har dubbelkollat. Du behöver fortfarande själv kontrollera alla uppgifter du tänker agera på. När en vara går att beställa dyker nyheten upp i det kostnadsfria nyhetsbrevet.
Granska en slogan innan den trycks på en mugg
Jag funderar på tre olika motiv till en mugg för communityn: ”Talk to me in plain English”, ”Zero Hallucination Guaranteed” och ett kompassmärke för en gratis utbildningssajt om AI. Förklara varje motiv med enkla ord för en vuxen som aldrig har använt en chattbot. Berätta vad en hallucination är, och vad jag fortfarande måste dubbelkolla för hand om jag har skämtet på muggen. Ge mig sedan ett alternativt förslag som är roligt men ändå sant. Hitta inte på något pris, lagersaldo eller löfte om att en modell alltid har rätt.
Medel
Ett skrivbordsunderlägg med prompten i fyra rutor
På medelnivån planerar butiken ett skrivbordsunderlägg som du kan läsa medan du skriver. Det har fyra fält: roll, kontext, ramar och format. En prompt är texten du skickar till en chattmodell. De fyra fälten paketerar texten så att modellen slipper gissa så mycket.
Rollen är uppdraget du ger. ”Du förklarar noggrant och pedagogiskt för en vuxen som är ny på området” sätter ton och djup. Kontext är situationen och underlaget: vem läsaren är, vad du redan har bestämt och text som modellen måste utgå ifrån. Ramar är begränsningarna: längd, ord att undvika, fakta som måste stå kvar orörda och instruktion om att säga till om en källa saknas. Format är hur svaret ska byggas upp: en tabell, fem punkter, en ämnesrad plus brödtext, eller steg i nummerordning.
Du fyller i de fyra rutorna på underlägget och klistrar sedan in dem i valfri chatt. En kort version ryms på ett klistermärke. Den fullständiga versionen ryms på ett underlägg brett nog för en bärbar dator. Typsnittet är IBM Plex under SIL Open Font License, vilket gör att orden får tryckas på en produkt medan typsnittsfilerna fortsätter ligga under licensen och namnet Plex förblir skyddat. Texturer från Poly Haven är CC0 och får användas i produktbilder. Poly Havens logotyp lämnas utanför.
Underlägget trycks när du beställer. Produktsidan kommer ange tygets mått och tryckytan, så att en tabell hamnar precis så nära kanten som du tänkt dig.
Fyll i de fyra rutorna för en verklig uppgift
Gör om uppgiften jag klistrar in här under till fyra märkta block som jag kan ha på ett skrivbordsunderlägg: Roll, Kontext, Ramar, Format. Rollen ska vara ett konkret yrke eller uppdrag, inte superlativer. Kontexten ska beskriva läsaren och underlaget jag måste utgå ifrån. Ramarna ska innehålla längd, fakta som inte får ändras, samt en instruktion om att säga till om en källa saknas. Formatet ska ange exakt hur svaret ska struktureras. Skriv sedan, efter de fyra blocken, den färdiga prompten jag ska klistra in i en chatt. Uppgift: [klistra in din uppgift här]
Expert
Det stora underlägget: attention, minne och temperatur
Det stora underlägget visar ett diagram över Transformern från Vaswani och kollegor, ”Attention Is All You Need” (2017). Attention innebär att varje position tar en viktad blandning av de andra. Skalad skalärprodukt i artikeln skrivs Attention(Q, K, V) = softmax(Q K^T / sqrt(d_k)) V. Q, K och V är inlärda representationer av samma text: query, key och value. Grundmodellen staplar N = 6 lager, med d_model = 512 och h = 8 huvuden med storleken d_k = 64.
Google tillåter artikelns figurer och tabeller, med källhänvisning, enbart i journalistiska eller vetenskapliga sammanhang. Butikens illustration är egenritad, hänvisar till artikeln och sätter formeln på nytt i text.
Ett fält på underlägget visar minnesberäkningen. I FP16 eller BF16 tar varje parameter 2 byte. Hugging Faces Accelerate-guide utgår från en modell med 6 miljarder parametrar: cirka 24 GB i full precision och cirka 12 GB för 16-bitarsvikterna, innan extraminne räknas in. En aktiv chatt sparar också en key-value-cache som växer i takt med samtalet. Temperaturen 0,0 är en samplingsinställning. OpenAIs chatt-API tar en temperatur mellan 0 och 2. Ett värde som 0,8 ger mer variation i formuleringarna. Ett värde som 0,2 gör svaren mer fokuserade och förutsägbara. Läs modellkortet för att se om 0,0 stöds.
När fonden publicerar stödnivåer kan nivån du valde tryckas på tröjan. NVIDIAs nuvarande DGX Station specar 252 GB GPU-minne, 496 GB CPU-minne, 748 GB sammanhängande minne totalt, samt upp till sju isolerade delar på en och samma Grace Blackwell-skrivbordsmaskin.
Dimensionera en modell och granska tryckrättigheterna
Uppskatta minnesåtgången för vikterna i en tät modell med enbart de siffror jag ger dig. Ange byte per parameter för FP32 (4), FP16 eller BF16 (2) och INT8 (1). Beräkna gigabyte som parametrar gånger byte delat med 1024^3, och märk resultatet som enbart vikter. Skriv sedan på en enda rad att en key-value-cache växer med kontextlängden och tillkommer utöver detta. Modell: 7 miljarder parametrar, FP16. Jag vill dessutom trycka detta på ett skrivbordsunderlägg till försäljning. Forskningsartikeln är Vaswani et al., Attention Is All You Need, arXiv:1706.03762. Google tillåter artikelns figurer, med källhänvisning, enbart i journalistiska eller vetenskapliga verk. Tala om för mig vad jag får återge (formeln) och vad jag måste rita om i stället för att skanna in. Ange skalad skalärprodukt som Attention(Q, K, V) = softmax(Q K^T / sqrt(d_k)) V, samt basstorlekarna N=6, d_model=512, h=8, d_k=64.
Så fungerar en beställning
Kassan är inte öppen ännu. När den öppnar går en beställning till så här:
- Du väljer en grundprodukt (klistermärkesark, mugg, t-shirt, hoodie eller skrivbordsunderlägg) och ett tryck.
- Sidan visar tryckeriets avgift, frakt, moms och det överskott som går till hårdvarufonden. Siffran för överskottet visas först när prislistan är publicerad.
- Du betalar till Polaris. Beställningen skickas därefter till print-on-demand-partnern, som trycker just din produkt och skickar den. Polaris har inga varor på lager.
- Innan du betalar framgår beräknad leveranstid, vem som står för returfrakten och om 14 dagars ångerrätt gäller för varan.
- Du får ett mejl med order-id. Det numret använder du om trycket blivit fel, om paketet kommer bort eller om du vill utnyttja den angivna ångerrätten.
Enligt EUs regler för distanshandel har du 14 dagar på dig från leverans att ångra många köp på nätet, utan att behöva ange något skäl. Oftast betalar du själv returfrakten, såvida säljaren inte missade att informera om den kostnaden före köpet. Varor som tillverkas efter dina egna önskemål, som en tröja tryckt med den stödnivå du valt, kan omfattas av undantaget för måttbeställda och personligt anpassade produkter. Om en vara är trasig eller felaktig gäller särskilda regler: säljaren måste reparera eller byta ut den, och den lagstadgade garantin inom EU är minst två år från den dag du tog emot varan.
Vart pengarna går
| Vad du betalar | Vart det går |
|---|---|
| Tryckeriavgift | Företaget som trycker och packar den enskilda varan |
| Frakt | Transportören, med pris för ditt land innan du betalar |
| Skatt och moms | Dras enligt vad lagen kräver för försäljningen |
| Överskott | Hårdvarufonden för en gemensam DGX Station |
Fonden får det överskott som blir kvar efter dessa kostnader. Hela priset för muggen går alltså inte dit. Den öppna räknaren ska visa det fastställda överskottet med en rad per produkt och är tom tills raden finns. När en rad fylls i meddelas det i det kostnadsfria nyhetsbrevet. Om stationen köps ägs den av Hrafninn Industries AB. Om insamlingen öppnar går överskottet från butiken dit, men ett köp ger ingen andel i maskinen, inget anspråk på den och ingen reserverad tid.
Vad som får finnas i tryckfilen
| Resurs | Tillåtet på Polaris produkter | Lämnas utanför tryckfilen |
|---|---|---|
| IBM Plex, SIL Open Font License 1.1 | Text satt med typsnittet på en tröja, mugg eller matta | Att sälja själva typsnittsfilen separat. En modifierad typsnittsfil får inte använda det skyddade namnet Plex |
| Texturer och modeller från Poly Haven, CC0 | Användning i produktbilder eller tryck, även till försäljning. Källhänvisning är frivilligt | Poly Havens logotyp, användaravatarer och webbplatsens egna texter, som inte ingår i CC0 |
| Vaswani et al. 2017, arXiv:1706.03762 | En källhänvisning samt formeln återskapad i text | Direkta kopior av artikelns figurer eller tabeller. Google tillåter bara sådana, med källhänvisning, i journalistiska eller vetenskapliga verk |
| Kompassmärket och de namngivna motiven | Polaris produkter så snart butiken öppnar | Formuleringar som en köpare skulle kunna uppfatta som ett faktiskt löfte om noll hallucinationer |
Om insamlingen öppnar går överskottet till stationen. Om den gemensamma stationen
Källor
- Så fungerar PrintfulPrint-on-demand med tryckeriets egna ord: en vara tillverkas först efter beställning, säljaren har inget lager och leveranser sker till fler än 190 länder.
- NVIDIA DGX StationOfficiella specifikationer för det nuvarande skrivbordssystemet: 252 GB GPU-minne, 496 GB CPU-minne, 748 GB sammanhängande minne och upp till sju MIG-instanser.
- Attention Is All You NeedForskningsartikeln om Transformer: scaled dot-product attention, N=6, d_model=512, åtta huvuden. HTML-sidan anger även Googles begränsning för att återanvända figurerna.
- Licens för IBM PlexSIL Open Font License 1.1. Skyddat typsnittsnamn Plex. Typsnittet får användas för att sätta text. Själva typsnittsfilerna får inte säljas separat.
- Resurslicens för Poly HavenHDRI-kartor, texturer och 3D-modeller är CC0, även för kommersiellt bruk. Logotyper och sajtens egna texter omfattas inte av detta.
- Returer och ångerrättEUs 14 dagars ångerfrist vid distansköp, vem som betalar returfrakten samt undantaget för varor som tillverkas på beställning eller är tydligt kundanpassade.
- Garantier för varor köpta inom EUDen lagstadgade garantin på minst två år från leverans samt säljarens skyldighet att reparera, ersätta eller återbetala en felaktig vara.
- OpenAI chat completionsTemperature är en samplingsinställning från 0 till 2. Högre värden som 0,8 ger mer variation. Lägre värden som 0,2 gör svaren mer fokuserade och förutsägbara.