Appar och gränssnitt
Appen är fönstret runt modellen: en webbsida, ett program på din egen dator eller en delad sida som även kan öppna dina filer. Välj rätt fönster för det du ska göra, och kolla sedan var texten tar vägen och vad programmet får läsa.
Nybörjare
Tre sätt att prata med en modell
Appen är fönstret du skriver i. Modellen är filen med de inlärda vikterna som formulerar svaret. Tre typer av appar täcker in det mesta när du ska komma igång.
En chatt i webbläsaren körs på leverantörens servrar. Texten du skickar lämnar din dator, du installerar ingenting och du behöver internetanslutning.
Ett lokalt fönster kör modellen på din dator och fortsätter fungera offline när nedladdningen är klar. Ollama kan installeras på macOS, Windows och Linux. ollama run gemma4 laddar ner en modell och chattar i terminalen, och andra appar kan nå den på http://localhost:11434. llama.cpp, motorn bakom många av de här verktygen, chattar via sitt eget kommando, och llama serve lägger till en webbsida på den datorn.
En filhanterande agent kan även öppna mappar eller anropa verktyg. Open WebUI är ett självhostat webbläsargränssnitt för Ollama och för servrar som pratar OpenAI:s chatt-API, ett gemensamt format för chattförfrågningar. Det kan bifoga dokument och köra verktyg. Ge bara tillgång till en enda mapp.
Vikterna ligger i minnet medan modellen körs. En parameter är ett enskilt tal i den filen. Grafikminne (VRAM) är snabbt och begränsat. Arbetsminne (RAM) är större och långsammare. Om filen är för stor för VRAM lägger llama.cpp några lager på grafikkortet och resten i RAM, vilket går långsammare än om allt ryms i VRAM. Kvantisering sparar varje vikt med färre bitar. llama.cpp dokumenterar bredder från 1,5-bit upp till 8-bit. En bärbar dator klarar en mindre, kvantiserad modell. Modeller runt 70 miljarder parametrar kräver betydligt mer minne.
Marknadsplatsen och jobbtavlan öppnar senare. Använd checklistan här nedanför innan du låter en app komma åt dina filer.
Välj en första app för den här datorn
Jag vill prova en AI-chatt och vill eventuellt köra den på min egen dator. Fråga mig vilket operativsystem jag har, hur mycket minne jag har och om jag har ett separat grafikkort. Välj sedan ett första steg bland en chatt i webbläsaren, Ollama och llama.cpp. Berätta vad appen kan läsa på min hårddisk, ange installationssidan eller det första kommandot, och peka ut inställningen som skulle skicka min text till en molnserver.
Medel
Gränssnitt, server och var texten hamnar
Håll isär tre lager: Gränssnittet är det du ser på skärmen. Servern har hand om vikterna och svarar på förfrågningar. Modellfilen är själva vikterna. Ollama har en enkel chatt inbyggd tillsammans med sin server. Open WebUI står för gränssnittet, så du kan rikta det mot Ollama nu och mot en annan motor senare.
Ett lokalt Ollama-API lyssnar på http://localhost:11434, med OpenAI-kompatibla rutter under /v1. De anropen använder en nedladdad modell och skickar ingen API-nyckel. Det molnbaserade API:et på https://ollama.com kräver en nyckel och skickar texten till Ollamas moln. En renodlad molnmodell, eller en inloggning i molnet, flyttar texten utanför datorn. Kontrollera den inställningen innan du klistrar in anteckningar från jobbet.
Open WebUI sparar chattar i en databas på datorn där det körs: SQLite som standard, eller PostgreSQL. Filer stannar på den lokala hårddisken eller flyttas till en molnlagring som du ställer in. Dokumentsökning, så kallad RAG (retrieval-augmented generation), kopierar in dokument i den lagringen och delar upp dem i stycken som modellen kan söka i, så appen har sina egna kopior. Webbsökning kan skicka frågan till en extern tjänst. Låt den vara avstängd om frågan ska stanna lokalt.
En dator kör servern. Andra på samma nätverk öppnar sidan. Sätt ett lösenord på den. För varje test: skriv upp appversionen, det exakta modellnamnet och om körningen var lokal eller i molnet. En hastighetssiffra från en annan maskin beskriver bara den hårdvaran, så skriv upp din egen siffra med datum.
Följ ett meddelande innan du klistrar in ett dokument
Jag kör en lokal modell bakom ett webbgränssnitt som Open WebUI, med Ollama eller en annan OpenAI-kompatibel server. Spåra ett chattmeddelande: vilket program som håller i vikterna, vilken adress det lyssnar på, var chatthistoriken sparas och vilka inställningar som kopierar min text utanför den här maskinen (molnmodell, API-nyckel, webbsökning, uppladdade dokument, en molnlagring). Avsluta med en kort checklista jag kan följa innan jag klistrar in ett dokument från jobbet.
Expert
Servrar, minne och en rad som går att upprepa
Mät hastigheten på inferensservern, inte i chattfönstret. På en vanlig stationär dator är det bäst att lära sig llama.cpp eller Ollama först. GPU-avlastning i llama.cpp lägger vissa lager i VRAM och resten i systemets RAM när filen är större än vad kortet rymmer.
Budgetera för KV-cachen: attention-tillståndet för tokens som redan har lästs in. Vikterna ändras inte. Cachen växer med kontextlängden och hur många chattar som körs samtidigt. vLLM använder PagedAttention och kontinuerlig batchning, så att en ny förfrågan kopplas på det arbete som redan pågår på grafikprocessorn. vLLM returnerar verktygsanrop som strukturerade förfrågningar som klienten kör. TensorRT-LLM kompilerar en optimerad motor för en specifik NVIDIA-grafikprocessor och modell. Kontrollera dess kompatibilitetsmatris först. vLLM har stöd för många arkitekturer. TensorRT-LLM är byggt för en bestämd modell på NVIDIA-hårdvara.
Logga en rad per körning: datum, maskinnamn, motor och version, modell-id, kvantisering, kontextlängd, samtidighet och mätvärdet med dess definition. MLPerf Inference: Datacenter från MLCommons klockar en bestämd modell under scenarier som Server och Offline, med ett uppsatt kvalitetsmål. Slutna bidrag håller modellen likvärdig med referensen.
Guiden för DGX Station anger upp till 748 GB sammanhängande minne: upp till 252 GB HBM3e i upp till 7,1 TB/s och 496 GB LPDDR5X i upp till 396 GB/s, sammankopplade med NVLink-C2C. Enligt guiden klarar den minnespoolen modeller upp till cirka 1 biljon parametrar, däribland DeepSeek-R1, gpt-oss-120B och en Qwen-modell med 235 miljarder parametrar, och utvecklare kan använda verktyg som PyTorch, vLLM, SGLang och Ollama på dess Ubuntu-system. Börja med grafikkortet du har. När modellen och dess cache inte längre ryms skulle en gemensam maskin ta vid, och en andra station skulle bara behövas för de allra största modellerna.
Välj en server och en loggrad
Jag håller på att välja en lokal inferensserver för en delad NVIDIA-testmaskin. Jämför llama.cpp, vLLM och TensorRT-LLM utifrån GPU-avlastning, tillväxt i KV-cache, kontinuerlig batchning, verktygsanrop samt vilka fält som ska fyllas i på en resultatrad så att någon annan kan upprepa körningen. Klienten pratar OpenAI:s chatt-API. Markera varje påstående om hastighet som en mätning jag själv måste göra på den faktiska maskinen, och förklara vad som förändras om vikterna plus KV-cachen inte längre ryms på grafikprocessorn.
Vad appen får komma åt
Kolla det här innan du ställer din första viktiga fråga.
- Ladda ner installationsprogrammet från projektets egen webbplats eller dess GitHub-releaser.
- Vid första starten: lägg märke till om programmet bara öppnar en port på din dator eller om det även ber dig logga in.
- Ge bara tillgång till en projektmapp. Tillgång till hela din användarmapp kan vänta tills en uppgift faktiskt kräver det.
- Läs igenom verktygslistan innan du aktiverar några verktyg. Ett verktyg kan läsa filer och köra kommandon.
- Ta reda på var chatthistoriken sparas och om uppladdade filer stannar på hårddisken eller skickas till molnlagring.
- Se en API-nyckel, ett namn på en molnmodell eller webbsökning som en väg ut från datorn.
- Läs vad som har ändrats bland standardinställningarna efter en uppdatering. En ny version kan ändra vad appen har rätt att komma åt.
Vilket gränssnitt som passar för vad
| Gränssnitt | Var modellen körs | Hur du når det | Använd när |
|---|---|---|---|
| Chatt i webbläsaren | Leverantörens datorer | Leverantörens webbplats | Du vill ha en första konversation och accepterar att texten lämnar din dator |
| Ollama | Din dator | Terminalen och http://localhost:11434 |
Du vill ha en enda installation, en lokal chatt och ett lokalt API |
| llama.cpp | Din dator | Dess kommandorad, llama serve eller dess API |
Du vill ha själva motorn, kvantisering och en uppdelning mellan CPU och GPU |
| Open WebUI | Datorn som står som värd | En webbläsare, riktad mot Ollama eller en OpenAI-kompatibel server | Flera personer delar på samma sida, med dokument och verktyg |
| vLLM | En server, ofta Linux med GPU | Ett OpenAI-kompatibelt API | Många förfrågningar samtidigt, verktygsanrop och körningar du vill logga |
| TensorRT-LLM | En NVIDIA-GPU | Motorn du kompilerar, därefter dess HTTP-tjänst | Modellen och NVIDIA-maskinen kommer att vara desamma över tid |
Hur en testrad publiceras
Varje uppmätt körning blir en egen rad: datum, maskinnamn, operativsystem, gränssnitt, motorversion, modell-id, kvantisering, kontextlängd, samtidighet och mätvärdet med en definition på en rad. Raderna visas när en körning har gjorts. MLPerf Inference: Datacenter är den testsvit branschen använder för att jämföra datacentersystem under gemensamma regler. En rad här dokumenterar vad den här appen gjorde på den här maskinen, just det här datumet.
En gemensam DGX Station skulle ge medlemmarna en kö för öppna modeller som inte ryms på en bärbar dator, och varje avslutad körning skulle skickas tillbaka som en daterad rad med maskinens namn. Om den gemensamma stationen
Källor
- llama.cppInferensmotorn i C/C++: installationsvägar, llama serve, kvantisering från 1,5-bit till 8-bit och hybridkörningar med CPU och GPU när en modell är större än VRAM.
- OllamaInstallationsprogram för macOS, Windows och Linux, det lokala chattkommandot och det lokala API:et som används av skrivbords- och webbgränssnitt.
- Ollama API-dokumentationLokal bas-URL http://localhost:11434 jämfört med det molnbaserade API:et på https://ollama.com, inklusive vilka anrop som kräver en API-nyckel.
- Open WebUISjälvhostat chattgränssnitt för Ollama och OpenAI-kompatibla servrar, med verktyg, dokumentsökning samt lagring i SQLite eller PostgreSQL.
- vLLMServermotor med PagedAttention, kontinuerlig batchning, ett OpenAI-kompatibelt API och tolkare för verktygsanrop.
- NVIDIA TensorRT-LLMNVIDIAs bibliotek för att bygga en optimerad inferensmotor och körmiljö för stora språkmodeller på NVIDIA-grafikprocessorer, inklusive kompatibilitetsmatrisen.
- NVIDIA DGX Station Development GuideOfficiell beskrivning av Grace Blackwell-systemet för skrivbordsmiljö: upp till 748 GB sammanhängande minne, modellstorlekar upp till cirka 1 biljon parametrar och mjukvara som körs på den, till exempel vLLM och Ollama.
- MLPerf Inference: DatacenterPrestandatest från MLCommons för hur snabbt ett system kör en bestämd tränad modell, med olika scenarier, kvalitetsmål och publicerade resultat.