Tålighet, köer, CI/CD och säkra driftsättningar
Efteråt kan du debitera en idempotency key en enda gång, summera sovtiderna med ett halvt jitter-utfall fram till ett lyckat försök, avgöra om en circuit breaker släpper fram nästa anrop, och lämna ack eller nack på jobbet som pågår när SIGTERM kommer.
- Nivå
- Navigatör
- Tid
- 24 h
- Förkunskap
- R03-201

Hoppa till
Efter kursen kan du
Eleven kan bygga en idempotent worker-kö med circuit breakers, exponential backoff och dead-letter-hantering som bearbetar 500 jobb med noll dubbletter eller dataförlust när beroenden nedströms felar 40 % av tiden.
En nyckel, en debitering
En worker som flyttar pengar kan få samma leverans två gånger. Kön lämnar fram meddelandet igen när den första kopian aldrig fick en ack. En idempotency key är strängen som sparas tillsammans med utfallet. Kassan börjar på 200, och nyckeltabellen börjar tom. En leverans bär en nyckel och ett belopp. Saknas nyckeln drar en och samma commit av beloppet och lägger in raden (nyckel, belopp, kvitto). Finns nyckeln och beloppet stämmer lägger workern till 0 och lämnar tillbaka kvittot som redan ligger där. Finns nyckeln och beloppet skiljer sig lägger workern till 0, låter det sparade kvittot ligga kvar och svarar med ett avvisande.
Gå igenom fyra leveranser. K7 på 40 hittar ingen rad, så kassan blir 200 − 40 = 160 och raden blir (K7, 40, R1). K7 på 40 hittar den raden, så kassan stannar på 160 och svaret är R1. K8 på 25 hittar ingen rad, så kassan blir 160 − 25 = 135 och raden blir (K8, 25, R2). K7 på 99 hittar K7 sparad på 40. 99 skiljer sig från 40, så kassan stannar på 135, kvittot R1 ligger kvar och svaret är ett avvisande. Två leveranser gick igenom, en dubblett träffade samma belopp, en avvikelse avvisades, och pengarna som flyttades är 40 + 25 = 65. En krasch före den committen lämnar kassan på 200 och nyckeln saknas, så omleveransen går igenom en gång och kassan blir 160. En krasch efter commit och före ack lämnar kassan på 160 med raden K7 på plats, så omleveransen lägger till 0 och kassan stannar på 160.
Sovtider du kan addera
Ett misslyckat försök väntar och kör sedan igen. Den här lektionen använder exponential backoff med ett fast jitter-utfall, så sovtiderna går att addera på papper. Jitter är här en angiven bråkdel av taket, och den bråkdelen gör att två worker-processer vaknar på olika millisekunder. Taket efter misslyckat försök k är det minsta av 800 millisekunder och 100 × 2^(k-1) millisekunder. Det genomräknade jobbet drar en halv, så sovtiden är taket delat med 2. För k från 1 till 5 är taken 100, 200, 400, 800 och 800. Det femte taket utan lock är 100 × 16 = 1600, och locket 800 skär ner det till 800. De fem sovtiderna med halvt utfall är 50, 100, 200, 400 och 400 millisekunder. En andra worker drar en fjärdedel av samma tak och sover 25, 50, 100, 200 och 200. Efter första missen är de två väntetiderna 50 och 25, så nästa försök landar 25 millisekunder isär.
Debiteringsjobbet missar försök 1 och försök 2 och lyckas på försök 3. Sovtiderna som körs är 50 + 100 = 150 millisekunder, och antalet försök är 3. En träff sparar nyckeln och stannar stegen. En dead-letter queue, DLQ, är sidokön för ett innehåll som har använt varje försök. Lektionen tillåter 6 försök. Ett poison-meddelande, ett innehåll som felar på varje försök, sover genom alla fem mellanrum: 50 + 100 + 200 + 400 + 400 = 1150 millisekunder. Det sjätte misslyckandet skriver en DLQ-rad som lagrar meddelandets id, och först därefter får huvudkön sin ack. En krasch före den DLQ-raden lämnar innehållet i huvudkön och lämnar DLQ-djupet på 0. En omleverans som hittar id lägger till 0 i DLQ och skickar sedan ack. Debiteringsjobbet lyckas på försök 3, så dess innehåll stannar utanför DLQ.
Brytaren och skottet
En circuit breaker räknar fel i rad mot ett beroende. Tröskeln här är 3, och den öppna perioden är 2000 millisekunder. Felen vid t = 0, t = 10 och t = 20 skickas alla. Det tredje felet sätter tillståndet till öppet fram till t = 2020, och raden av fel är 3. Ett anrop vid t = 30 möter det öppna tillståndet. Workern svarar 503 och lämnar anropet oskickat, och raden av fel stannar på 3. Vid t = 2020 blir tillståndet half-open för ett enda prov, och det provet skickas. En träff sätter tillståndet till stängt och raden av fel till 0. Chaos-listan är tio andra anrop mot en stängd brytare: fel, träff, fel, träff, fel, träff, fel, träff, träff, träff. Det är 4 fel av 10. Längsta raden av fel är 1, under tröskeln 3, så brytaren stannar stängd och alla 10 anrop skickas. Tre fel i rad är det som öppnar den.
Ett bulkhead är ett eget antal platser för varje slags jobb, ett skott mellan vägarna. Betalningar har 2 platser och rapporter har 4. I ögonblicksbilden är båda betalningsplatserna upptagna och 1 rapportplats är upptagen, så lediga rapportplatser är 4 − 1 = 3. Tre betalningar till och en rapport kommer in. De tre betalningarna hittar 0 lediga betalningsplatser och avvisas i bulkheadet. Rapporten tar en ledig plats, rapporter som kör blir 2, och lediga rapportplatser blir 2. Ett avvisande i bulkheadet lämnar brytarens räknare orörd. Medan skrivarens brytare är öppen får ett utskriftsanrop 503, och ett debiteringsanrop kör ändå, eftersom debiteringsbrytaren är stängd. Den delningen är graceful degradation i den här lektionen, ett sänkt läge: den trasiga vägen svarar 503 och den friska vägen gör fortfarande jobbet.
En full kö och klockan vid SIGTERM
Huvudkön rymmer högst 5 meddelanden, och djupet börjar på 0. Att publicera ett meddelande till när djupet redan är 5 är backpressure, mottryck från en full kö. Publiceringen avvisas, djupet stannar på 5, och det avvisade innehållet har ingen plats i huvudkön och ingen plats i DLQ. Av 6 publiceringar tas 5 emot och 1 avvisas. Checkout tar sedan ett poison-meddelande ur den synliga kön: djupet går från 5 till 4, och pågående jobb går från 0 till 1. Innehållet felar på alla 6 försök, DLQ-raden sparas, och acken följer. Pågående jobb går tillbaka till 0, djupet stannar på 4 och DLQ-djupet blir 1. De andra fyra mottagna innehållet ligger kvar i huvudkön. M2, M3, M4 och M5 är det djupet på 4.
SIGTERM ber processen att varva ner. Fristen i den här lektionen är 3000 millisekunder från signalen, och processen tar inget nytt utcheckat jobb efter signalen. Ett jobb som checkas ut vid t = 0 och är 1000 millisekunder långt får SIGTERM vid t = 400. Jobbet slutar vid t = 1000. Fristen slutar vid 400 + 3000 = 3400. Eftersom 1000 ligger före 3400 svarar workern ack, pågående jobb slutar på 0 och meddelandet stannar utanför kön. Två konsumenter körde. Signalen stoppar en, så 1 konsument är kvar och utcheckning fortsätter hos den andra. En flotta med en enda konsument är en SPOF, en single point of failure, en enda punkt som stoppar hämtningen när den faller. När den processen avslutas är 0 konsumenter kvar, och djupet den lämnade blir stående tills en ny process startar.
Fyra leveranser, en öppen brytare, en full kö
Kassan börjar på 200. K7 på 40 committar kassan 160 och kvittot R1. Den andra K7 på 40 lägger till 0 och lämnar tillbaka R1, med kassan kvar på 160. K8 på 25 committar kassan 135 och kvittot R2. K7 på 99 skiljer sig från de sparade 40, så kassan stannar på 135, R1 ligger kvar och svaret är ett avvisande. Pengarna som flyttades är 65. En krasch före commit för K7 lämnar kassan på 200, och omleveransen går igenom en gång till 160. En krasch efter den committen och före ack gör att omleveransen lägger till 0, med kassan kvar på 160.
Taken efter misslyckade försök är 100, 200, 400, 800 och 800 millisekunder. Det halva utfallet sover 50, 100, 200, 400 och 400. Debiteringsjobbet missar försök 1 och försök 2, lyckas på försök 3 och sover 50 + 100 = 150 millisekunder. Det stannar utanför DLQ. Ett poison-meddelande använder alla fem sovtider, 1150 millisekunder, felar på försök 6, sparar DLQ-raden och får först därefter sin ack. Fjärdedelsutfallet på första taket är 25, så efter en gemensam miss vaknar den halva workern och fjärdedelsworkern 25 millisekunder isär.
Skrivarfel vid t = 0, t = 10 och t = 20 skickas, och brytaren stannar öppen till t = 2020. Anropet vid t = 30 får 503 och stannar oskickat. Provet vid t = 2020 skickas, lyckas och lämnar tillståndet stängt med raden av fel på 0. Chaos-listan med 10 anrop har 4 fel och längsta raden 1, så den brytaren stannar stängd och alla 10 skickas. Med 2 betalningsplatser upptagna och 1 av 4 rapportplatser upptagen avvisas tre ytterligare betalningar och den enda rapporten tas emot, med 2 lediga rapportplatser kvar.
Sex publiceringar möter ett största djup på 5: 5 tas emot, 1 avvisas, djupet är 5. Checkout av poison-meddelandet sätter djupet till 4 och pågående jobb till 1. Efter DLQ-raden och acken är djupet 4, pågående jobb 0 och DLQ-djupet 1. Jobbet på 1000 millisekunder som checkas ut vid t = 0 får SIGTERM vid t = 400 och slutar vid t = 1000, inom fristen som slutar vid 3400, så workern svarar ack. Av 2 konsumenter är 1 kvar.
Ett andra register, en längre stege, en sen signal
Kassan börjar på 200 med tom nyckeltabell. Kör K1 på 30, sedan K1 på 30, sedan K2 på 50, sedan K1 på 15. Skriv kassan efter varje leverans, kvittot som sparas för K1, och pengarna som flyttades. Med samma tak och det halva utfallet missar ett jobb försök 1 till 4 och lyckas på försök 5. Skriv de fyra sovtiderna, deras summa, och om innehållet når DLQ. Skrivaren felade vid t = 0, t = 10 och t = 20. Ett anrop kommer vid t = 500. Skriv status och om anropet skickas. För chaos-listan med tio anrop, skriv längsta raden av fel och om den brytaren öppnas. Betalningsplatser är 2, båda upptagna. Rapportplatser är 4, med 1 upptagen. Tre betalningar och en rapport kommer in. Skriv hur många betalningar som avvisas och hur många rapportplatser som är lediga efter att rapporten tagits emot.
Sju publiceringar kommer till en tom kö vars största djup är 5. Skriv hur många som avvisas och djupet. Ett mottaget poison-meddelande checkas sedan ut och felar på alla 6 försök. Skriv huvuddjupet och DLQ-djupet efter acken. Ett annat jobb är 5000 millisekunder långt, checkas ut vid t = 0 och får SIGTERM vid t = 400, med frist 3000 och djup 4 medan det pågår. Den här processen är den enda konsumenten. Skriv ack eller nack, tiden då fristen slutar, djupet efter nack, och hur många konsumenter som är kvar. Kassan efter de fyra leveranserna är 170, sedan 170, sedan 120, sedan 120. Kvittot som sparas för K1 är R1, och pengarna som flyttades är 80. De fyra sovtiderna är 50, 100, 200 och 400, summan är 750, och innehållet stannar utanför DLQ. Vid t = 500 är status 503 och anropet stannar oskickat. Chaos-raden är 1 och den brytaren stannar stängd. Tre betalningar avvisas och 2 rapportplatser är lediga. Två av de sju publiceringarna avvisas och djupet är 5. Efter poison-acken är huvuddjupet 4 och DLQ-djupet 1. Det långa jobbet får nack. Fristen slutar vid 3400, nacken lämnar djupet 5, och 0 konsumenter är kvar.
Kontrollfrågor
Kassan börjar på 200. Leveranserna är K7 på 40, K7 på 40, K8 på 25 och K7 på 99. Vad står kassan på efter den fjärde leveransen, och vad lämnar den andra leveransen tillbaka?
Kassan står på 135. Den andra leveransen lämnar tillbaka R1. Den fjärde leveransen är ett avvisande, och R1 ligger kvar som sparat kvitto.
Sovtiderna med halvt utfall är 50, 100, 200, 400 och 400 millisekunder. Försök 1 och 2 missar, och försök 3 lyckas. Vad blir den sammanlagda sovtiden, och flyttas innehållet till DLQ?
Den sammanlagda sovtiden är 150 millisekunder. Innehållet stannar utanför DLQ, eftersom träffen på försök 3 stannar stegen.
Fel vid t = 0, t = 10 och t = 20 öppnar brytaren fram till t = 2020. Skickas anropet vid t = 30, och vad är tillståndet och raden av fel efter ett lyckat prov vid t = 2020?
Anropet vid t = 30 stannar oskickat och workern svarar 503. Efter det lyckade provet är tillståndet stängt och raden av fel är 0.
Största djupet är 5. Sex publiceringar kommer till en tom kö, sedan felar ett mottaget poison-meddelande på alla 6 försök och får ack in i DLQ. Hur många publiceringar avvisades, vad är huvuddjupet efter den acken, och vad är DLQ-djupet?
1 publicering avvisades, huvuddjupet efter acken är 4, och DLQ-djupet är 1.
Du sparar nyckeln i samma commit som debiteringen, du adderar sovtiderna 50 ms och 100 ms före det lyckade tredje försöket, du lämnar anropet vid t = 30 oskickat medan brytaren är öppen, och du svarar ack på jobbet på 1000 ms eftersom det slutar inom fristen på 3000 ms.
Slutuppgift
Lämna in en worker-tjänst och ett skript för deployment-rollback som klarar automatiska chaos-injection-tester (40 % felfrekvens nedströms, dubblettleverans av meddelanden, SIGTERM mitt i ett jobb och automatisk utlösning av canary-rollback).
Begrepp i kursen
43 begrepp i ordlistan hör till den här kursen.
- CI/CD (kontinuerlig integration och leverans)
- Docker
- Kubernetes (K8s)
- Service discovery
- Circuit breaker (säkring)
- Retries (nya försök)
- Exponential backoff
- Idempotens
- Meddelandekö (message queue)
- Pub/Sub (publicera/prenumerera)
- Händelsedriven arkitektur
- Distribuerade transaktioner
- Saga-mönstret
- Dead letter queue
- Cron-jobb
- Kapplöpningsfel (race condition)
- Dödläge (deadlock)
- Minnesläcka
- Skräpsamling (garbage collection)
- Trådsäkerhet
- Mottryck (backpressure)
- Autoskalning
- Horisontell skalning
- Vertikal skalning
- Feature flags (funktionsflaggor)
- Blue-green deployment
- Canary release
- Rullande driftsättning
- Rollback (återställning)
- Hälsokontroll (health check)
- Liveness- och readiness-prober
- Katastrofåterställning
- Failover (automatisk övergång)
- Drift i flera regioner
- Chaos engineering
- Kostnadsoptimering
- Kallstart
- Serverless-gränser
- Semantisk versionering (SemVer)
- Infrastruktur som kod (IaC)
- Terraform
- Helm charts
- Byggcache
Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan