Hoppa till innehållet
POLARISAI ACADEMY
R03-401 · Navigatör

Övervakning, incidenter och postmortems

Efteråt kan du skriva en JSON-loggrad, följa samma id genom tre tjänster, läsa av p50, p95 och p99 på en sorterad remsa med 20 latenstider, och räkna ut felbudget, tid till upptäckt och tid till återställning för ett avbrott i kassan.

Nivå
Navigatör
Tid
25 h (uppskattning)
Förkunskap
R03-301
Kurs 4 av 4
Hoppa till

Efter kursen kan du

Eleven kan instrumentera en tjänst med correlation IDs, strukturerade loggar och larm för SLO-error-budget, spåra ett seedat produktionsfel till dess exakta rotorsak och återställa tjänsten via runbook-automatisering.

Ett JSON-objekt och fyra nivåer

En strukturerad logg är en händelse per JSON-objekt, med samma fältnamn på varje rad. Fälten här är ts, level, service, correlation_id, msg, status och latency_ms. När ett timeout avslutar anropet finns också timeout_ms. ts är tiden då tjänsten blev klar, skriven som timme, minut, sekund och millisekund. status är HTTP-statusen den här tjänsten skickade tillbaka till sin anropare. latency_ms är hela millisekunderna från det att tjänstens eget arbete började fram till ts. En rad från betaltjänsten under avbrottet ser ut så här: {"ts":"09:12:03.300","level":"ERROR","service":"pay","correlation_id":"c7f3","msg":"upstream timeout","status":504,"latency_ms":200,"timeout_ms":200}. Räkna namnen. Raden har 8 fält. Samma anrop utan timeout_ms skulle ha 7. Menningen pay failed ger orden och inget fält du kan filtrera på.

Loggnivån (level) är ett av fyra ord, och du väljer i den här ordningen. Om status är 500 eller högre, eller anropet stannade för att timeout_ms nåddes, är nivån ERROR. Status 504 med latency_ms 200 är ERROR även om 200 ligger under gränsen 500 millisekunder, eftersom statusregeln kommer först. Om status är 200, 201 eller 204 och latency_ms är över 500 är nivån WARN. Om status är 200, 201 eller 204 och latency_ms är högst 500 är nivån INFO. DEBUG är en rad du lägger till med flit, till exempel hela anropskroppen, och du låter DEBUG vara avstängd medan tjänsten tar trafik. Pröva ordningen på två värden från remsan i nästa avsnitt. Status 200 med latency_ms 180 är INFO. Status 200 med latency_ms 900 är WARN.

Samma correlation id i varje hopp

Ett correlation id är det id som följer med ett och samma anrop. Gateway skapar ett sådant id för en inkommande kassa och skickar det vidare i en header. Checkout och pay kopierar samma id till sina egna rader. Ett nytt id i nästa hopp skulle dela ett anrop i två sökningar. I exemplet är id:t c7f3. En sökning på c7f3 ger tre rader: gateway, checkout och pay. Det är pay-raden som bär timeout_ms, och det talet är det processen jämförde med klockan.

I de här raderna är correlation id också trace id. En trace är mängden span som delar det id:t. Ett span är tidsintervallet för ett hopp. Fälten som används här är de OpenTelemetry sparar för ett hopp: ett span-id, en förälder, en start och ett slut. Längden är slut minus start, i millisekunder. Gateway har span-id g1 och saknar förälder, så g1 är roten. Checkout har span-id c1 och föräldern g1. Pay har span-id p1 och föräldern c1. Gateway går från 09:12:03.000 till 09:12:03.400, alltså 400 ms. Checkout går från 09:12:03.040 till 09:12:03.360, alltså 320 ms. Pay går från 09:12:03.100 till 09:12:03.300, alltså 200 ms, samma tal som timeout_ms. Anroparens väntan är rotens längd, 400 ms. Om du adderar 400, 320 och 200 räknar du det inbäddade pay-arbetet en gång till och får 920, vilket är längre än anroparen väntade. Egen tid är spanets längd minus barnets längd. Checkouts egen tid är 320 minus 200, alltså 120 ms. Gateways egen tid är 400 minus 320, alltså 80 ms. Pay har inget barn, så dess egen tid är 200 ms. De tre egna tiderna blir 80 plus 120 plus 200, alltså 400 ms.

Percentiler, throughput och RED

Sortera latenstiderna från liten till stor och ge den första rangen 1. Med nearest rank är den p:te percentilen värdet vars rang är taket av p/100 gånger N, där N är hur många latenstider du sorterade. Remsan från dagen före avbrottet har N = 20 och är redan sorterad, i millisekunder: 80, 90, 100, 110, 120, 130, 140, 150, 160, 180, 200, 220, 240, 260, 300, 340, 400, 480, 900, 2400. För p50 är 0,50 gånger 20 lika med 10, och taket av 10 är 10, så p50 är det 10:e värdet, 180. För p95 är 0,95 gånger 20 exakt 19, så p95 är det 19:e värdet, 900. För p99 är 0,99 gånger 20 lika med 19,8, och taket av 19,8 är 20, så p99 är det 20:e värdet, 2400. Elva värden är högst 200, från 80 till och med 200, och 11/20 är 0,55. Nio värden ligger över 200, och 9/20 är 0,45. Arton värden är högst 500, från 80 till och med 480, och 18/20 är 0,90.

Throughput är avklarade anrop delat med fönstrets längd. Från 09:10 till 09:46 visar kassans räknare 1 800 avklarade anrop. Sträckan är 36 minuter, och 1 800 delat med 36 är 50 anrop i minuten. 50 delat med 60 är 5/6 anrop i sekunden, vilket avrundas till 0,83 med två decimaler. RED är tre tal om anropsvägen. Rate är throughput, 50 per minut. Errors är felandelen: 810 av de 1 800 fick status 504, och 810/1 800 förkortas till 9/20, alltså 0,45. Duration för den vanliga formen är gårdagens remsa, p50 180 ms och p95 900 ms. Under avbrottet slutar ett anrop som slår i timeout vid 200 ms, så de 810 raderna visar latency_ms 200. USE är tre tal om en maskin. I exemplet höll pay-processen sin enda CPU upptagen 400 ms av varje sekund, så utilization är 0,40. Kön av väntande anrop toppade på 6, så saturation är 6. Processen noterade 0 krascher, så USE-felet är 0, medan de 810 svaren med status 504 ligger kvar i RED-felet.

Budget, prober och incidentklockan

Ett avklarat anrop är bra när status är 200, 201 eller 204 och latency_ms är högst 500. SLI (service level indicator) är bra anrop delat med avklarade anrop i fönstret. SLO (service level objective) är målet du sätter för det SLI:t. Tjänsten här använder SLO 99 procent bra i varje fönster på 10 000 avklarade anrop. Error budget (felbudgeten) är hur många dåliga anrop målet fortfarande tillåter: 1 procent av 10 000 är 100. Ett SLA (service level agreement) är ett kundavtal som säger vilken följd som gäller när ett SLO missas. Siffrorna här är bara ett SLO, och ingen följd i kronor är knuten till dem. Efter 810 dåliga anrop är kvarvarande budget 100 minus 810, alltså −710. Burn-multipeln är 810 delat med 100, alltså 8,1, så fönstret har förbrukat 8,1 budgetar.

En liveness-probe anropar /live och svarar 200 när processen går att nå. En readiness-probe anropar /ready och ska, med regeln som används här, svara 200 bara när timeout_ms är minst 500, samma gräns som i SLO:t. Vid kollen 09:15 och vid kollen 09:30 svarade /live 200 och /ready 200. Pay-raderna i samma sträcka visar timeout_ms 200, så en /ready-koll som läste timeout_ms skulle ha svarat 503. Kollen som faktiskt körde öppnade bara en socket. Syntetisk övervakning skickar en skriptad kassa var 15:e minut, klockan 09:00, 09:15, 09:30 och 09:45. Det larmet väntar på två misslyckade syntetiska anrop i rad. En snabbare regel larmar när en femminutersskiva har minst 25 dåliga anrop. Vid 50 anrop i minuten och felandelen 0,45 rymmer en minut 50 gånger 0,45, alltså 22,5 dåliga anrop. Att nå 25 dåliga anrop tar 25 delat med 22,5, alltså 10/9 minuter, ungefär 1,11.

Allvargraden använder samma räkning. SEV-1 betyder att kassan svarar status 504 till anroparna och att antalet dåliga anrop i det öppna fönstret redan ligger över budgeten 100. SEV-2 betyder att en femminutersskiva har minst 25 dåliga anrop och att kvarvarande budget fortfarande är över 0. SEV-3 betyder en enstaka ERROR-rad medan femminutersräkningen stannar under 25. Det här avbrottet är SEV-1, eftersom 810 ligger över 100 och statusen mot anroparen är 504. Alert fatigue är det som händer när en larmväg skriker så ofta att någon tystar den. Natten före skickade den snabba vägen 30 sidor. 28 av de 30 var en klient som försökte om ett svar med status 404, och 2 av de 30 var verkliga kassafel. 28/30 avrundas till 0,93. Vägen tystades, så nästa morgon var den snabba regeln tyst.

Tre tidsstämplar driver klockorna. Påverkan börjar vid första status 504 mot anroparen, klockan 09:10. Upptäckt är larmet klockan 09:30, när det andra syntetiska anropet misslyckades. Syntesen 09:00 hade gått igenom, syntesen 09:15 misslyckades utan larm, och syntesen 09:30 misslyckades och larmade. Återställning är första senare kassa med status 200 och latency_ms högst 500. Den raden kommer 09:46, correlation id c8b1, status 200, latency_ms 160, efter att commit a91c rullats tillbaka. 160 är högst 500, så nivåregeln gör raden till INFO, och återställningen står på 09:46. MTTD (mean time to detect, tid från påverkans start till upptäckt) är 20 minuter. MTTR (mean time to restore, tid från påverkans start till återställning) är 36 minuter. Från upptäckt till återställning är det 16 minuter. En blameless postmortem skriver påverkan, ändringen, luckan i upptäckten och nästa åtgärd, och den namnger ingen person som orsak. Påverkan: 810 av 1 800 kassor fick status 504 från 09:10 till 09:46, och kvarvarande budget är −710. Ändring: commit a91c klockan 09:03 satte timeout_ms från 3000 till 200. Upptäckt: den snabba regeln var tystad, och det syntetiska larmet väntade på ett andra fel, så MTTD är 20 minuter mot den snabba regelns ungefär 1,11 minuter. Åtgärd: /ready svarar 503 när timeout_ms är under 500, och den snabba regeln förblir påslagen vid 25 dåliga anrop på 5 minuter. Runbooken du kan följa vid nästa larm har fem steg. Kopiera correlation id från den nyaste ERROR-raden. Hämta varje rad med det id:t och läs timeout_ms på pay-raden. Jämför med remsan: p50 är 180, som fortfarande hinner under ett timeout på 200, och 9 av de 20 värdena ligger över 200. Rulla tillbaka a91c så att timeout_ms blir 3000 igen. Märk återställning bara på en ny rad med status 200 och latency_ms högst 500.

Ett exempel

Från c7f3 till de två klockorna

Gå igenom ett anrop, sedan fönstret runt det. Klockan 09:12:03.300 är pay-raden för c7f3 objektet med 8 fält ovan: nivå ERROR, status 504, latency_ms 200, timeout_ms 200. Klockan 09:12:03.360 loggar checkout samma id med nivå ERROR, status 504 och latency_ms 320. Klockan 09:12:03.400 loggar gateway samma id med nivå ERROR, status 504 och latency_ms 400. Varje nivå är ERROR eftersom varje anropare fick status 504. Rotspanet g1 är anroparens väntan, 400 ms. Egen tid är 80 ms i gateway, 120 ms i checkout och 200 ms i pay. 80 plus 120 plus 200 är 400. Summan av de tre längderna, 920, räknar de inre spanen en gång till.

Commit a91c klockan 09:03 är ändringen som satte timeout_ms från 3000 till 200. Påverkan börjar ändå 09:10, vid första status 504 mot anroparen, och det anropet har ett annat id än c7f3 klockan 09:12. Syntesen 09:15 svarar 504 och larmar inte. Syntesen 09:30 svarar 504 och larmar, så upptäckten är 09:30 och MTTD är 20 minuter. Tillbakarullningen blir klar, och klockan 09:46 visar raden c8b1 status 200 och latency_ms 160. Det är återställningen, och MTTR är 36 minuter. Under de 36 minuterna visar räknaren 1 800 avklarade anrop, 50 i minuten, och 810 med status 504. 810 delat med 1 800 är 0,45. Budgeten för SLO 99 procent över 10 000 anrop är 100. Kvar är 100 minus 810, alltså −710, och 810 delat med 100 är 8,1. På gårdagens remsa är p50 180, p95 900 och p99 2400. Elva av de 20 värdena är högst 200, så andelen som fortfarande hinner under det nya timeoutet är 0,55, och andelen som slår i det är 0,45.

Postmortemen behåller de siffrorna och utelämnar varje persons namn. Påverkan är 810 av 1 800 kassor med status 504, kvarvarande budget −710. Ändringen är commit a91c och timeout_ms 200. Luckan i upptäckten är en tystad snabb regel, 28 brus-sidor av 30 natten före, plus en syntes som larmar först vid andra felet, så larmet kommer 20 minuter efter påverkan medan 25 dåliga anrop tar ungefär 1,11 minuter vid 22,5 dåliga anrop i minuten. Åtgärden är svaret 503 från /ready så fort timeout_ms är under 500, och ett påslaget larm vid 25 dåliga anrop på 5 minuter. Avbrottet är SEV-1 eftersom 810 dåliga anrop ligger över budgeten 100 och anroparna får status 504.

Övning

En andra remsa och ett kortare avbrott

Den nya remsan är redan sorterad. N är 20. Latenstiderna i millisekunder är 100, 120, 140, 160, 180, 200, 220, 240, 260, 280, 300, 320, 360, 400, 440, 500, 600, 700, 1000, 1500. Med samma nearest-rank-regel, skriv p50, p95 och p99. Räkna hur många värden som är högst 500, och skriv andelen med två decimaler. SLO:t är 99,5 procent bra över 20 000 avklarade anrop, och 40 av dem är redan dåliga. Skriv budgeten och det som återstår. Påverkan börjar 14:00, larmet går 14:08 och återställningen är 14:20. Skriv MTTD och MTTR i minuter. Throughput är 40 avklarade anrop i minuten och felandelen är 0,20. Den snabba regeln larmar vid 10 dåliga anrop. Skriv hur många minuter det tar. Märk sedan två avklarade anrop med nivåregeln: status 200 med latency_ms 1000, och status 504 med latency_ms 200.

Rang 10 är 280, så p50 är 280. Rang 19 är 1000, så p95 är 1000. Rang 20 är 1500, så p99 är 1500. Sexton värden är högst 500, från 100 till och med 500, och 16/20 är 0,80. Ett SLO på 99,5 procent lämnar 0,5 procent dåliga. 0,5 procent av 20 000 är 100, så budgeten är 100 och kvar är 100 minus 40, alltså 60. MTTD är 8 minuter. MTTR är 20 minuter. Dåliga anrop i minuten är 40 gånger 0,20, alltså 8, och 10 delat med 8 är 1,25 minuter. Status 200 med latency_ms 1000 är WARN, eftersom svaret går att använda och 1000 ligger över 500. Status 504 med latency_ms 200 är ERROR, eftersom statusregeln kommer före latensgränsen.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

På gårdagens remsa med 20 latenstider, vad är p50, p95 och p99 i millisekunder?

180, 900 och 2400. Rangerna är 10, 19 och 20.

Hur stor är error budget för SLO 99 procent över 10 000 avklarade anrop, och vad återstår efter 810 dåliga anrop?

Budgeten är 100. Kvar är 100 minus 810, alltså −710.

För correlation id c7f3, vilket span är anroparens väntan, hur många millisekunder är den väntan, och varför är 400 plus 320 plus 200 fel siffra?

Gateway-spanet g1 är anroparens väntan, och den är 400 ms. Summan 920 räknar checkout-spanet och pay-spanet en gång till inuti sina föräldrar.

Vad är MTTD och MTTR, i minuter, när påverkan börjar 09:10, upptäckten är 09:30 och återställningen är 09:46?

MTTD är 20 minuter. MTTR är 36 minuter.

Ta med dig

Ett gemensamt correlation id samlar ett anrops JSON-rader och span, och anroparens väntan är enbart rotspanet. Percentiler med nearest rank, felbudgeten och de två klockorna är siffror du kan räkna om från den sorterade remsan och de tre tidsstämplarna.

Slutuppgift

Slutför en nycklad forensisk incidentutredning över ett fryst telemetridataset (identifiera exakt correlation ID, rotorsaks-commit, MTTD, MTTR och error-budget-burn) och lämna in instrumenteringskod som klarar 25 observability-tester. (Valfri Portfolio-post: skriftlig blameless postmortem).

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Begrepp i kursen

12 begrepp i ordlistan hör till den här kursen.

Fler lektioner kommer

Första lektionen är öppen att läsa. Resten av kursens lektioner skrivs, och prov och diplom kommer senare. Till väntelistan